Como usar Machine Learning para hacer Data Quality

Las empresas cada vez necesitan almacenar y procesar más datos sobre sus clientes, proveedores, personal o pedidos.
Sin embargo, a mayor Volumen de datos, mayor es la probabilidad de que existan datos incorrectos, como las direcciones o teléfonos que afecten de forma negativa a nuestro negocio. Por ejemplo, un pedido con una dirección errónea será devuelto, reduciendo el beneficio de la empresa y la confianza del cliente.
Teniendo en cuenta esta problemática, se propone una solución: Big Data Quality. Descargar Paper

Es una Solución para el tratamiento de datos de personas con características Big Data (Volumen, Variedad, Velocidad), basada en la aplicación de procesos de limpieza, normalización y validación a un grupo de datos muy comunes en cualquier base de datos. 
Esta solución escalable y extensible, incluye módulos para la limpieza, normalización validación, de-duplicación y corrección de datos de personas y direcciones en los siguientes tipos de datos: Teléfonos, Emails, Documentos de Identidad, Nombres y Apellidos, Direcciones...

Esta solución de Data Quality para Big Data se ha implementado usando la tecnología Apache Spark, la cual permite la escalabilidad del procesamiento a cualquier volumen de datos sin reescribir ni una línea de código. De esta forma, Big Data Quality se puede ejecutar en una única máquina y, si el tamaño de los datos de entrada, diccionarios de nombres, callejeros o datos recuperados de las API lo requieren, puede ejecutarse en un clúster Spark como Databricks o Amazon EMR en la nube o en instalación Hadoop on-premise como Hortonworks o Cloudera.

Además, estos módulos permiten realizar la validación y corrección de datos en función de datos de referencias obtenidos mediante diccionarios y API's de nombres, callejeros (ej. Correos) o dominios frecuentes de emails. En los siguientes apartados, analizaremos las principales funcionalidades de cada uno de los módulos.

Descargar Paper

TECNOLOGÍAS USADAS Y ESCALABILIDAD

Con el objetivo de abordar dicho problema de la manera más eficiente posible, se ha usado la tecnología Big Data Apache Spark. Ofreciendo de esta manera todos los beneficios de las tecnologías Big Data:

• Escalabilidad: El programa puede ejecutarse en 1 o n máquinas de un clúster sin hacer ningún cambio en el programa
• Rapidez de procesamiento: Gracias a la escalabilidad y a la arquitectura de Spark basada en el uso distribuido de la memoria RAM.
• Tolerancia a fallos: Incluso en procesos de Data Quality, que implican cantidades ingentes de datos, los procesos siempre terminarán.
• Extensibilidad: para añadir nuevasfuncionalidades de calidad de datos.

Hemos optado por esta tecnología por la gran cantidad y variedad de fuentes de datos que es necesario procesar para lograr la calidad del dato, ya sean los datos de entrada como los diccionarios que se puedan utilizar para la corrección y validación de los datos.

Apache Spark es una tecnología Open Source con una comunidad muy activa. Es una herramienta donde los cálculos se ejecutan entre 10 y 100 veces más rápidos que otras plataformas. Además, en una misma herramienta nos permite combinar SQL in memory, streaming, Machine Learning y grafos.


Como se ha comentado, Spark se puede ejecutar en diversos entornos, ya sea en Spark standalone, Mesos, clúster en la nube en Databricks, EMR o HDInsight, distribuciones Hadoop on-premise, como Hortonworks o Cloudera.

Read More

Por qué si tengo un dashboard no soy capaz de tomar decisiones?

Muy interesante esta reflexión de Tristan Elosegui, de hace ya un par de años, pero que mantiene toda su vigencia. Abajo os indicamos los puntos principales que detalla:

En TodoBI, hablamos mucho de Dashboards (ver posts), de los que os destacamos:

- 12 aplicaciones gratuitas para crear Dashboards
- Tutorial de Creación de Cuadros de Mando Open Source
- Ejemplos Dashboards
- Cuadro de Mando Integral (Scorecard)

Según Tristán, las empresas tienen gran cantidad de datos a su alcance, pero no son capaces de poner orden entre tanto caos y como consecuencia, no tienen una visión clara de la situación. 

El ruido es mayor que la ‘señal’

El volumen de datos y la velocidad con la que se generan, provocan más ruido que señal.
Esta situación lleva a las empresas a la toma de decisiones sin los datos necesarios o a la parálisis post-análisis en lugar de facilitar la acción (toma de decisiones).
Los datos llegan desde diferentes fuentes, en diferentes formatos, desde diferentes herramientas,… y todos acaban en informes, que intentan integrar en un dashboard que les ayude a tomar decisiones.

¿Por qué teniendo tantos datos las empresas no son capaces de tomar decisiones estratégicas?

Tener muchos datos no siempre significa tener mejor visión sobre la situación. Seguro que más de uno de los que estáis leyendo este post, os sentís identificados.
Las empresas toman decisiones en base a datos todos los días (y sin datos también), el problema es que estas decisiones son tácticas ya que se toman tipo ‘silo’ (por áreas).
Para poder tomar decisiones que optimicen la estrategia global de la empresa necesitamos:

• Tener los datos necesarios, ni más ni menos, para tomarlas (la foto más completa posible del contexto) y
• ser capaces de entender los datos,para transformarlos en información y a continuación en conocimiento.

No hay nada peor que haber recorrido el camino hasta tener un dashboard estratégico, y que la persona que tiene que tomar las decisiones no las tome. ¿por qué ocurre esto?

Falta de contexto

El motivo principal para no tomar decisiones, es que los datos representados en el dashboard no sean relevantes, no sean accionables.
Esto ocurre cuando no hemos definido correctamente el dashboard (los pasos correctos están definidos en el modelo de madurez de la analítica digital). Los errores más comunes suelen ser:

• Objetivos y KPIs mal definidos: si el punto de partida esta mal definido, todo lo que venga detrás nos llevará a error. Y por supuesto, el contexto será del todo equivocado.
• Datos irrelevantes o no accionables: bien por una mala definición de objetivos y de las KPIs que nos ayudan a controlarlos o simplemente porque hemos seleccionado mal los datos, llegamos a un dashboard lleno de números y gráficas, que no nos permite tomar decisiones.Bien porque no muestra los datos con el área de responsabilidad de la persona que toma las decisiones, o simplemente porque son datos no accionables. En cualquiera de los dos casos el resultado es el mismo.
• Datos incompletos: es el otro extremo del caso anterior. Nos faltan los datos necesarios para tomar decisiones.

Visualización de datos

El segundo gran problema es que la persona que tiene que tomar las decisiones no entienda los datos.
Al igual que tenemos que mostrar a cada stakeholder los datos que son relevantes para su trabajo (caso anterior), tenemos que adaptar el lenguaje y la visualización, para que el decisor entienda lo que está viendo.
Así que, para que un dashboard estratégico funcione debes empezar por tener definir bien los objetivos y KPIs, trabajar la calidad del dato, que estos datos te estén contando lo que te interesa y que integren datos de las diferentes fuentes que manejas.

No te saltes ninguna fase del modelo de madurez de la analítica digital, porque sino te puedes encontrar con los problemas que hemos visto en este post.

Ver Articulo completo

Read More

The DataOps CookBook. Free download

Go!! Time to download this free book!!

Read More

Estas camisetas buscan Data Ninjas!!

Nuestros amigos de Stratebi, colaboradores de este Portal, están buscando especialistas que quieran progresar, aprender y disfrutar de nuevos retos en Business Intelligence, Machine Learning y Big Data. Son, además, los creadores de la plataforma Big Data open source based, LinceBI

Algunas de sus Demos Online:

Big Data 

Open Source Analytics

PowerBI

Escribe, manda tu CV y hazte merecedor/a de llevar las camisetas, si dominas o quieres dominar lo siguiente!!

Read More

Cloudera cambia de estrategia y se hace Open Source

Para los que pensaban que la compra de Hortonworks por parte de Cloudera iba a hacer peligrar el modelo open source, todo lo contrario. Cloudera será 100% Open Source, según acaban de afirmar (leer bien el enlace anterior)

Cloudera acaba de anunciar que se va a centrar en un modelo de servicios y soporte

Una gran noticia para todos los que trabajan con Stacks Big Data basados en Open Source, como LinceBI

Read More

Glosario de Terminos de Business Intelligence

Para todos aquellos que se están introduciendo en el mundo del Business Intelligence, os incluimos un Glosario de los principales términos de Business Intelligence. 

Si queréis jugar con una Demo abierta, open source, para conocer y probar estos conceptos, es lo mejor para familiarizarse.

Glosario de Términos Business Intelligence:

• Automated Analysis: Automatic analysis of data to find hidden insights in the data and show users the answers to questions they have not even thought of yet.
• BI Analyst: As stated by modernanalyst.com, a data analyst is a professional who is in charge of analyzing and mining data to identify patterns and correlations, mapping and tracing data from system to system in order to solve a problem, using BI and data discovery tools to help business executives in their decision making, and perform statistical analysis of business data, among other things. (Can be called a data analyst too)
• BI Governance: According to Boris Evelson, from Forrester Research, BI governance is a key part of data governance, but if focuses on a BI system and governs over who uses the data, when, and how.
• Big Data: Enormous and complex data sets that traditional data processing tools cannot deal with.
• Bottlenecks: Points of congestion or blockage that hinder the efficiency of the BI system.
• Business Intelligence: According to Gartner, “Business Intelligence is an umbrella term that includes the applications, infrastructure and tools, and best practices that enable access to and analysis of information to improve and optimize decisions and performance.”
• Centralized Business Intelligence: A BI model that enables users to work connected and share insights, while seeing the same and only version of the truth. IT governs over data permissions to ensure data security.
• Collaborative BI: An approach to Business Intelligence where the BI tool empowers users to collaborate between colleagues, share insights, and drive collective knowledge to improve decision making.
• Collective Knowledge: Knowledge that benefits the whole enterprise as it comes from the sharing of insights and data findings across groups and departments to enrich analysis.
• Dark Data: According to Gartner, the definition for Dark Data is “information assets that organizations collect, process and store in the course of their regular business activity, but generally fail to use for other purposes”. 90% of companies’ data is dark data.
• Dashboards: A data visualization tool that displays the current enterprise health, the status of metric and KPIs, and the current data analysis and insights.
• Data Analyst: As stated by modernanalyst.com, a data analyst is a professional who is in charge of analyzing and mining data to identify patterns and correlations, mapping and tracing data from system to system in order to solve a problem, using BI and data discovery tools to help business executives in their decision making, and perform statistical analysis of business data, among other things.
• Data Analytics: According to TechTarget, “data analytics is the process of examining data sets in order to draw conclusions about the information they contain, increasingly with the aid of specialized systems and software.”
• Data Governance: According to Boris Evelson, from Forrester Research, data governance “deals with the entire spectrum (creation, transformation, ownership, etc.) of people, processes, policies, and technologies that manage and govern an enterprise’s use of its data assets (such as data governance stewardship applications, master data management, metadata management, and data quality).
• Data Mashup: An integration multiple data sets in a unified analytical and visual representation.
• Data Silos: According to Tech Target, a data silo is “data that is under the control of one department or person and is isolated from the rest of the organization.” Data silos are a bottleneck for effective business operations.
• Data Sources: The source where the data to be analyzed comes from. It can be a file, a database, a dataset, etc. Modern BI solutions like Necto can mashup data from multiple data sources.
• Data Visualization: The graphic visualization of data. Can include traditional forms like graphs and charts, and modern forms like infographics.
• Data Warehouse: A relational database that integrates data from multiple sources within a company.
• Embedded Analytics: The integration of reporting and data analytic capabilities in a BI solution. Users can access full data analysis capabilities without having to leave their BI platform.
• Excel Hell: A situation where the enterprise is full of unnecessary copies of data, thousands of spreadsheets get shared, and no one knows with certainty which is the most updated and real version of the data.
• Federated Business Intelligence: A BI model where users work in separate desktops, creating data silos and unnecessary copies of data, leading to multiple versions of the truth.
• Geo-analytic capabilities: The ability that a BI or data discovery tool has to analyze data by geographical area and reflect such analysis on maps on the user’s dashboard.
• Infographics: Visual representations of data that are easily understandable and drive engagement.
• Insights: According to Forrester Research, insights are “actionable knowledge in the context of a process or decision.”
• KPI: Key Performance Indicator. A quantifiable measure that a business uses to determine how well it meets the set operational and strategic goals. KPIs give managers insights of what is happening at any specific moment and allow them to see in what direction things are going.
• Modern BI: An approach to BI using state of the art technology, providing a centralized and secure platform where business users can enjoy self-service capabilities and IT can govern over data security.
• OLAP: Stands for Online Analytical Processing and it is a technology for data discovery invented by Panorama Software and then sold to Microsoft in 1996. It has many capabilities, such as complex analytics, predictive “what if” scenario planning, and limitless report viewing.
• Scalability: The ability of a BI solution to be used by a larger number of users as time passes.
• Self-Service BI: An approach that allows business users to access and work with data sources even though they do not have an analyst or computer science background. They can access, profile, prepare, integrate, curate, model, and enrich data for analysis and consumption by BI platforms. In order to have successful self-service BI, the BI tool must be centralized and governed by IT.
• Smart Data: Smaller data sets from Big Data that are valuable to the enterprise and can be turned into actionable data.
• Smart Data Discovery: The processing and analysis of Smart Data to discover insights that can be turned into actions to make data-driven decisions in an organization.
• Social BI: An approach where social media capabilities, such as social networking, crowdsourcing, and thread-based discussions are embedded into Business Intelligence so that users can communicate and share insights.
• Social Enterprise: An enterprise that has a new level of corporate connectivity, leveraging the social grid to share and collaborate on information and ideas. It drives a more efficient operation where problems are uncovered and fixed before they can affect the revenue streams.
• SQL: Stands for Standardized Query Language. It is a language used in programming for managing relational databases and data manipulation.
• State of the Art BI: The highest level of technology, the most up-to date features, and the best analysis capabilities in a Business Intelligence solution.
• Suggestive Discovery Engine: An engine behind the program that recommends to the users the most relevant insights to focus on, based on personal preferences and behavior.
• Systems of Insight: This is a term coined by Boris Evelson, VP of Forrester Research. It is a Business Intelligence system that combines data availability with business agility, where both IT and business users work together to achieve their goals.
• Workboards: An interactive data visualization tool. It is like a dashboard that displays the current status of KPIs and other data analysis, with the possibility to work directly on it and do further analysis.

Visto en el blog de Panorama

Read More

Verdades y Mentiras acerca del Software Libre

BBVA ha elaborado un estudio (unas 120 páginas) muy interesante sobre Open Source: Historia, Tecnologías, Modelos de Negocio, etc...

Ni dudeis en descargároslo

Empieza interesante...

Read More

Tutorial: Creacion de Dashboards con soluciones Open Source

Cada vez son más demandados los Cuadros de Mando y la buena noticia es que gran parte de ellos pueden hacerse con soluciones Open Source: Pentaho, CDE, dc.js...

Como novedad, también puedes crearlos con StDashboard: How to create your own Dashboards in Pentaho

Os incluimos las principales claves para construir potentes Cuadros de Mando, del Curso de creación de Dashboards Open Source:

Si os ha interesado, podéis también:

- Ver ejemplos en funcionamiento de Cuadros de Mando Open Source
- Ver Galería de Cuadros de Mando y Video Tutorial de Cuadros de Mando Open Source
- Ver temario y Cursos presenciales e 'in company' para crear cuadros de mando de forma práctica
- Ver Cuadros de Mando con tecnologías Big Data 'Real Time?

También podéis ver este Video Tutorial muy práctico:

Read More

Gestion de Proyectos con Redmine Analytics

Redmine Analytics es la solución complementaria a la herramienta para la gestión de proyectos Redmine, gracias al uso del Business Intelligence basado en open source Pentaho de LinceBI, con todos los modelos preparados y listos para su uso. También integrado con PowerBI

Consulta a nuestros compañeros de Stratebi


Modelo de Análisis de Productividad:

Modelo de Análisis por Proyectos:

Para una organización es de vital importancia articular los proyectos de una manera correcta y ágil en beneficio de la misma. 



Asociado a la ejecución de los proyectos, es igualmente importante conocer si el equipo que participa en los proyectos es productivo, así como si la previsión en cuanto a costes, calendario y esfuerzo se mantiene. 

Alertas:

Alerta sobre la Productividad:

Objetivo: Controlar las horas imputadas por empleado respecto a lo previsto
Comunicación: Vía e-mail. A cada empleado reporte de horas. A los manager, resumen por empleado de la diferencia de horas.

Alerta sobre el Consumo de Horas Estimadas:

Objetivo: Sobre proyectos y servicios ofrecidos, se identifican aquellos para los que se ha superado sobre lo estimado el 50%, 75%, 85% y 100%.
Comunicación: Vía e-mail

Alerta sobre la parametrización del proyecto:

Objetivo: Controlar la configuración de cada proyecto en Redmine en cuanto a establecimiento de fases, tiempo estimado de referencia, perfiles y coste por perfil.

Comunicación: Vía e-mail

Con las variables oportunas la toma de decisiones cobra sentido y permite hacer correctivos en tiempo y forma, y para ello Redmine Analytics ofrece todo lo necesario. 
Además, de forma totalmente automatizada

Read More

Tipos de roles en Analytics (Business Intelligence, Big Data)

Conforme va creciendo la industria de Analytics, se hace más dificil conocer las descripción de cada uno de los roles y puestos. Es más, generalmente se usan de forma equivocada, mezclando tareas, descripciones de cometidos, etc...

Esto lleva a confusión tanto a los propios especialistas, como a las personas que están formandose y estudiando para realizar estos trabajos. En una industria tan cambiante es frecuente la aparición y especialización de diferentes puestos de trabajos. Aquí, os detallamos cada uno de ellos:

Business Analyst:

Data Analyst:

Data and Analytics Manager:

Data Architect:

Data Engineer:

Data Scientist:

Database Administrator:

Statistician:

Te puede interesar tambien:

Como pasar una entrevista con Pentaho BI Open Source?
Skills en Data Analysts y sus diferencias
Empezar a aprender Big Data en 2 horas?

Visto en Kdnuggets

Read More