Internet of Things (Timeline)

No dejéis de echar un vistazo a esta infografía. Muy útil!!

Read More

11 Consejos sobre Bad Data: el enemigo silencioso en Business Intelligece y Big Data

Para todos los que llevamos un tiempo en esto del Business Intelligence, Big Data, Machine Learning, Analytics... vemos que se dedica mucho tiempo a hablar de las nuevas tecnologías, casos de uso, aplicaciones, etc... pero muy poco del verdadero problema y condicionante para lograr una exitosa implementación de estas tecnologías y proyectos: el Bad Data

Nuestro colaborador Emilio Arias, de Stratebi nos da unas pautas:

Como lo reconoces?

1) Son datos imprecisos, erróneos e incompletos que provocan problemas para lleva a cabo la estrategia de la empresa

2) Implica una mala toma de decisiones y una mala ejecución de las mismas

3) El coste del 'Bad Data', según estudios de IBM, les puede suponer a las empresas, hasta un 30% de los ingresos

4) En tu compañía no usas herramientas ETL (Integración, Transformación y Carga) o las usas mal, para mejorar los procesos de adquisición, depurado y limpieza de datos. Las hay open source (Pentaho Data Integration y Talend). El coste no será problema

5) Tu información está desestructurada, sin maestros (MDM te suena a chino) e información heterogénea no integrada

6) Querrías incluir datos de redes sociales, APIs, logs, IoT, etc... pero no sabes como distinguir el 'Bad Data' del 'Smart Data'

7) Querrías aplicar 'Machine Learning', pero sabes que con datos erróneos, cualquier algoritmo, por muy ajustado que fuera, te daría resultados sin confianza

8) Cada área, departamento o especialista de tu empresa tiene su propia metodología para aplicar criterios en cuanto a identificar el 'Bad Data'. Data Governance es un sueño idealizado para tí

9) 'Si metes basura, obtendrás basura'. Este aforismo ha funcionado muy bien en Analytics durante años. El problema ahora es que no consigues diferenciar la basura del resto. Se hace urgente poner en marcha una 'Planta de tratamiento de Residuos Analíticos' en tu organización. Funciona igual, separar basura de información útil

10) Querrías convertir el 'Bad Data' en 'Smart Data', pero ni siquiera sabes si esto es factible, cómo para saber lo que te costaría (tiempo y dinero)

11) Conoces los '7 magníficos' que puedes reconocer en el  'Bad Data'?

- Te faltan datos. No hay información, donde debería haberla

- Los datos son incorrectos ('no cuadra', seguro que os suena)

- Los datos no están bien ubicados. A veces, tenemos los datos correctos en origen, pero no los ubicamos correctamente

- Errores de entrada de datos: caracteres erróneos, abreviaturas, traducciones, etc...

- Datos duplicados. No siempre tiene que ser un error, a veces es algo tan trivial como una empresa que cambia de CIF y no actualizas

- Datos no revisados o aprobados. Mucha información requiere de la revisión y aprobación por parte de los responables

- Exceso de Datos. Sí, aunque no lo consideréis, si tenéis exceso de datos, se convierten en 'Bad Data'. Querer analizar cambios de estado de un asiento contable realizados en un día concreto... no suele proporcionar 'decisiones estratégicas'

Solución? En este Portal hablamos mucho de aplicar correctamente ETL, Data Quality, AgileBI, etc... pero lo más importante es 'perseverar' en dichas iniciativas 

El Bad Data nunca se va a acabar (que lo sepáis), es como cierta contaminación que siempre aparece, pero hay formas de reducirla, anticiparse y... casi, eliminarla

Read More

The Timeline of Statistics (Machine Learning)

Para todos los amantes de la estadistica, Machine Learning y Data Mining. 

Pincha y descargatelo!!

Read More

STData (versioning), for Pentaho Data Integration

What is STData?

STData is simple, fast and focused on collaborative development, to maintain, manage and safeguard the vision of each of the multiple ETL projects that can be done with it, enabling the versioning

What is it for?

Based on the successful open source project, Pentaho Data Integration, STData stands out for being ideal for the coordination of development teams and the execution of processes, in large and small teams, where the dependency between integration systems must be minimal.

 

What problems does it solve?

The management and coordination of data integration processes development between the members of a team, departments and even between organizations.

How does it work?

Using the database manager of your choice, STData creates and safeguards each change made to the migration processes in a centralized repository, thus providing a single view of the state of development, gaining control and tranquility throughout the evolution of the processes to be deployed.
This repository can reside in either a local environment or in the cloud.

Contact for more info: info@stratebi.com

Read More

Descarga gratis el Estudio: 'Impacto del Big Data y Advanced Analytics en España'

Muy interesante el estudio que ha realizado Esade y puedes descargar sobre el uso del Big Data y Advance Analytics en España, tema que nos encanta en TodoBI

El presente estudio nace con el objetivo de conocer el estado de adopción e impacto que está teniendo el Big Data en las empresas de nuestro país. 

Aquí podemos ver los problemas a los que se enfrentan las compañías en sus iniciativas Big Data Analytics:

Mediante un cuestionario dirigido a los responsables ejecutivos y técnicos de las mismas, se ha analizado a las compañías respecto a  cinco dimensiones:

1) Visión  estratégica  y  modelo  organizativo 
2) Inversión  y  creación  de  valor 
3) Cultura y talento



4) Infraestructura de datos
5) Prioridades a futuro

Read More

Big Data para PowerBI

Power BI es un conjunto de herramientas Business Intelligence (BI) desarrolladas por Microsoft. De reciente aparición, gracias a su simplicidad y potencia se ha hecho un un hueco entre las grandes del mercado como Tableau, Pentaho o Microstrategy. 

Al igual que estas últimas, implementa la filosofía de Autoservicio para el usuario final (Self Service BI) llevada al extremo de la sencillez, pero con un gran número de características como el desarrollo de cuadros de mando (denominados informes en Power BI), la compartición web o dentro de la organización, un gran número de gráficos incluyendo gráficos con análisis estadístico (ej. forecasting página 2 demo), conexión a fuentes relacionales y Big Data, exploración en lenguaje natural (Q & A), soporte para ejecutar código R y visualizar resultados, o pre procesamiento de datos (ETL).

Las características anteriores se implementan repartidas en las distintas aplicaciones. Power BI Desktop es la herramienta de cliente para la exploración, transformación y diseño de visualizaciones a partir de los datos. Se trata de una herramienta completamente gratuita, que dispone de conexiones a las fuentes Big Data y relacionales más usadas. Aunque para algunas fuentes dispone de un conector específico, en el caso de Apache Kylin hemos de hacer uso del conector ODBC disponible en su web. 

Tras la conexión, se genera un extracto de los datos. A partir de este momento los pasos para la creación de nuestro cuadro de mando han sido i) la definición del modelo de datos, ii) la aplicación de alguna transformación (ej. formato de fecha), iii) la definición de métricas calculadas (ej. tasa de éxito) o jerarquías sobre las dimensiones (ej. tabla OLAP página 2 demo), y, por último, iv) la creación del cuadro de mando demo, compuesto por dos páginas (selector en barra inferior).

Una vez hemos diseñado y guardado nuestro cuadro de mando con Power BI Desktop, llega el momento de compartirlo. Para ello hemos creado una cuenta de Power BI Service en su alternativa gratuita, pues en esta herramienta sí dispone de versiones Pro y Premium, ambas de pago. Aunque estas versiones disponen de conexión directa a algunas bases de datos como SQL Server (con o sin Analysis Services), Oracle o Cloudera Impala, para el resto de conexiones, como la conexión ODBC con Kylin, es necesario publicar el extracto de los datos, que se refresca de forma manual (versión gratuita) o programada (Pro y Premium).

Además de Power BI Desktop y Power BI Service (Free, Pro y Premium), existen otras herramientas como Mobile , para el acceso a los informes desde nuestro smartphone y el trabajo colaborativo, o Embedded, para componer nuestras propias aplicaciones, portales web, Share Point a partir de las visualizaciones desarrolladas con Power BI.

Sí estas interesado en hacer tu proyecto con esta tecnología no dudes en solicitar presupuesto en StrateBI, Partner de Microsoft PowerBI con larga experiencia

Aquí, (Ver Demo) puedes ver un ejemplo combinado de PowerBI on open source based Business Intelligence solutions, como LinceBI, de forma que puedes tener una solución completa BI, que cubre todos los módulos y necesidades

- Adhoc Reporting

- Predefined Dashboards

- OLAP Analysis

- Adhoc Dashboarding

- Scorecards

- Forecasts

Mas info:

- PowerBI functionalities

- PowerBI training

PowerBI for Big Data

Arquitecture:

En el caso de estudio que presentamos (Ver Demo), hacemos uso de las herramientas Apache Kylin , Power BI Desktop y Power BI Servicio para dar soporte al análisis mediante Cuadros de Mando de un almacén de datos (Data Warehouse, DW) que contiene datos con características Big Data (Volumen, Velocidad y Variedad).

Se trata de un gran Volumen de datos académicos, relativos a los últimos 15 años de una universidad de gran tamaño. A partir de esta fuente de datos, se ha diseñado un modelo multidimensional para el análisis del rendimiento académico. En él contamos con unos 100 millones de medidas cómo los créditos relativos a asignaturas aprobadas, suspendidas o matriculadas. Estos hechos se analizan en base a distintas dimensiones o contextos de análisis, como el Sexo, la Calificación o el Año Académico.

Dado que este Volumen de datos es demasiado grande para analizarlo con un rendimiento aceptable con los sistemas OLAP (R-OLAP y M-OLAP) tradicionales, hemos decidido probar la tecnología Apache Kylin, la cual promete tiempos de respuesta de unos pocos segundos para Volúmenes que pueden superar los 10 billones de filas en la tabla de hechos o medidas.

Las tecnologías del entorno Hadoop fundamentales para Kylin son Apache Hive y Apache HBase. El almacén de datos (Data Warehouse, DW) se crea en forma de modelo estrella y se mantiene en Apache Hive. A partir de este modelo y mediante la definición de un modelo de metadatos del cubo OLAP, Apache Kylin, mediante un proceso offline, crea un cubo multidimensional (MOLAP) en HBase. A partir de este momento, Kylin permite hacer consultas sobre el mismo a través de su interfaz SQL, también accesible a través de conectores J/ODBC.

Por último, para hacer posible la exploración de los datos del cubo de Kylin mediante lenguaje SQL y la creación de cuadros de mando que podamos compartir con los usuarios finales de los datos, hemos hecho uso de las herramientas Power BI Desktop y Power BI Service.

En primer lugar hemos usado Power BI Desktop, herramienta gratuita, para la conexión con Apache Kylin y la creación de un cuadro de mando similar al que realizamos para el ejemplo con Apache Zepelin y, también, con Tableau. La herramienta Power BI es una herramienta de Autoservicio para el usuario final (Self Service BI): facilita la creación y publicación de completos cuadros de mando a los usuarios finales de los datos, así como el modelado y transformación de los datos si es necesario.

Una vez diseñado el cuadro de mando, lo hemos publicado en la Web haciendo uso del servicio en la nube de Power BI. Para ello, es necesario la creación de un extracto o copia de los datos, que se hace de forma transparente al usuario y se sube a la nube de Power BI junto con el cuadro o cuadros de mando. En este caso hemos usado la versión gratuita, aunque también dispone de versiones Pro y Premium con características añadidas como la compartición intra organización (además de vía Web) o el refresco programado de los datos del extracto desde el origen, Apache Kylin por ODBC en nuestro caso.

Read More

La Tabla Periodica interactiva del Machine Learning

Que gran visualización y que útil, pincha en la tabla periódica para descubrirlo

Read More

Top Business Intelligence Tools study

This complete, 300 pages study, is a comprehensive comparative of some of the most important Business Intelligence tools (this study will include new tools in next editions). 

Has been created by analytics experts Stratebi. This document include in depth features, modules and architecture analysis, considering:

- PowerBI
- Tableau
- Qlikview
- Pentaho
- SAS
- Information Builders
- Amazon Quicksight

A very complete study for all business intelligence interested who are evaluating to use some of this tools

Read More

Las mejores APIs para Machine Learning

Face and Image Recognition

1. Animetrics Face Recognition: 
2. Betaface:  
3. Eyedea Recognition: 
4. Face++: 
5. FaceMark: 
6. FaceRect: 
7. Google Cloud Vision API: 
8. IBM Watson Visual Recognition: 
9. Kairos:
10. Microsoft Cognitive Service - Computer Vision: 
11. Rekognition: 
12. Skybiometry Face Detection and Recognition: 

Text Analysis, NLP, Sentiment Analysis

1. Bitext 
2. Diffbot Analyze: 
3. Free Natural Language Processing Service: 
4. Google Cloud Natural Language API: 
5. IBM Watson Alchemy Language:  
6. MeaningCloud Text Classification: 
7. Microsoft Azure Text Analytics API 
8. Microsoft Cognitive Service - Text Analytics: 
9. nlpTools: 
10. Geneea: 
11. Perspective, 
12. Semantic Biomedical Tagger: 
13. Thomson Reuters Open Calais™:  
14. Yactraq Speech2Topics 

Language Translation

1. Google Cloud Translation: 
2. IBM Watson Language Translator:  
3. LangId: 
4. Microsoft Cognitive Service - Translator: 
5. MotaWord: 
6. WritePath Translation: 

Prediction and Other Machine Learning

1. Amazon Machine Learning: 
2. BigML: 
3. Ersatz: 
4. Google Cloud Prediction: 
5. Google Cloud Speech API: 
6. Guesswork.co: 
7. Hu:toma: 
8. IBM Watson Conversation  : 
9. IBM Watson Speech  : 
10. IBM Watson Data Insights: 
11. IBM Watson Retrieve and Rank:  
12. Imagga: 
13. indico: 
14. Microsoft Azure Cognitive Service API:   
15. Microsoft Azure Anomaly Detection API : 
16. Microsoft Cognitive Service - QnA Maker: 
17. Microsoft Cognitive Service - Speaker Recognition: 
18. MLJAR 
19. NuPIC :
20. PredicSis: 
21. PredictionIO:
22. RxNLP - Cluster Sentences and Short Texts: 
23. Recombee: 
24. Sightcorp F.A.C.E.: 

Visto en KDNuggets

Read More

Aprender procesos ETL con Pentaho Data Integration para Big Data

Una de las grandes ventajas de Pentaho Data Integration, es la forma en que facilita y ayuda a orquestar trabajos en entornos Big Data. 

Nuestros compañeros de stratebi, especialistas en formación eminentemente práctica y proyectos Big Data Analytics nos muestran algunos ejemplos de algunos de los temas de sus formaciones

También podéis ver algunas de sus aplicaciones online con las arquitecturas que lo soportan

Estos son parte de los ejercicios propuestos en este capítulo y que serás capaz de realizar son:

Ejercicio 1: Escribir archivos en HDFS en el clúster
Ejercicio 2: Leer archivos desde HDFS
Ejercicio 3: Leer datos desde Hive con PDI

Ejercicio 4: Movimiento de archivos con Jobs de PDI
Ejercicio 5: Transformación de Hive de creación de bases de datos
Ejercicio 6: Pasar archivos de una base de datos Oracle a una base de datos de Hive ORC

Read More