Material Big Data

Lanzados ppts informativos de tecnologías BigData: Hadoop, Hbase, Hive, Zookeeper...

Apuntate al Curso de PowerBI. Totalmente práctico, aprende los principales trucos con los mejores especialistas

Imprescindible para el mercado laboral actual. Con Certificado de realización!!

Pentaho Analytics. Un gran salto

Ya se ha lanzado Pentaho 8 y con grandes sorpresas. Descubre con nosotros las mejoras de la mejor suite Open BI

Aprende gratis Analytics OLAP sobre Pentaho

La solución open source para business intelligence y Big Data sobre Pentaho, no te lo pierdas!!

31 may. 2018

Descarga gratis el Estudio: 'Impacto del Big Data y Advanced Analytics en España'


Muy interesante el estudio que ha realizado Esade y puedes descargar sobre el uso del Big Data y Advance Analytics en España, tema que nos encanta en TodoBI





El presente estudio nace con el objetivo de conocer el estado de adopción e impacto que está teniendo el Big Data en las empresas de nuestro país. 

Aquí podemos ver los problemas a los que se enfrentan las compañías en sus iniciativas Big Data Analytics:





Mediante un cuestionario dirigido a los responsables ejecutivos y técnicos de las mismas, se ha analizado a las compañías respecto a  cinco dimensiones:

1) Visión  estratégica  y  modelo  organizativo 
2) Inversión  y  creación  de  valor 
3) Cultura y talento



4) Infraestructura de datos
5) Prioridades a futuro



Big Data para PowerBI



Power BI es un conjunto de herramientas Business Intelligence (BI) desarrolladas por Microsoft. De reciente aparición, gracias a su simplicidad y potencia se ha hecho un un hueco entre las grandes del mercado como Tableau, Pentaho o Microstrategy. 
Al igual que estas últimas, implementa la filosofía de Autoservicio para el usuario final (Self Service BI) llevada al extremo de la sencillez, pero con un gran número de características como el desarrollo de cuadros de mando (denominados informes en Power BI), la compartición web o dentro de la organización, un gran número de gráficos incluyendo gráficos con análisis estadístico (ej. forecasting página 2 demo), conexión a fuentes relacionales y Big Data, exploración en lenguaje natural (Q & A), soporte para ejecutar código R y visualizar resultados, o pre procesamiento de datos (ETL).
Las características anteriores se implementan repartidas en las distintas aplicaciones. Power BI Desktop es la herramienta de cliente para la exploración, transformación y diseño de visualizaciones a partir de los datos. Se trata de una herramienta completamente gratuita, que dispone de conexiones a las fuentes Big Data y relacionales más usadas. Aunque para algunas fuentes dispone de un conector específico, en el caso de Apache Kylin hemos de hacer uso del conector ODBC disponible en su web
Tras la conexión, se genera un extracto de los datos. A partir de este momento los pasos para la creación de nuestro cuadro de mando han sido i) la definición del modelo de datos, ii) la aplicación de alguna transformación (ej. formato de fecha), iii) la definición de métricas calculadas (ej. tasa de éxito) o jerarquías sobre las dimensiones (ej. tabla OLAP página 2 demo), y, por último, iv) la creación del cuadro de mando demo, compuesto por dos páginas (selector en barra inferior).
Una vez hemos diseñado y guardado nuestro cuadro de mando con Power BI Desktop, llega el momento de compartirlo. Para ello hemos creado una cuenta de Power BI Service en su alternativa gratuita, pues en esta herramienta sí dispone de versiones Pro y Premium, ambas de pago. Aunque estas versiones disponen de conexión directa a algunas bases de datos como SQL Server (con o sin Analysis Services), Oracle o Cloudera Impala, para el resto de conexiones, como la conexión ODBC con Kylin, es necesario publicar el extracto de los datos, que se refresca de forma manual (versión gratuita) o programada (Pro y Premium).
Además de Power BI Desktop y Power BI Service (Free, Pro y Premium), existen otras herramientas como Mobile , para el acceso a los informes desde nuestro smartphone y el trabajo colaborativo, o Embedded, para componer nuestras propias aplicaciones, portales web, Share Point a partir de las visualizaciones desarrolladas con Power BI.
Sí estas interesado en hacer tu proyecto con esta tecnología no dudes en solicitar presupuesto en StrateBI, Partner de Microsoft PowerBI con larga experiencia

Aquí, (Ver Demo) puedes ver un ejemplo combinado de PowerBI on open source based Business Intelligence solutions, como LinceBI, de forma que puedes tener una solución completa BI, que cubre todos los módulos y necesidades

- Adhoc Reporting
- Predefined Dashboards
- OLAP Analysis
- Adhoc Dashboarding
- Scorecards
- Forecasts

Mas info:





PowerBI for Big Data

Arquitecture:
En el caso de estudio que presentamos (Ver Demo), hacemos uso de las herramientas Apache Kylin , Power BI Desktop y Power BI Servicio para dar soporte al análisis mediante Cuadros de Mando de un almacén de datos (Data Warehouse, DW) que contiene datos con características Big Data (Volumen, Velocidad y Variedad).
Se trata de un gran Volumen de datos académicos, relativos a los últimos 15 años de una universidad de gran tamaño. A partir de esta fuente de datos, se ha diseñado un modelo multidimensional para el análisis del rendimiento académico. En él contamos con unos 100 millones de medidas cómo los créditos relativos a asignaturas aprobadas, suspendidas o matriculadas. Estos hechos se analizan en base a distintas dimensiones o contextos de análisis, como el Sexo, la Calificación o el Año Académico.
Dado que este Volumen de datos es demasiado grande para analizarlo con un rendimiento aceptable con los sistemas OLAP (R-OLAP y M-OLAP) tradicionales, hemos decidido probar la tecnología Apache Kylin, la cual promete tiempos de respuesta de unos pocos segundos para Volúmenes que pueden superar los 10 billones de filas en la tabla de hechos o medidas.
Las tecnologías del entorno Hadoop fundamentales para Kylin son Apache Hive y Apache HBase. El almacén de datos (Data Warehouse, DW) se crea en forma de modelo estrella y se mantiene en Apache Hive. A partir de este modelo y mediante la definición de un modelo de metadatos del cubo OLAP, Apache Kylin, mediante un proceso offline, crea un cubo multidimensional (MOLAP) en HBase. A partir de este momento, Kylin permite hacer consultas sobre el mismo a través de su interfaz SQL, también accesible a través de conectores J/ODBC.
Por último, para hacer posible la exploración de los datos del cubo de Kylin mediante lenguaje SQL y la creación de cuadros de mando que podamos compartir con los usuarios finales de los datos, hemos hecho uso de las herramientas Power BI Desktop y Power BI Service.
En primer lugar hemos usado Power BI Desktop, herramienta gratuita, para la conexión con Apache Kylin y la creación de un cuadro de mando similar al que realizamos para el ejemplo con Apache Zepelin y, también, con Tableau. La herramienta Power BI es una herramienta de Autoservicio para el usuario final (Self Service BI): facilita la creación y publicación de completos cuadros de mando a los usuarios finales de los datos, así como el modelado y transformación de los datos si es necesario.
Una vez diseñado el cuadro de mando, lo hemos publicado en la Web haciendo uso del servicio en la nube de Power BI. Para ello, es necesario la creación de un extracto o copia de los datos, que se hace de forma transparente al usuario y se sube a la nube de Power BI junto con el cuadro o cuadros de mando. En este caso hemos usado la versión gratuita, aunque también dispone de versiones Pro y Premium con características añadidas como la compartición intra organización (además de vía Web) o el refresco programado de los datos del extracto desde el origen, Apache Kylin por ODBC en nuestro caso.

30 may. 2018

La Tabla Periodica interactiva del Machine Learning



Que gran visualización y que útil, pincha en la tabla periódica para descubrirlo

28 may. 2018

Top Business Intelligence Tools study


This complete, 300 pages study, is a comprehensive comparative of some of the most important Business Intelligence tools (this study will include new tools in next editions). 

Has been created by analytics experts Stratebi. This document include in depth features, modules and architecture analysis, considering:

- PowerBI
- Tableau
- Qlikview
- Pentaho
- SAS
- Information Builders
- Amazon Quicksight

A very complete study for all business intelligence interested who are evaluating to use some of this tools


Las mejores APIs para Machine Learning




Face and Image Recognition
  1. Animetrics Face Recognition: 
  2. Betaface:  
  3. Eyedea Recognition: 
  4. Face++
  5. FaceMark
  6. FaceRect
  7. Google Cloud Vision API
  8. IBM Watson Visual Recognition
  9. Kairos:
  10. Microsoft Cognitive Service - Computer Vision
  11. Rekognition
  12. Skybiometry Face Detection and Recognition


Prediction and Other Machine Learning
  1. Amazon Machine Learning
  2. BigML
  3. Ersatz
  4. Google Cloud Prediction
  5. Google Cloud Speech API
  6. Guesswork.co
  7. Hu:toma: 
  8. IBM Watson Conversation 
  9. IBM Watson Speech 
  10. IBM Watson Data Insights
  11. IBM Watson Retrieve and Rank:  
  12. Imagga
  13. indico
  14. Microsoft Azure Cognitive Service API:   
  15. Microsoft Azure Anomaly Detection API
  16. Microsoft Cognitive Service - QnA Maker
  17. Microsoft Cognitive Service - Speaker Recognition
  18. MLJAR 
  19. NuPIC :
  20. PredicSis
  21. PredictionIO:
  22. RxNLP - Cluster Sentences and Short Texts
  23. Recombee
  24. Sightcorp F.A.C.E.

Visto en KDNuggets

27 may. 2018

Aprender procesos ETL con Pentaho Data Integration para Big Data









Una de las grandes ventajas de Pentaho Data Integration, es la forma en que facilita y ayuda a orquestar trabajos en entornos Big Data. 

Nuestros compañeros de stratebi, especialistas en formación eminentemente práctica y proyectos Big Data Analytics nos muestran algunos ejemplos de algunos de los temas de sus formaciones




También podéis ver algunas de sus aplicaciones online con las arquitecturas que lo soportan

Estos son parte de los ejercicios propuestos en este capítulo y que serás capaz de realizar son:

Ejercicio 1: Escribir archivos en HDFS en el clúster
Ejercicio 2: Leer archivos desde HDFS
Ejercicio 3: Leer datos desde Hive con PDI



Ejercicio 4: Movimiento de archivos con Jobs de PDI
Ejercicio 5: Transformación de Hive de creación de bases de datos
Ejercicio 6: Pasar archivos de una base de datos Oracle a una base de datos de Hive ORC


















Nuestro mundo en datos


Para todos los que consideran que la mejor forma de estar informados y opinar con criterio de historia, economía y política es basarse en datos, esta es tu web: Our World in Data




Las 20 mejores librerias para Data Scientists en R

Buena recopilación,






Curso en Madrid de Machine Learning


13, 14 de Junio, Madrid

Hace poco os contábamos en detalle sobre Machine Learning, ahora os proponemos la posibilidad de formaros en este interesante y eminentemente práctico Curso presencial en Madrid, para aprender sobre lo que allí os contábamos

Echa un vistazo a algunos ejemplos de de aplicación en Big Data

Son plazas limitadas, por lo que no lo dejéis escapar









25 may. 2018

Webinar STPivot4 Open Source for Pentaho ya disponible


Mas de 100 inscritos al Webinar sobre Business Intelligence Open Source, centrado en el uso de la herramienta OLAP, STPivot4, disponible en Github y en el Marketplace de Pentaho

Os dejamos el video completo del Webinar realizado





Este pasado jueves 24 de Mayo hemos tenido un Webinar para conocer y sacar el mejor partido a STPivot4, la solución open source, analytics OLAP sobre Pentaho, que también puedes usar sobre ecosistemas Big Data como Apache Kylin.

Toda la info y registro de STPivot4

STPivot puede ser descargado gratuitamente desde Github y desde el Marketplace de Pentaho







20 may. 2018

Data: Languages in the world

19 may. 2018

New Data Connectors in LinceBI



LinceBI, an open source based Big Data Analytics solution, with a free license model with professional support, recently increase the number of data connectors

Now, you have a complete set of data connectors in order to make easier data injection. 

Recently, we give you some details about LinceBi functionalities

Even more, it includes a predefined industry oriented models, dashboads, KPIS, reports and Analysis... so deploy a 'ready to use' Analytics solution is very easy

Bloom, Graph Visualisation y Discovery tool para Neo4j


Muy interesante la presentación de la nueva herramienta de visualización para Neo4J, Bloom, realmente espectacular

Además, tienes otras posibilidades de visualización para Neo4J

Aquí podéis ver una Demo usando Neo4J con los Panama Papers y para cálculo de distancias, en este caso usando Linkurious

Bloom visually reveals the value of data relationships and identifies connectedness paths between interesting clusters and nodes. These situations often include:


  • Identifying the relationship (or hidden path) between individuals
  • Connecting people to activities, locations, compaines, devices and other objects
  • Demonstrating to management the innovative impact of graphs
  • Illustrating the context and paths of graph designs and Cypher queries
Bloom gives you the ability to:
  • Inspect the animated graph by panning and zooming across the visible domain
  • Snapshot scenes using a screen capture tool and paste to publish
  • Select a node and toggle to understand properties and adjacent nodes based on its relationships
  • Edit nodes, relationships and properties
  • Pick a template and view the metadata perspective of that template against your data
  • Initiate queries within the search box based on suggestions and template phrases
  • Advance the scene and choose a new query to execute in the search box
  • Save your history including “hints” that inform the illustration so Bloom remembers where you left off

17 may. 2018

Pentaho 8.1 ya esta aquí, conoce las novedades!!



Pentaho 8.1 ya esta disponible (aquí para descargar de Sourceforge) y que mejor que Pedro Alves para contarnos. Os dejamos las principales novedades y en que versión (EE o CE) están disponibles:

Cloud Google Storage (EE)

Google BigQuery – JDBC Support  (EE/CE)

Google BigQuery – Bulk Loader  (EE)


Google Drive  (EE/CE)

Analytics over BigQuery  (EE/CE, depending on the tool used)

Big Data / Adaptive Execution Layer (AEL) Improvements 

Bigger and Better (EE/CE)

Sub Transformation support (EE/CE)

Big Data formats: Added support for Orc (EE/CE)

Worker Nodes (EE)

New Streaming Datasources: MQTT, and JMS (Active MQ / IBM MQ) (EE/CE)


Safe Stop (EE/CE)

Streaming Dataservices (EE/CE)

CTools and Streaming Visualizations (EE/CE)

Time Series Visualizations (EE/CE)

Data Exploration Tool Updates (EE)


 Additional updates:

     Salesforce connector API update (API version 41)
     Splunk connection updated to version 7
     Mongo version updated to 3.6.3 driver (supporting 3.4 and 3.6)
     Cassandra version updated to support version 3.1 and Datastax 5.1
     PDI repository browser performance updates, including lazy loading
     Improvements on the Text and Hadoop file outputs, including limit and control file handling
     Improved logging by removing auto-refresh from the kettle logging servlet
     Admin can empty trash folder of other users on PUC
     Clear button in PDI step search in spoon
     Override JDBC driver class and URL for a connection
     Suppressed the Pentaho ‘session expired’ pop-up on SSO scenarios, redirecting to the proper login page
     Included the possibility to schedule generation of reports with a timestamp to avoid overwriting content

In summary (and wearing my marketing hat) with Pentaho 8.1 you can:

      Deploy in hybrid and multi-cloud environments with comprehensive support for Google Cloud Platform, Microsoft Azure and AWS for both data integration and analytics
      Connect, process and visualize streaming data, from MQTT, JMS, and IBM MQ message queues and gain insights from time series visualizations
      Get better platform performance and increase user productivity with improved logging, additional lineage information, and faster repository access

16 may. 2018

Big Data Olap con Superset (AirBnB)



Os venimos contando desde hace ya un tiempo, el potencial del mundo Big Data y OLAP Business Intelligence, con diferentes tecnologías. Hoy, os contamos la arquitectura usando Superset, creado por AirBnB

Nuestros compañeros de Stratebi han creado un entorno de prueba para que lo veas, además, en funcionamiento

Información publicada recientemente sobre el tema:

x50 faster 'near real time' Big Data OLAP Analytics Architecture
Comparacion de sistemas Open Source OLAP para Big Data
Use Case “Dashboard with Kylin (OLAP Hadoop) & Power BI”
Cuadros de mando con Tableau y Apache Kylin (OLAP con Big Data)
BI meet Big Data, a Happy Story
7 Ejemplos y Aplicaciones practicas de Big Data
Analysis Big Data OLAP sobre Hadoop con Apache Kylin
Real Time Analytics, concepts and tools
Hadoop Hive y Pentaho: Business Intelligence con Big Data (Caso Practico)



Arquitectura:



En el caso de estudio que presentamos, hacemos uso de las herramientas Apache Kylin y Apache Superset para dar soporte al análisis mediante Cuadros de Mando de un almacén de datos (Data Warehouse, DW) que contiene datos con características Big Data (Volumen, Velocidad y Variedad).
Se trata de un gran Volumen de datos académicos, relativos a los últimos 15 años de una universidad de gran tamaño. A partir de esta fuente de datos, se ha diseñado un modelo multidimensional para el análisis del rendimiento académico. En él contamos con unos 100 millones de medidas cómo los créditos relativos a asignaturas aprobadas, suspendidas o matriculadas. Estos hechos se analizan en base a distintas dimensiones o contextos de análisis, como el Sexo, la Calificación o el Año Académico.
Dado que este Volumen de datos es demasiado grande para analizarlo con un rendimiento aceptable con los sistemas OLAP (R-OLAP y M-OLAP) tradicionales, hemos decidido probar la tecnología Apache Kylin, la cual promete tiempos de respuesta de unos pocos segundos para Volúmenes que pueden superar los 10 billones de filas en la tabla de hechos o medidas.
Además, para hacer posible la exploración de los datos del cubo de Kylin mediante lenguaje SQL y la creación de cuadros de mando que podamos compartir con los usuarios finales de los datos, hemos hecho uso de la herramienta Superset.
Apache Superset es una herramienta de visualización desarrollada por AirBnb de reciente creación. Facilita la creación de cuadros de mando de forma intuitiva y destaca por ofrecer una gran variedad de representaciones gráficas tanto para la exploración como para la visualización de los datos.
La herramienta Superset incluye de serie conectores para Sqlite y Druid pero dispone de una serie de paquetes para realizar conexiones con otras fuentes de datos. El uso del estándar SQLAlchemy permite realizar consultas en diferentes orígenes de datos, siempre que se disponga del conector correspondiente. Mediante el uso del conector con Kylin (kylinpy), es posible enviar consultas a Kylin utilizando SQL.
Superset incluye un entorno de consultas (SQL Lab) que permite desarrollar consultas SQL sobre una fuente de datos para dar soporte a una representación gráfica. Por otra parte, Superset permite crear cuadros de mandos a partir de las gráficas generadas (que parten de las consultas SQL realizadas). Tras crear el cuadro de mandos, es necesario gestionar los permisos para conceder acceso al mismo a los usuarios autorizados. En este caso se ha configurado Superset para permitir el acceso público a este cuadro de mandos.


Desarrollada por eBay y posteriormente liberada como proyecto Apache open source, Kylin es una herramienta de código libre que da soporte al procesamiento analítico en línea (OLAP) de grandes volúmenes de datos con las características del Big Data (Volumen, Velocidad y Variedad).
Sin embargo, hasta la llegada de Kylin, la tecnología OLAPestaba limitada a las bases de datos relacionales o, en el mejor de los casos, con optimizaciones para el almacenamiento multidimensional, tecnologías con importantes limitaciones para enfrentarse al Big Data.
Apache Kylin, construida sobre la base de distintas tecnologías del entorno Hadoop, proporciona una interfaz SQL que permite la realización de consultas para el análisis multidimensional de un conjunto de datos, logrando unos tiempos de consulta muy bajos (segundos) para hechos de estudio que pueden llegar hasta los 10 billones de filas o más.
Las tecnologías del entorno Hadoop fundamentales para Kylin son Apache Hive y Apache HBase. El almacén de datos (Data Warehouse, DW) se crea en forma de modelo estrella y se mantiene en Apache Hive. A partir de este modelo y mediante la definición de un modelo de metadatos del cubo OLAP, Apache Kylin, mediante un proceso offline, crea un cubo multidimensional (MOLAP) en HBase. Se trata de una estructura optimizada para su consulta a través de la interfaz SQL proporcionada por Kylin.
De esta forma cuando Kylin recibe una consulta SQL, debe decidir si puede responderla con el cubo MOLAP en HBase (en milisegundos o segundos), o sí por el contrario, no se ha incluido en el cubo MOLAP, y se ha ejecutar una consulta frente al esquema estrella en Apache Hive (minutos), lo cual es poco frecuente.
Por último, gracias al uso de SQL y la disponibilidad de drivers J/ODBC podemos conectar con herramientas de Business Intelligence como Tableau, Apache Zeppelin o incluso motores de consultas MDX como Pentaho Mondrian, permitiendo el análisis multidimensional en sus formas habituales: vistas o tablas multidimensionales, cuadros de mando o informes.



Superset es una herramienta de visualización de código abierto desarrollada por AirBnb y liberada como proyecto Apache. Se trata de un proyecto de reciente creación que se encuentra en proceso de desarrollo. 
Esta herramienta destaca por disponer de un amplio abanico de representaciones para la exploración y visualización de datos, posibilitando la creación de cuadros de mando así como por su sencillez de uso y alta disponibilidad, siendo diseñado para funcionar bien tanto en ordenadores personales como en entornos distribuidos.
Por otra parte, Superset utiliza SQLAlchemy para facilitar la integración con diferentes gestores de bases de datos relacionales (como MySQL, PostgreSQL, Oracle, etc.) así como otros gestores de datos no relacionales orientados al Big Data (como Kylin, Druid o Vertica). Para realizar la conexión de Superset con alguna de estas fuentes de datos, se necesita instalar un paquete que actúa como middleware y configurar la conexión con SQLAlchemy.
Otras funcionalidades por destacar de Superset son la seguridad y autenticación que permite el uso de fuentes como LDAP, OAuth o OpenID. Se pueden utilizar diferentes usuarios y roles con permisos específicos de acceso, creación o modificación de fuentes de datos, gráficas, cuadros de mando etc.

Sí estas interesado en hacer tu proyecto con esta tecnología no dudes en solicitar presupuesto en StrateBI.