Material Big Data

Lanzados ppts informativos de tecnologías BigData: Hadoop, Hbase, Hive, Zookeeper...

Apuntate al Curso de PowerBI. Totalmente práctico, aprende los principales trucos con los mejores especialistas

Imprescindible para el mercado laboral actual. Con Certificado de realización!!

Pentaho Analytics. Un gran salto

Ya se ha lanzado Pentaho 8 y con grandes sorpresas. Descubre con nosotros las mejoras de la mejor suite Open BI

LinceBI, la mejor solución Big Data Analytics basada en Open Source

LinceBI incluye Reports, OLAP, Dashboards, Scorecards, Machine Learning y Big Data. Pruébala!!

23 oct. 2019

Paper: Forecasting para predicciones mensuales (Machine Learning)


En este documento se aplicará el método Box and Jenkins para el análisis de una serie temporal, en concreto, para las ventas de comida para llevar (en billones) en Australia durante el periodo abril/1980-abril/2014.  


Descargar paper (40 págs.)

Para ello nos serviremos del software estadístico R. Cabe decir que los modelos SARIMA están recomendados fundamentalmente para las predicciones mensuales, ya que las predicciones mensuales poseen habitualmente una estacionalidad simple y regular (única y sin alteraciones irregulares provocadas por factores añadidos como los festivos). 




Sin embargo, las series diarias o semanales suelen poseer estacionalidad compleja (e.g., semanal y anual) e irregular (más de una y con alteraciones). Por tanto, recomiendo los modelos SARIMA únicamente para los casos en los que se trate una serie de datos mensuales.

Mas contenido interesante sobre Machine Learning:


Por que muchos Data Scientist estan dejando sus trabajos?



Muy revelador lo que nos cuentan en este articulo del Towards Data Science, y que coincide con muchas situaciones y casos reales que conocemos y que se están produciendo. La frustración con el día a día del trabajo de los Data Scientist, respecto a las expectativas es importante (muchos conocéis que es llamado 'el trabajo más atractivo del siglo XXI'). La realidad es que muchos abandonan sus puestos de trabajo en grandes compañías, cuando parecían...


Nueva solucion Machine Intelligence: Pentaho, R, Python y Spark juntos para Machine Learning Analytics



Se acaba de presentar Machine Intelligence: el plugin para Pentaho Data Integration que facilita enormemente la ejecución de algoritmos sobre tecnologías Machine Learning, orquestados desde un completo entorno gráfico ETL Gracias a este plugin puedes convertir algoritmos de machine learning en 'steps' de PDI desde R, Python, Spark y Weka Gracias a este plugin consigues de forma sencilla: Hacer Machine Learning mucho más sencillo de...


Curso gratuito de Machine Learning por Google



Gran curso el que ofrece Google sobre Machine Learning, aprendizaje automático. Os lo recomendamos (Curso) Mas sobre Machine Learning: - Las 53 claves para conocer Machine Learning ...


Guide: Machine Learning for Software Engineers



Based on How I plan to become a machine learning engineer, you can/should follow this course if your are interested on this topics: Table of Contents What is it? Why use it? How to use it Follow me Don't feel you aren't smart enough About Video Resources Prerequisite Knowledge The Daily Plan Motivation Machine learning overview Machine learning mastery Machine learning is fun Inky Machine Learning Machine Learning: An In-Depth Guide Stories...


Los 30 mejores proyectos de Machine Learning Open Source



Como sabéis, el Machine Learning es uno de los temas que más nos interesan en el Portal y, máxime, cuando gran parte de las tecnologías son Open Source. En esta entrada, os indicamos los 30 proyectos más interesantes en en este año. Os dejamos también el material que publicamos con las claves del Machine Learning y una introducción Ver también, VideoTutorial No 1 FastText: Library for fast text representation and classification....



Whitepaper gratuito 'Usos de Machine Learning por sectores'



Ya tenéis disponible un Estudio muy interesante de más de 60 páginas, que os podéis descargar gratuitamente desde el enlace anterior Que podéis encontrar? Más información: Plataforma Online de Soluciones Big Data y Machine Learning (Demos y Aplicaciones) Aplicación práctica de Machine Learning con Bases de Datos Analyticas. Descargar Paper VideoTutorial Machine Learning para Predicción de Ventas VideoTutorial PowerBI con R Aplicación...


Mas de 20 Tecnicas y Tipos de Analisis Machine Learning y Analytics



A continuación, os detallamos las principales técnicas y tipos de análisis que se realizan en Big Data, muchas veces agrupadas bajo nombres como algoritmos, machine learning, etc.... pero que no siempre se explican correctamente Aquí os hemos creado algunos ejemplos online usando algunas de estas técnicas Si quieres saber más, puedes consultar también otros posts relacionados: - Las 53 Claves para conocer Machine Learning - 69 claves...


Como usar Machine Learning para hacer Data Quality



Las empresas cada vez necesitan almacenar y procesar más datos sobre sus clientes, proveedores, personal o pedidos. Sin embargo, a mayor Volumen de datos, mayor es la probabilidad de que existan datos incorrectos, como las direcciones o teléfonos que afecten de forma negativa a nuestro negocio. Por ejemplo, un pedido con una dirección errónea será devuelto, reduciendo el beneficio de la empresa y la confianza del cliente. Teniendo en cuenta...


Las 53 Claves para conocer Machine Learning



Si hace unos días os presentábamos las 69 claves para conocer Big Data, hoy os traemos las 53 Claves para conocer Machine Learning.  Que lo disfrutéis, si quereis conocer más o practicar, tenemos cursos Tambien os recomendamos: Una breve historia del Machine Learning ...


Una 'breve' Historia del Machine Learning



Hoy en día, el concepto de Machine Learning, está muy en boga, pero muchos lo entremezclan con la estadistica, las matemáticas, el Big Data, etc... para ello, que mejora hacer un repaso histórico de su evolución para conocerlo mejor Historia del Machine Learning: 1950 — Alan Turing creates the “Turing Test” to determine if a computer has real intelligence. To pass the test, a computer must be able to fool a human into believing it is also human. 1952...

The Timeline of Statistics (Machine Learning)






Para todos los amantes de la estadistica, Machine Learning y Data Mining. 

Pincha y descargatelo!!




22 oct. 2019

Aprende SQL descubriendo un asesinato


Genial esta iniciativa!! SQL Mysteries

Empieza ya aquí

Los experimentados detectives de SQL empiezan aquí:

Ha ocurrido un crimen y el detective necesita tu ayuda. 
El detective te dio el informe de la escena del crimen, pero de alguna manera lo perdiste. 
Usted recuerda vagamente que el crimen fue un asesinato que ocurrió en algún momento el 15 de enero de 2018 y que tuvo lugar en SQL City. 
Empiece por recuperar el informe correspondiente de la escena del crimen de la base de datos del departamento de policía.

Exploración de la estructura de la base de datos:

Los usuarios experimentados de SQL a menudo pueden utilizar consultas a la base de datos para inferir la estructura de una base de datos. 
Pero cada sistema de base de datos tiene diferentes maneras de gestionar esta información. 
El misterio del asesinato de SQL se construye usando SQLite. Usa este comando SQL para encontrar las tablas en la base de datos de Murder Mystery.

Descarga gratis el Estudio: 'Impacto del Big Data y Advanced Analytics en España'


Muy interesante el estudio que ha realizado Esade y puedes descargar sobre el uso del Big Data y Advance Analytics en España, tema que nos encanta en TodoBI





El presente estudio nace con el objetivo de conocer el estado de adopción e impacto que está teniendo el Big Data en las empresas de nuestro país. 

Aquí podemos ver los problemas a los que se enfrentan las compañías en sus iniciativas Big Data Analytics:





Mediante un cuestionario dirigido a los responsables ejecutivos y técnicos de las mismas, se ha analizado a las compañías respecto a  cinco dimensiones:

1) Visión  estratégica  y  modelo  organizativo 
2) Inversión  y  creación  de  valor 
3) Cultura y talento



4) Infraestructura de datos
5) Prioridades a futuro



Top Business Intelligence Tools study


This complete, 300 pages study, is a comprehensive comparative of some of the most important Business Intelligence tools (this study will include new tools in next editions). 

Has been created by analytics experts Stratebi. This document include in depth features, modules and architecture analysis, considering:

- PowerBI
- Tableau
- Qlikview
- Pentaho
- SAS
- Information Builders
- Amazon Quicksight

A very complete study for all business intelligence interested who are evaluating to use some of this tools


Imprescindible: Si estas creando un moderno Data Warehouse o Data Lake


Este Landscape es muy útil para conocer las principales tecnologías y herramientas, que dentro de todo el ciclo de vida de creación y explotación de datos en una organización se pueden utilizar

Hemos trabajado y conocemos la mayor parte de ellas, también publicamos comparativas y benchmarks, etc..

Si nos quieres preguntar o consultar sobre las mejores alternativas, combinaciones de tecnologías, etc... escríbenos!!

21 oct. 2019

Las mejores APIs para Machine Learning




Face and Image Recognition
  1. Animetrics Face Recognition: 
  2. Betaface:  
  3. Eyedea Recognition: 
  4. Face++
  5. FaceMark
  6. FaceRect
  7. Google Cloud Vision API
  8. IBM Watson Visual Recognition
  9. Kairos:
  10. Microsoft Cognitive Service - Computer Vision
  11. Rekognition
  12. Skybiometry Face Detection and Recognition


Prediction and Other Machine Learning
  1. Amazon Machine Learning
  2. BigML
  3. Ersatz
  4. Google Cloud Prediction
  5. Google Cloud Speech API
  6. Guesswork.co
  7. Hu:toma: 
  8. IBM Watson Conversation 
  9. IBM Watson Speech 
  10. IBM Watson Data Insights
  11. IBM Watson Retrieve and Rank:  
  12. Imagga
  13. indico
  14. Microsoft Azure Cognitive Service API:   
  15. Microsoft Azure Anomaly Detection API
  16. Microsoft Cognitive Service - QnA Maker
  17. Microsoft Cognitive Service - Speaker Recognition
  18. MLJAR 
  19. NuPIC :
  20. PredicSis
  21. PredictionIO:
  22. RxNLP - Cluster Sentences and Short Texts
  23. Recombee
  24. Sightcorp F.A.C.E.

Visto en KDNuggets

Aprender procesos ETL con Pentaho Data Integration para Big Data









Una de las grandes ventajas de Pentaho Data Integration, es la forma en que facilita y ayuda a orquestar trabajos en entornos Big Data. 

Nuestros compañeros de stratebi, especialistas en formación eminentemente práctica y proyectos Big Data Analytics nos muestran algunos ejemplos de algunos de los temas de sus formaciones




También podéis ver algunas de sus aplicaciones online con las arquitecturas que lo soportan

Estos son parte de los ejercicios propuestos en este capítulo y que serás capaz de realizar son:

Ejercicio 1: Escribir archivos en HDFS en el clúster
Ejercicio 2: Leer archivos desde HDFS
Ejercicio 3: Leer datos desde Hive con PDI



Ejercicio 4: Movimiento de archivos con Jobs de PDI
Ejercicio 5: Transformación de Hive de creación de bases de datos
Ejercicio 6: Pasar archivos de una base de datos Oracle a una base de datos de Hive ORC


















17 oct. 2019

Los 9 problemas a los que se enfrentan las empresas que trabajan con datos


Muy interesante esta presentación que indica de forma muy clara cuales son los problemas a los que se enfrentan las empresas cuando realizan proyectos e iniciativas de datos que, de forma general, podemos plantear como de Transformación Digital


Big Data Olap con Superset (AirBnB)



Os venimos contando desde hace ya un tiempo, el potencial del mundo Big Data y OLAP Business Intelligence, con diferentes tecnologías. Hoy, os contamos la arquitectura usando Superset, creado por AirBnB

Nuestros compañeros de Stratebi han creado un entorno de prueba para que lo veas, además, en funcionamiento

Información publicada recientemente sobre el tema:

x50 faster 'near real time' Big Data OLAP Analytics Architecture
Comparacion de sistemas Open Source OLAP para Big Data
Use Case “Dashboard with Kylin (OLAP Hadoop) & Power BI”
Cuadros de mando con Tableau y Apache Kylin (OLAP con Big Data)
BI meet Big Data, a Happy Story
7 Ejemplos y Aplicaciones practicas de Big Data
Analysis Big Data OLAP sobre Hadoop con Apache Kylin
Real Time Analytics, concepts and tools
Hadoop Hive y Pentaho: Business Intelligence con Big Data (Caso Practico)



Arquitectura:



En el caso de estudio que presentamos, hacemos uso de las herramientas Apache Kylin y Apache Superset para dar soporte al análisis mediante Cuadros de Mando de un almacén de datos (Data Warehouse, DW) que contiene datos con características Big Data (Volumen, Velocidad y Variedad).
Se trata de un gran Volumen de datos académicos, relativos a los últimos 15 años de una universidad de gran tamaño. A partir de esta fuente de datos, se ha diseñado un modelo multidimensional para el análisis del rendimiento académico. En él contamos con unos 100 millones de medidas cómo los créditos relativos a asignaturas aprobadas, suspendidas o matriculadas. Estos hechos se analizan en base a distintas dimensiones o contextos de análisis, como el Sexo, la Calificación o el Año Académico.
Dado que este Volumen de datos es demasiado grande para analizarlo con un rendimiento aceptable con los sistemas OLAP (R-OLAP y M-OLAP) tradicionales, hemos decidido probar la tecnología Apache Kylin, la cual promete tiempos de respuesta de unos pocos segundos para Volúmenes que pueden superar los 10 billones de filas en la tabla de hechos o medidas.
Además, para hacer posible la exploración de los datos del cubo de Kylin mediante lenguaje SQL y la creación de cuadros de mando que podamos compartir con los usuarios finales de los datos, hemos hecho uso de la herramienta Superset.
Apache Superset es una herramienta de visualización desarrollada por AirBnb de reciente creación. Facilita la creación de cuadros de mando de forma intuitiva y destaca por ofrecer una gran variedad de representaciones gráficas tanto para la exploración como para la visualización de los datos.
La herramienta Superset incluye de serie conectores para Sqlite y Druid pero dispone de una serie de paquetes para realizar conexiones con otras fuentes de datos. El uso del estándar SQLAlchemy permite realizar consultas en diferentes orígenes de datos, siempre que se disponga del conector correspondiente. Mediante el uso del conector con Kylin (kylinpy), es posible enviar consultas a Kylin utilizando SQL.
Superset incluye un entorno de consultas (SQL Lab) que permite desarrollar consultas SQL sobre una fuente de datos para dar soporte a una representación gráfica. Por otra parte, Superset permite crear cuadros de mandos a partir de las gráficas generadas (que parten de las consultas SQL realizadas). Tras crear el cuadro de mandos, es necesario gestionar los permisos para conceder acceso al mismo a los usuarios autorizados. En este caso se ha configurado Superset para permitir el acceso público a este cuadro de mandos.


Desarrollada por eBay y posteriormente liberada como proyecto Apache open source, Kylin es una herramienta de código libre que da soporte al procesamiento analítico en línea (OLAP) de grandes volúmenes de datos con las características del Big Data (Volumen, Velocidad y Variedad).
Sin embargo, hasta la llegada de Kylin, la tecnología OLAPestaba limitada a las bases de datos relacionales o, en el mejor de los casos, con optimizaciones para el almacenamiento multidimensional, tecnologías con importantes limitaciones para enfrentarse al Big Data.
Apache Kylin, construida sobre la base de distintas tecnologías del entorno Hadoop, proporciona una interfaz SQL que permite la realización de consultas para el análisis multidimensional de un conjunto de datos, logrando unos tiempos de consulta muy bajos (segundos) para hechos de estudio que pueden llegar hasta los 10 billones de filas o más.
Las tecnologías del entorno Hadoop fundamentales para Kylin son Apache Hive y Apache HBase. El almacén de datos (Data Warehouse, DW) se crea en forma de modelo estrella y se mantiene en Apache Hive. A partir de este modelo y mediante la definición de un modelo de metadatos del cubo OLAP, Apache Kylin, mediante un proceso offline, crea un cubo multidimensional (MOLAP) en HBase. Se trata de una estructura optimizada para su consulta a través de la interfaz SQL proporcionada por Kylin.
De esta forma cuando Kylin recibe una consulta SQL, debe decidir si puede responderla con el cubo MOLAP en HBase (en milisegundos o segundos), o sí por el contrario, no se ha incluido en el cubo MOLAP, y se ha ejecutar una consulta frente al esquema estrella en Apache Hive (minutos), lo cual es poco frecuente.
Por último, gracias al uso de SQL y la disponibilidad de drivers J/ODBC podemos conectar con herramientas de Business Intelligence como Tableau, Apache Zeppelin o incluso motores de consultas MDX como Pentaho Mondrian, permitiendo el análisis multidimensional en sus formas habituales: vistas o tablas multidimensionales, cuadros de mando o informes.



Superset es una herramienta de visualización de código abierto desarrollada por AirBnb y liberada como proyecto Apache. Se trata de un proyecto de reciente creación que se encuentra en proceso de desarrollo. 
Esta herramienta destaca por disponer de un amplio abanico de representaciones para la exploración y visualización de datos, posibilitando la creación de cuadros de mando así como por su sencillez de uso y alta disponibilidad, siendo diseñado para funcionar bien tanto en ordenadores personales como en entornos distribuidos.
Por otra parte, Superset utiliza SQLAlchemy para facilitar la integración con diferentes gestores de bases de datos relacionales (como MySQL, PostgreSQL, Oracle, etc.) así como otros gestores de datos no relacionales orientados al Big Data (como Kylin, Druid o Vertica). Para realizar la conexión de Superset con alguna de estas fuentes de datos, se necesita instalar un paquete que actúa como middleware y configurar la conexión con SQLAlchemy.
Otras funcionalidades por destacar de Superset son la seguridad y autenticación que permite el uso de fuentes como LDAP, OAuth o OpenID. Se pueden utilizar diferentes usuarios y roles con permisos específicos de acceso, creación o modificación de fuentes de datos, gráficas, cuadros de mando etc.

Sí estas interesado en hacer tu proyecto con esta tecnología no dudes en solicitar presupuesto en StrateBI.