TodoBI - Business Intelligence, Big Data, ML y AI TodoBI - Business Intelligence, Big Data, ML y AI

El nuevo dbt Fusion

๐Ÿš€ ๐—˜๐—ป ๐—ฒ๐˜€๐˜๐—ฒ ๐—ง๐—ฒ๐—ฐ๐—ต ๐—ฝ๐—ฎ๐—ฝ๐—ฒ๐—ฟ ๐—ด๐—ฟ๐—ฎ๐˜๐˜‚๐—ถ๐˜๐—ผ, ๐—ฎ๐—ฝ๐—ฟ๐—ฒ๐—ป๐—ฑ๐—ฒ๐—ฟ๐—ฎฬ๐˜€ ๐˜€๐—ผ๐—ฏ๐—ฟ๐—ฒ ๐—ฒ๐—น ๐—ป๐˜‚๐—ฒ๐˜ƒ๐—ผ ๐—ฑ๐—ฏ๐˜ ๐—™๐˜‚๐˜€๐—ถ๐—ผ๐—ป!!

dbt Fusion es el nuevo motor de dbt (escrito en Rust) con รฉnfasis en velocidad, correcciรณn y comprensiรณn nativa del SQL por dialecto. A diferencia de Core (que โ€œrenderizaโ€ Jinja โ†’ SQL), Fusion hace una compilaciรณn mรกs profunda que habilita validaciones por dialecto y lineage a nivel de columna

๐Ÿ”Ž Y la mejor forma de aprender es ponerlo a prueba con un ejercicio real, como el que aquรญ se detalla:

Se realizan ๐—ฐ๐—ฎ๐—ฟ๐—ด๐—ฎ๐˜€ ๐—บ๐—ฎ๐—ป๐˜‚๐—ฎ๐—น๐—ฒ๐˜€ ๐—ฒ๐—ป ๐—ฆ๐—ป๐—ผ๐˜„๐—ณ๐—น๐—ฎ๐—ธ๐—ฒ ๐˜† ๐—ฒ๐—น ๐—บ๐—ผ๐˜๐—ผ๐—ฟ ๐—ฑ๐—ฒ ๐—ฑ๐—ฏ๐˜ ๐—ณ๐˜‚๐˜€๐—ถ๐—ผฬ๐—ป ๐—ฝ๐—ฎ๐—ฟ๐—ฎ ๐—ฝ๐—ฟ๐—ผ๐—ฐ๐—ฒ๐˜€๐—ฎ๐—ฟ ๐—น๐—ผ๐˜€ ๐—ฑ๐—ถ๐—ณ๐—ฒ๐—ฟ๐—ฒ๐—ป๐˜๐—ฒ๐˜€ ๐—บ๐—ผ๐—ฑ๐—ฒ๐—น๐—ผ๐˜€ ๐˜€๐—ถ๐—ด๐˜‚๐—ถ๐—ฒ๐—ป๐—ฑ๐—ผ ๐˜‚๐—ป๐—ฎ ๐—ฒ๐˜€๐˜๐—ฟ๐˜‚๐—ฐ๐˜๐˜‚๐—ฟ๐—ฎ ๐—ฏ๐—ฟ๐—ผ๐—ป๐—ฐ๐—ฒ, ๐˜€๐—ถ๐—น๐˜ƒ๐—ฒ๐—ฟ, ๐—ด๐—ผ๐—น๐—ฑ

El DWH utilizado es Snowflake, por lo que dbt fusiรณn emplearรฑa Snowflake como motor.La fuente de datos son los csvs cargados mediante seeds en el proyecto de Jaffle Shop. Este proyecto canรณnico de dbt representa ordenes, clientes y datos de Stripe para pagos.

El proyecto serรก ejecutado en un entorno local con dbt fsion instalado y configurado. Se harรกn cargas y se medirรกn tiempos de dichas cargas.De esta forma tendremos nuestro proyecto local jaffle-shop apuntando al DWH en Snowflake con nuestras credenciales de desarrollo en Snowflake en una base de datos y schema aislado para dicha prueba.Espero que os sea de utilidad!!