Fivetran, leader della Data Integration, mette a disposizione centinaia di connettori automatizzati che rendono i dati accessibili, affidabili e facili da interrogare in pochi minuti. Per quanto sia fondamentale la creazione e l’aggiornamento dei connettori e lo spostamento dei dati da questi a una destinazione scelta, le aziende hanno sempre più la necessità di trasformare i propri dati per i loro casi d’uso. Fivetran mette a disposizione all’interno del suo ambiente di setting alcuni strumenti per la trasformazione del dato; inoltre avevamo visto in un nostro articolo precedente come Fivetran segua un approccio ELT (Extract – Load – Trasform) differente dal superato concetto di ETL. Ecco perché già dal 2019 Fivetran integra dbt Core all’interno della sua piattaforma.
dbt Core di dbt Labs
dbt Core, di dbt Labs, è uno dei framework di trasformazione open source più popolari nella comunità degli analisti di dati. Gli analisti modellano i loro dati come istruzioni SQL select e creano relazioni e dipendenze tra i modelli, materializzandoli come tabelle e viste. dbt Core organizza le trasformazioni basandosi su SQL in script modulari e sequenziali facili da mantenere ed eseguire. Inoltre, dbt Core supporta un’ampia libreria di community di modelli di dati predefiniti, offrendo ai team di dati il
Tuttavia, dbt Core è ancora fondamentalmente puro scripting e questo è un vero vantaggio per gli ingegneri che si sentono a proprio agio nella creazione di sistemi complessi e nell’esecuzione di programmi da una riga di comando, ma può essere scoraggiante per gli analisti, le cui competenze principali generalmente non includono la scrittura e la gestione dei file di configurazione. L’iterazione più recente di Fivetran, però, offre un’interfaccia utente e un’esperienza end-to-end integrate che consentono di gestire l’orchestrazione di connettori e trasformazioni da un’unica piattaforma con configurazione e codice minimi.
Analisi e ingegneria dei dati lavorano insieme in un unico strumento
Tutti coloro che vogliono iniziare con l’integrazione possono scoprire che è facile come connettere un repository git con un progetto dbt Core esistente al suo interno. (Non hai mai lavorato con dbt Core prima? Inizia qui.) Dopo che Fivetran si è connesso correttamente al repository git, iniziamo a orchestrare i modelli e testarli nella destinazione dei dati a cui Fivetran ha già accesso. Ciò significa che tutto il codice generato dal team di analisi è ora centralizzato in un unico repository e può essere rivisto e testato prima di essere pubblicato, garantendo il controllo della qualità dei set di dati attendibili.
Inoltre dbt Core mette a disposizione quelli che vengono definiti pacchetti dbt ovvero delle librerie di modelli riutilizzabili, simili ai pacchetti in altri linguaggi di programmazione come Python o R. Fivetran offre pacchetti dbt open source che sfruttano gli schemi normalizzati. Questi pacchetti creano dati aggregati pronti per l’analisi e schemi canonici nella propria destinazione.
I pacchetti di origine espongono e documentano gli schemi Fivetran sottostanti creati nella destinazione e riproducono modelli ricreati comunemente per ogni sorgente. Tutti gli utenti possono utilizzare immediatamente i pacchetti dbt sviluppati e mantenuti da Fivetran per ottenere un vantaggio su un progetto di analisi. Ad esempio, puoi connettere Fivetran a Zendesk, installare i pacchetti Fivetran dbt per Zendesk e disporre di tabelle pronte per l’analisi, comprese le aggregazioni, che ti consentono di comprendere meglio le prestazioni del tuo team di supporto in un giorno rispetto a settimane o mesi.
Se vuoi qualche informazione in più su Fivetran e tutte le sue funzionalità, puoi visitare la pagina dedicata sul nostro sito; e per qualsiasi domanda, non esitare a scriverci su info@visualitics.it!
