Fivetran e dbt sono due strumenti che possono essere utilizzati insieme per semplificare il tuo processo di integrazione e gestione dei dati all’interno della tua organizzazione. Come abbiamo già visto nei nostri precedenti articoli, Fivetran è uno strumento di integrazione dei dati che aiuta a trasferire i dati da diverse fonti a piattaforme di database cloud, per fornire una soluzione di integrazione dei dati completa. Una volta trasferiti i dati, è possibile trasformarli utilizzando uno strumento di trasformazione dei dati chiamato dbt (data build tool).
Dbt è uno strumento di trasformazione dei dati open source che aiuta a semplificare il processo di trasformazione in un linguaggio SQL di facile comprensione. Una volta definite le trasformazioni, è possibile eseguirle e creare e testare le tabelle di output al fine di avere i dati nella forma desiderata per poterli analizzare più facilmente. Queste trasformazioni possono includere la pulizia dei dati, la creazione di viste e la creazione di tabelle in base alle diverse esigenze. Inoltre, dbt consente di automatizzare gran parte del processo di trasformazione dei dati: ad esempio possono essere eseguite automaticamente le trasformazioni quando vengono inseriti nuovi dati, eliminando la necessità di eseguire manualmente il codice di trasformazione dei dati. dbt offre inoltre funzionalità di monitoraggio e avvisi, che aiutano a garantire che il processo di trasformazione dei dati funzioni correttamente. Ciò significa che gli sviluppatori possono essere avvisati immediatamente se ci sono problemi con il processo di trasformazione dei dati.
L’integrazione tra Fivetran e dbt è piuttosto immediata: una volta che i dati sono stati trasferiti in Fivetran, dbt può accedervi e iniziare a trasformarli. A tal proposito Fivetran mette a disposizione per dbt diversi modelli dati preconfigurati (Quickstart Data Model) per i connettori più popolari che permettono di creare set di dati pronti per l’analisi. I modelli di dati includono diverse tabelle e viste che rappresentano i dati comuni che possono essere estratti dalle fonti dati utilizzate da Fivetran. Una volta impostato un modello di dati, Fivetran creerà il progetto dbt e le seguenti trasformazioni.
Ad oggi i Quickstart Data Model sono disponibili per i seguenti connettori:
- Facebook Ads
- Fivetran Log Connector
- GitHub
- Google Ads
- HubSpot
- Intercom
- Jira
- LinkedIn Ad Analytics
- Microsoft Advertising
- NetSuite SuiteAnalytics
- QuickBooks
- Salesforce
- Shopify
- Stripe
- Zendesk Support
Come aggiungere un Quickstart Data Model
- Fare clic su Trasformations e selezionare una destinazione.
- La tua pagina Trasformations varia leggermente in base al fatto che tu abbia impostato o meno trasformazioni SQL di base per questa destinazione. Se non disponi di trasformazioni, fai clic sul pulsante Get Started sotto Quickstart. Se hai impostato le trasformazioni, fai clic su Add Trasformation > Quickstart Trasformation.
- Nella sezione Select output models, inserisci le seguenti informazioni: Tipo di origine e Connettore.
- Viene quindi visualizzata la sezione Set Schedule. Scegli il tipo di pianificazione (completamente integrato, parzialmente integrato o personalizzato) per il modello di dati predefinito. Se hai selezionato una pianificazione personalizzata, scegli i giorni, la frequenza e il tempo di esecuzione delle trasformazioni.
- Infine salva. Ora nella pagina delle trasformazioni comparirà quella appena impostata. In qualsiasi momento si potrà modificare o aggiungere/rimuovere altre trasformazioni.
In Concusione
In sintesi, Fivetran e dbt sono due strumenti che possono semplificare il processo di integrazione dei dati e la gestione dei dati all’interno di un’organizzazione. L’integrazione tra i due strumenti è semplice e offre una vasta gamma di funzionalità per la trasformazione e la gestione dei dati. Se la vostra organizzazione sta cercando di semplificare il processo di integrazione dei dati, Fivetran e dbt possono essere la soluzione perfetta.
Se ti sei perso i nostri articoli precedenti, puoi recuperarli sul nostro blog e continuare a seguirci sui nostri canali social LinkedIn, Facebook e Twitter!
