Fivetran, leader della Data Integration, da pochi giorni ha messo a disposizione dei propri utenti un utilissimo connettore – Fivetran Log – che permetterà di monitorare l’utilizzo del proprio account Fivetran non solo all’interno della piattaforma stessa. Questo connettore permetterà di leggere tutti gli eventi sui connettori impostati, di monitorare i log generati e verificare i costi. Il connettore Fivetran Log è un connettore gratuito, quindi non andrà ad impattare sulle Monthly Active Rows (MAR).
Le informazioni sui log sono particolarmente preziose per le grandi aziende che gestiscono centinaia di utenti e migliaia di pipeline, dal momento che il monitoraggio manuale richiede tempo e non è facilmente scalabile. Il registro degli eventi che Fivetran mette a disposizione include: le statistiche sulle sincronizzazioni, le attività degli utenti per ciascun connettore e le informazioni dettagliate sulla sincronizzazione. In altre parole, si potrà monitorare le performance di ogni istanza, identificare le ottimizzazioni e controllare i costi di integrazione dei dati e introdurre nuove efficienze. In questo articolo, vedremo come utilizzare il connettore Fivetran Log per monitorare le prestazioni del nostro account demo.
Come impostare il connettore Fivetran Log
Per prima cosa eseguire l’accesso a Fivetran con le proprie credenziali, dopodiché cliccare su Destinations dal menu di sinistra. Vogliamo impostare il Log Connector in una posizione in cui gli utenti non lo modificheranno o lo elimineranno accidentalmente. Vogliamo anche scrivere i dati in una posizione specifica nel nostro data warehouse.
Per prima cosa creiamo una nuova destinazione solo per monitorare il nostro account, che chiameremo ACCOUNT_MONITORING. L’obiettivo è di scrivere su un database dedicato FIVETRAN_SALES_DEMO_MONITORING che isola i nostri dati di monitoraggio dagli altri dati che vengono estratti con gli altri connettori impostati.
Sfruttiamo i controlli di accesso basati sui ruoli per limitare l’accesso alla destinazione solo agli amministratori dell’account. Il nostro team di amministrazione ha un ruolo a livello di account, amministratore dell’account, che viene ereditato da tutte le destinazioni.
Una volta impostata la destinazione desiderata, andiamo alla sezione Connectors e aggiungiamo il connettore Fivetran Log, abilitandolo a livello di account. In questo modo il connettore estrarrà le informazioni da tutte le destinazioni e i connettori configurati nell’account, anziché estrarre solo dalla particolare destinazione in cui è stato creato il connettore
Dopo aver impostato il connettore Fivetran log, avviamo la sincronizzazione. Fivetran caricherà tutti i dati di registro disponibili per la destinazione selezionata. In questo esempio specifico, stiamo caricando i dati nel database FIVETRAN_SALES_DEMO_MONTIORING, in uno schema che ha lo stesso nome del nostro connettore, che abbiamo chiamato fivetran_log. Per vedere quali tabelle verranno caricate e come sono correlate, puoi consultare l’ERD del connettore che viene messo a disposizione nella documentazione.
Modellare i dati
Dal momento in cui i nostri dati sono stati caricati completamente, possiamo iniziare a modellare i dati per ottenere le metriche che vogliamo monitorare. Fivetran mette a disposizione nella parte di trasformazione alcune query già compilate per alcuni usi, tra cui dettagli sulle MAR, prestazioni della pipeline, comportamento del connettore e dettagli sulla destinazione.
Puoi utilizzare queste istruzioni SQL nei tuoi strumenti di trasformazione preferiti. Nel nostro caso, abbiamo deciso di utilizzare la nostra integrazione dbt per eseguire tutte le trasformazioni.
Come parte della configurazione di trasformazione, è possibile abilitare l’esecuzione dei processi immediatamente dopo che il connettore ha terminato la sincronizzazione, utilizzando la pianificazione integrata. Ciò garantirà che la dashboard di controllo sia aggiornata con i dati più recenti non appena viene caricata da Fivetran.
Come parte della configurazione di trasformazione, è possibile abilitare l’esecuzione dei processi immediatamente dopo che il connettore ha terminato la sincronizzazione, utilizzando la pianificazione integrata. Ciò garantirà che la dashboard di controllo sia aggiornata con i dati più recenti non appena viene caricata da Fivetran.
Ora è tutto pronto per poter visualizzare questi dati con qualsiasi strumento di BI. Non possiamo esimerci dal consigliare Tableau, a nostro avviso uno dei migliori strumenti di Data Visualization.
Se ti sei perso i nostri articoli precedenti, puoi recuperarli sul nostro blog e continuare a seguirci sui nostri canali social LinkedIn, Facebook e Twitter!
