ETL: che cos’è extract, transform, load e quali sono le soluzioni sul mercato

L’ETL, acronimo derivante dalla locuzione anglosassone Extract, Transform, Load (traducibile in italiano in “Estrazione, Trasformazione e Caricamento”), rappresenta il processo probabilmente più conosciuto nell’ambito dell’integrazione dei dati, che, in estrema sintesi, descrive il flusso operativo attraverso il quale un’organizzazione acquisisce dati tra loro non direttamente riconnessi, memorizzati in una forma libera o più o meno strutturata, gestiti da diversi team in varie sedi, portandoli in uno stato nel quale diventano effettivamente utili per il proprio core business.

Che cos’è l’ETL Extract, Transform, Load

Provando a fornire una definizione più “rigorosa”, con il termine ETL si intende un insieme di metodologie finalizzate a trasportare ed “arricchire” informazioni provenienti da molteplici sistemi in un unico archivio centralizzato (cui in termini tecnici ci riferisce con i nomi di “database”, “datastore”, “data warehouse” o “data lake”) fornendo loro un valore aggiunto in grado di renderli un asset aziendale strategico.

Introdotto sull’onda della crescente popolarità dei database negli anni ’70 del secolo scorso, che aveva condotto ad una estrema frammentazione e segmentazione delle informazioni in numerosi “silos” spesso a tenuta stagna, l’ETL si è immediatamente imposto come un tassello basilare per la gestione dei dati, diventando di fatto il metodo principale per l’elaborazione delle informazioni nei progetti di “data warehousing”.

L’importanza del processo ETL in azienda

L’implementazione di processi ETL offre numerosi vantaggi alle aziende, influenzando positivamente sia le operazioni tecniche che i risultati strategici, portando, in estrema sintesi, i seguenti benefici:

• Miglioramento della Business Intelligence e dell’Analisi: fornisce dati affidabili, accurati e dettagliati per l’analisi, consentendo di ottenere migliori intuizioni e prendere decisioni più informate.
• Analisi delle serie storiche: L’ETL permette di combinare dati storici e nuovi, offrendo una visione a lungo termine e una comprensione più approfondita delle tendenze.
• Visione “olistica” delle informazioni: Consolidando dati provenienti da varie fonti in un’unica vista unificata, l’ETL semplifica l’analisi e la creazione di report, riducendo le inefficienze.
• Miglioramento della qualità dei dati e della conformità: I processi ETL includono spesso la pulizia, la profilazione e l’audit dei dati, garantendo accuratezza, coerenza e aderenza agli standard normativi.
• Automazione dell’elaborazione dei dati: Gli strumenti ETL automatizzano le attività ripetitive di elaborazione dei dati, aumentando l’efficienza e liberando i data engineer per compiti più strategici.
• Aumento della produttività: Codificando e riutilizzando i processi di spostamento dei dati, l’ETL migliora la produttività degli specialisti dei dati.
• Supporto alla migrazione dei dati: L’ETL è fondamentale per la migrazione dei dati tra applicazioni, sistemi e verso il cloud.
• Replicazione e sincronizzazione dei dati: L’ETL può essere utilizzato per replicare i dati a fini di backup e ridondanza, nonché per sincronizzare sistemi chiave.
• Riduzione dei costi: L’automazione e i guadagni di efficienza derivanti dall’ETL possono portare a una riduzione dei costi operativi.
• Abilitazione del machine learning e dell’intelligenza artificiale: L’ETL prepara e consolida i dati in un’unica posizione, rendendoli accessibili per le applicazioni di machine learning e intelligenza artificiale. Fornisce i dati puliti e formattati necessari per l’addestramento dei modelli.

Le fasi di estrazione, trasformazione e caricamento

Il processo inizia con l’estrazione dei dati dai sistemi sorgente, che possono includere database, applicazioni, file e altro, per proseguire nel caricamento in un’area di staging, ossia uno spazio di archiviazione intermedio, che isola, di fatto, i sistemi sorgente dal processo di trasformazione, operato attraverso operazioni di pulizia, formattazione e integrazione, in base a regole aziendali predefinite.

I dati opportunamente trasformati sono successivamente caricati negli archivi digitali di destinazione attraverso un processo che può essere pianificato per essere eseguito periodicamente (elaborazione batch) o in maniera continua (ETL in tempo reale o streaming).

Fase di estrazione

Il primo passaggio fondamentale è rappresentato, come anticipato in precedenza, dal recupero dei dati da una o più sorgenti e dalla loro temporanea allocazione in un luogo di transito temporaneo generalmente chiamato “staging area”.

Le fonti di dati possono essere, in prima battuta, così classificate:

L’estrazione, in base alle modalità ed alle tempistiche con le quali sono recuperati i dati, può avvenire nelle seguenti modalità:

Di seguito sono riportate alcune considerazioni sulla fase di estrazione:

• La qualità dei dati sorgente deve essere valutata per pianificare le trasformazioni necessarie.
• La sicurezza e l’accesso ai dati richiedono un’adeguata autenticazione e autorizzazione.
• È importante minimizzare l’impatto sulle prestazioni dei sistemi sorgente durante l’estrazione.
• La validazione dei dati estratti è cruciale per assicurare che i valori recuperati siano corretti e attesi.

Trasformazione

In questa fase, i dati estratti sono puliti, elaborati e convertiti in un formato comune, con l’obiettivo di garantire:

• la rimozione di errori, duplicati e incongruenze;
• la standardizzazione dei formati e delle unità di misura;
• l’arricchimento dei dati aggiungendo informazioni mancanti;
• il filtraggio e l’ordinamento dei dati;
• l’unione di dati provenienti da diverse fonti;
• l’aggregazione dei dati per ottenere riepiloghi.

Tale attività, nella quale sono applicate anche le regole aziendali per soddisfare specifiche esigenze analitiche, può avvenire nei seguenti modi:

Caricamento

Il passaggio finale consiste nell’inserimento dei dati trasformati negli archivi digitali di destinazione, dove saranno successivamente utilizzati per gli scopi aziendali, generando valore aggiunto e permettendo all’organizzazione di raggiungere più agevolmente i propri obiettivi.

Il caricamento, alla stregua di quanto avviene per l’estrazione può avvenire, in estrema sintesi, in due modalità:

ETL vs ELT: quali differenze

Una tecnologia che si è evoluta in un tempo successivo all’ETL e che in qualche modo è possibile considerare come “complementare” è l’ELT (acnonimo di Extract, Load, Transform), che, come è possibile intuire dal nome, differisce dalla propria “gemella” fondamentalmente in base all’ordine delle operazioni.

Poiché nell’ETL la trasformazione avviene prima del caricamento nel sistema di destinazione, nel data warehouse sono caricati dati più puliti e trasformati, permettendo di risparmiare spazio di archiviazione e potenza di elaborazione sul sistema di destinazione. L’ETL, pertanto, risulta maggiormente adatto per dati strutturati e per esigenze di conformità, ma può risultare più lento per grandi set di dati a causa della trasformazione iniziale.

L’ELT, rimandando la fase di trasformazione, garantisce tempi di caricamento più rapidi, specialmente per dati di grandi dimensioni e non strutturati, permettendo di sfruttare la potenza di elaborazione dei moderni data warehouse cloud.
Tale approccio offre maggiore flessibilità per l’analisi, poiché i dati grezzi vengono conservati, ma potrebbe comportare costi di archiviazione più elevati per i dati non necessari e richiede robuste misure di sicurezza per i dati sensibili.

Di seguito è riportata una comparazione sinottica delle due tecnologie:

Gli strumenti ETL

La scelta dello strumento ETL maggiormente adatto alle esigenze aziendali rappresenta un passaggio fondamentale per il successo dei progetti di integrazione dei dati. Di seguito è riportata una carrellata di diverse tipologie di strumenti (che possono preliminarmente essere classificati in “open-source”, “commerciali” e “cloud-based”), cui sono associati vantaggi, svantaggi ed esempi di prodotti effettivamente presenti sul mercato:

Criteri chiave per la scelta dello strumento etl giusto per esigenze specifiche

Tra i fattori ed i criteri più importanti sottesi alla selezione delle soluzioni più adatte è possibile indicare i seguenti:

Soluzioni ETL più popolari

Al fine di fornire un quadro quanto più possibile completo del contesto di riferimento, sono descritti di seguito i principali prodotti ETL presenti sul mercato, per ognuno dei quali sono riportati dettagli relativi ai Casi d’Uso tipici, ai punti di forza ed alle principali criticità.

Soluzioni integrate nelle principali piattaforme Cloud

Fonte Principale: https://aws.amazon.com/glue/

Fonte: https://azure.microsoft.com/it-it/products/data-factory

Soluzioni Cloud Specializzate (SaaS/PaaS)

Fonte rincipale: https://www.fivetran.com/

Fonte Principale: https://www.matillion.com/

Fonte Principale: https://www.informatica.com/it/products/integration-platform-as-a-service.html

Soluzioni open source

Fonte Principale: https://www.talend.com/products/talend-open-studio/ (Nota: Talend è stata acquisita da Qlik)

Fonte Principale: https://airbyte.com/

Casi applicativi di successo

Una volta che sono state analizzate le soluzioni software fornite dai principali provider internazionali, vediamo alcuni casi d’uso di successo che hanno consentito ad organizzazioni estremamente grandi e strutturate di raggiungere importanti risultati nell’elaborazione e nello sfruttamento del proprio patrimonio informativo.

ShopFully e AWS

Aramex e Matillion ETL per Amazon Redshift

Smart Data e Azure

EOH e Qlik Talend

Sfide comuni nell’implementazione di un sistema ETL

Accanto agli innumerevoli vantaggi descritti in precedenza, l’implementazione di un sistema ETL può presentare diverse sfide, tra le quali particolare importanza rivestono le seguenti:

• Al fine di garantire la qualità dei dati, poiché i sistemi sorgente possono contenere dati inconsistenti, incompleti o errati, è necessario implementare meccanismi robusti per la profilazione e la pulizia dei dati.
• La complessità dell’integrazione dei dati residenti in un gran numero di fonti eterogenee con formati e strutture diverse richiede strumenti con ampie capacità di connettività e trasformazione.
• Per prevenire fisiologici colli di bottiglia nelle prestazioni è necessario implementare tecniche di ottimizzazione come l’elaborazione parallela e il caricamento incrementale.
• La scalabilità rappresenta un elemento di preoccupazione, poiché il sistema ETL deve essere in grado di gestire volumi di dati e richieste di elaborazione crescenti nel tempo.
• La governance e la sicurezza dei dati sono cruciali, richiedendo l’implementazione e la manutenzione di misure di sicurezza e conformità durante l’intero processo ETL.
• La gestione dei metadati, ovvero il tracciamento della provenienza e delle trasformazioni applicate ai dati, può essere complessa e richiede strumenti con funzionalità specifiche.
• E’ necessario implementare meccanismi efficaci per la gestione degli errori e il monitoraggio durante il processo ETL.
• I cambiamenti nelle fonti di dati e nei requisiti aziendali richiedono che le pipeline ETL siano sufficientemente flessibili da adattarsi.
• I costi associati agli strumenti ETL, all’infrastruttura e al personale devono essere attentamente valutati .
• La mancanza di risorse qualificate per implementare e gestire sistemi ETL complessi può comportare problemi di implementazione.

L’ETL nel contesto del cloud computing

Grazie alle note caratteristiche di scalabilità ed elasticità che ne hanno decretato un successo ed una adozione ormai planetarie, il cloud computing ha avuto un impatto significativo anche sul processo ETL, offrendo, tra gli altri, i seguenti vantaggi:

• Le risorse possono essere incrementate o contratte in base alle esigenze di elaborazione.
• E’ superata la necessità di investimenti iniziali in hardware e la manutenzione continua dell’infrastruttura, grazie anche a modelli di prezzo pay-as-you-go, che permettono di ottimizzare i costi.
• Gli ambienti cloud forniscono una vasta gamma di servizi di archiviazione ed elaborazione dei dati con i quali l’ETL può integrarsi esaltando le proprie caratteristiche di aggregazione ed arricchimento delle informazioni.
• Sono generalmente garantiti dai provedier specifici connettori predefiniti per vari servizi cloud e data store.
• La manutenzione ridotta rappresenta un ulteriore indubbio vantaggio, poiché i provider cloud si occupano della manutenzione dell’infrastruttura.
• Le piattaforme cloud investono molto in sicurezza e conformità dei dati, offrono funzionalità di collaborazione per i team, supportano ambienti cloud ibridi e multi-cloud e si integrano perfettamente con altri servizi quali data warehousing, analytics e machine learning offerti dallo stesso provider.

Integrazione ETL con l’intelligenza artificiale e il machine learning

E’ immediatamente comprensibile come i processi ETL risultino fondamentali nelle fasi di preparazione dei dati da fornire ai sistemi di intelligenza artificiale e machine learning, grazie alle attività di estrazione, pulizia, trasformazione e centralizzazione delle informazioni che rappresentano passaggi propedeutici fondamentali per assicurare la qualità dei dati utilizzati per l’addestramento dei modelli cognitivi artificiali.

E’ importante, in tale contesto, sottolineare come le pipeline ETL possano essere automatizzate per alimentare continuamente i sistemi AI/ML con dati aggiornati e trasformati, consentendo l’apprendimento continuo e il miglioramento del modello.

L’IA, d’altro canto, può automatizzare attività come la profilazione, la pulizia e la mappatura degli schemi dei dati, oltre a identificare anomalie e migliorare la qualità dei dati mentre l’utilizzo dell’ETL in tempo reale (conosciuto anche come “streaming ETL”) per fornire dati ai modelli AI/ML consente di ottenere informazioni e azioni immediate, abbattendo i ritardi ed i tradizionali tempi di latenza.