L’evoluzione delle architetture per l’analisi dei dati ha trasformato in modo profondo il modo in cui le organizzazioni generano valore dai propri asset informativi.
Indice degli argomenti
Dal data warehousing al modello federato basato sui Data Product
Dalle prime piattaforme di Data Warehousing, orientate alla gestione di dati strutturati, si è progressivamente passati ai Data Lake, capaci di accogliere formati eterogenei e di supportare attività di analisi avanzata.
Oggi, il paradigma del Data Mesh introduce un modello federato basato sui Data Product, intesi non solo come insieme di dati, ma come entità complete di interfacce, policy di accesso e risorse dedicate alla loro operatività.
Il progetto europeo TEADAL e l’approccio service oriented
Il progetto europeo TEADAL – Trusted, Energy-Aware Data Lakes for Data Sharing – si inserisce in questo percorso evolutivo affrontando uno dei problemi più rilevanti nei contesti digitali contemporanei: rendere la condivisione dei dati tra organizzazioni un processo affidabile, scalabile e sostenibile.
Per farlo, TEADAL unisce l’approccio service-oriented al paradigma dei Data Product, dando vita a un modello federato in cui ogni organizzazione può mettere a disposizione i propri asset tramite Federated Data Product (FDP), ciascuno definito da un service contract che ne descrive struttura, funzionalità e politiche di governance. Questo modello supporta lo sviluppo di versioni personalizzate dei data product per i diversi consumer, evitando duplicazioni non necessarie e garantendo al tempo stesso un controllo puntuale sulle condizioni di accesso e utilizzo.
Diventa quindi più semplice effettuare studi clinici che coinvolgono più ospedali, tenendo traccia dei consensi all’utilizzo dei dati per uno specifico studio espressi dai pazienti. Nell’ambito della viticultura supportata dai dati, un altro degli use case all’interno del progetto, diventa possibile la condivisione selettiva dei dati di un’azienda vinicola con le aziende vicine o con banche e assicurazioni che devono valutare il rischio d’impresa. Altro esempio di utilizzo è rappresentato dalla raccolta selettiva di informazioni da sensori di consumo forniti da aziende private a vantaggio della pubblica utilità, nello specifico per effettuare analisi di sostenibilità ambientale.
Oltre il dato: la governance come fondamento dell’ecosistema
In un ambiente federato, la qualità della condivisione non dipende solo dall’accesso ai dati, ma dalla capacità di comprenderli, tracciarli e governarli. La metadata governance diventa quindi un elemento essenziale per dare coerenza a un ecosistema in cui gli asset informativi evolvono rapidamente e coinvolgono attori diversi.
È in questa prospettiva che si colloca il contributo di Cefriel con KCONG – Knowledge Catalogue and Governance, il catalogo di metadati progettato per supportare le esigenze dinamiche dei Data Lake federati. KCONG introduce un governance enforcement point che regola l’accesso alle descrizioni degli asset e ne orchestra l’intero ciclo di vita, garantendo che ogni contributo sia verificato, coerente e conforme alle regole condivise.
Uno dei nodi più complessi della metadata governance riguarda la definizione dei contributi: chi può proporre un nuovo asset? Chi ne valuta la qualità? Quando diventa parte ufficiale dell’ecosistema?
Una governance multilivello per ecosistemi complessi
Per garantire un governo affidabile, KCONG integra tecnologie specializzate lungo l’intera catena di gestione:
- OAuth 2.0 e OpenID Connect tramite Keycloak per l’autenticazione,
- Role-Based Access Control per l’autorizzazione,
- BPMN per orchestrare il ciclo di vita degli asset,
- Jenkins per automatizzare le attività operative.
Questa struttura multilivello offre un controllo rigoroso su ogni fase, dalla proposta di un nuovo asset alla sua pubblicazione, fino alla sua eventuale dismissione.
I Data Lake federati coinvolgono attori con competenze e responsabilità diverse. Per questo, i processi decisionali non possono essere uniformi, ma devono riflettere il dominio applicativo, gli obiettivi dell’organizzazione e i livelli di responsabilità coinvolti.
KCONG utilizza BPMN per modellare workflow personalizzati, permettendo di definire più processi all’interno dello stesso ecosistema. Questo approccio garantisce precisione, chiarezza e adattabilità, anche in scenari complessi e in continua evoluzione.
Un abilitatore strategico per ecosistemi di dati affidabili
La metadata governance, se supportata da strumenti adeguati, diventa un fattore abilitante e non un vincolo. Grazie a KCONG, la governance degli asset si integra naturalmente nei processi organizzativi, favorendo una condivisione del dato sicura, conforme, tracciabile e sostenibile.
Nel progetto TEADAL, il contributo di Cefriel si traduce in un modello avanzato che unisce controllo, automazione e flessibilità, facilitando la creazione di ecosistemi federati basati su fiducia e trasparenza. In un panorama in cui il valore dei dati cresce insieme alla complessità della loro gestione, soluzioni come KCONG diventano fondamentali per supportare nuovi modelli di innovazione e collaborazione.
