Pattern prima della teoria

Come il machine learning sta trasformando la ricerca: il caso del laboratorio ENEA

Il machine learning consente di ottenere i risultati in tempi minori rispetto alla risoluzione degli eleganti modelli matematici: è un cambio di paradigma del metodo scientifico. L’esperienza del gruppo di ricerca ENEA sulle concentrazioni degli inquinanti atmosferici: metodo, immagini, implicazioni

26 Apr 2022
Serena D'Onofrio

Ricercatore, divisione TERIN-ICT dell'ENEA

Angelo Mariano

Ricercatore, divisione TERIN-ICT dell'ENEA

Nicola Quercioli

Ricercatrice, divisione TERIN-ICT dell'ENEA

Claudio Ronchetti

Ricercatore, divisione TERIN-ICT dell'ENEA

reti neurali - machine learning - GPT-3

Da un approccio centrato su teoria e sperimentazione, a uno basato sul machine learning: la tecnologia sta rivoluzionando il metodo scientifico tradizionale con impatti significativi.

Il machine learning è l’addestramento di modelli algoritmici agnostici su dataset via via più corposi per l’individuazione dei pattern ricorrenti all’interno dei dati digitali.

Spesso, i modelli di machine learning forniscono un valido supporto per l’elaborazione delle teorie o per ottenere in maniera più semplice e veloce risultati comparabili a quelli delle simulazioni numeriche che richiedono anche infrastrutture HPC di alto livello.

Explainable AI: perché pretendere spiegazioni dall’Intelligenza Artificiale è giusto ma non basta

L’utilizzo di questi algoritmi raggiunge risultati sorprendenti in tantissimi ambiti di ricerca, dalle auto a guida autonoma, ai sistemi di assistenza linguistica, dalle applicazioni in ambito neuroscienze, ai modelli numerici dei sistemi complessi.

In precedenza, il ricercatore formulava una teoria a partire dall’osservazione della realtà e poi andava alla ricerca di set di dati che potessero confermare o confutare la sua ipotesi.

Adesso, nella realtà digitalizzata, produciamo una gran mole di dati che, anche non strutturati, non etichettati, non “puliti”, contengono conoscenza.

Una conoscenza che gli algoritmi di machine learning sono in grado di estrarre e di rendere evidente, aiutando in modo sostanziale la realizzazione di modelli riproducibili.

Si dovrà sempre più abbandonare l’obiettivo di costruire teorie estremamente eleganti e occorrerà abbracciare in toto la complessità e fare uso del migliore alleato che è possibile ottenere ai nostri tempi: l’irragionevole efficacia dei dati[1].

Di seguito, un caso studio dalla nostra esperienza come gruppo di ricerca ENEA specializzato sulle applicazioni di high performance computing e intelligenza artificiale.

Machine learning e metodo scientifico: l’ipotesi del caso studio

Le concentrazioni di alcuni inquinanti atmosferici a livello nazionale vengono analizzate e suddivise in base ad una risoluzione reticolare.

Le stazioni meteorologiche raccolgono le informazioni sulla concentrazione degli agenti inquinanti con una distanza di 20km.

Il modello fisico numerico del Laboratorio di Inquinamento Atmosferico (Centro di Ricerche ENEA a Bologna) riesce a generare un’informazione distanziata di 4km.

WHITEPAPER
Ottieni una pianificazione veloce e affidabile nel tuo marketing: scopri come!

Questo aumento della risoluzione dalle concentrazioni di agenti inquinanti, da un reticolo di 20km a 4km, è replicabile attraverso l’utilizzo delle reti neurali?

Una risposta affermativa consentirebbe di ottenere un risultato analogo a quello generato dal modello fisico numerico, con tempi di elaborazione notevolmente minori.

Ci si potrebbe quindi spingere fino alla risoluzione di 1km, distanza non perseguibile con gli strumenti attuali.

Nel machine learning, l’aumento della densità dei pixel causa un aumento di risoluzione dell’immagine: a partire da una figura a bassa risoluzione vengono aggiunte delle informazioni per ottenere un’immagine in hd con più dettagli.

Allo stesso modo, attraverso tecniche di apprendimento profondo non supervisionato, è possibile aggiungere delle informazioni al file con minor dettaglio di concentrazione di agenti inquinanti, per crearne uno più minuzioso.

Machine learning e metodo scientifico: come funziona il training

I file climatologici di tipo NetCDF, forniti dal Laboratorio di Inquinamento Atmosferico[2] e raccolti da inizio 2019 a fine 2021, contengono le concentrazioni di circa 50 agenti inquinanti: dal particolato (PM10), all’ozono, all’anidride carbonica.

Nel dataset sono presenti due tipologie: dati a bassa e ad alta risoluzione, entrambe fondamentali per il training della rete neurale.

Infatti, l’immagine a bassa risoluzione è l’input che viene lavorato dall’algoritmo, mentre il dato ad alta risoluzione è utile per il confronto con l’immagine-output rilasciata dalla rete.

Il confronto è finalizzato a rendere il dato di uscita dalla rete sempre più somigliante a quello ad alta risoluzione: per somiglianza si intende la funzione costo, che misura la distanza tra il risultato atteso e quello ottenuto, minimizzata durante il processo di training.

Se l’algoritmo si adatta troppo al dataset di training e non si riescono a ottenere buoni risultati su dati nuovi si parla di overfitting.

Per questo motivo, di solito, una porzione del dataset non viene utilizzata direttamente nella fase di addestramento della rete neurale, ma verificata a intervalli regolari nella fase di validazione, per controllare le capacità di generalizzazione della rete.

Inoltre, per consolidare la validità del modello appena addestrato, si effettua una fase di test su una parte del dataset (che nel nostro caso sono tutti i file dell’anno 2021).

Per finalizzare il task, i parametri della rete neurale non sono stati inizializzati in maniera casuale ma attraverso il transfer learning: l’utilizzo di una configurazione di valori di una rete neurale già allenata per l’aumento di risoluzione su un dataset di immagini reali.

Poiché le caratteristiche estratte dalla rete su un insieme di immagini qualsiasi sono universali, è stato adattato quanto imparato dalla rete al dataset considerato, in modo da fornire come output l’immagine ad alta risoluzione a partire da quella a bassa risoluzione.

Machine learning e metodo scientifico: i due modelli a confronto

A titolo d’esempio, sono forniti i risultati relativi alla concentrazione di monossido di carbonio (CO), che dal punto di vista chimico-fisico non agisce con gli altri inquinanti e quindi è influenzato poco dal loro comportamento.

machine learning - modello a confronto con modello matematico tradizionale

Nell’immagine a sinistra è riportato il valore a bassa risoluzione inserito in input alla rete neurale.

Nelle figure di destra viene evidenziato il dato ad alta risoluzione generato dal modello fisico-numerico (in alto) e in output dalla rete neurale (in basso).

Come si può notare, le immagini della colonna di destra sembrano identiche, benché siano state prodotte in maniera totalmente diversa.

Conclusioni

Nell’applicazione riportata, è stato messo in luce un punto focale del cambio di paradigma in corso nella produzione di risultati scientifici.

Da una parte, un modello numerico, basato sull’approssimazione di soluzioni di sistemi di equazioni alle derivate parziali, quindi un elegante modello fisico-matematico.

Dall’altra, l’ottenimento di buoni risultati attraverso l’emulazione della soluzione del modello numerico attraverso tecniche di machine learning, che modellano i risultati a partire dai dati forniti dall’utente.

Un approccio basato sui dati deve essere dotato della giusta dose di iniezione di conoscenza proveniente dall’architettura sufficientemente complessa dell’algoritmo e/o dall’inserimento di strumenti di analisi di immagini provenienti da un dominio diverso.

A queste condizioni, consente di ottenere in tempi rapidi risultati che un modello numerico, che ingloba i fenomeni chimico-fisici sottostanti, potrebbe ricavare dopo alcune ore di elaborazione.

________________________________________________________________________________

Note

  1. Halevy I., Norvig P., Pereira F., “The Unreasonable Effectiveness of Data”, IEEE Computer Science, 2019, disponibile su https://static.googleusercontent.com/media/research.google.com/it//pubs/archive/35179.pdf
  2. Per i dati forniti si ringrazia il dott. Adani del Laboratorio di Inquinamento Atmosferico del Centro di Ricerca Enea di Bologna.

WHITEPAPER
Mobilità sostenibile: una guida a progetti, incentivi e ruolo chiave di sharing e veicoli elettrici
@RIPRODUZIONE RISERVATA

Speciale PNRR

Tutti
Incentivi
Salute digitale
Formazione
Analisi
Sostenibilità
PA
Sostemibilità
Sicurezza
Digital Economy
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr

Articolo 1 di 4