dati machine-readable

Qualità dell’aria, l’importanza di avere dati interoperabili: ecco come vanno pubblicati

I dati del monitoraggio della qualità dell’aria effettuato sono pubblicati dalle Arpa regionali in maniera indipendenti: è perciò impossibile usarli per generare servizi a valore aggiunto. Ma come dovrebbero essere pubblicati? L’esempio di Open Puglia, l’intervento dell’Ue

03 Mag 2022
Vincenzo Patruno

Project Manager e Open Data Evangelist - ISTAT

Il monitoraggio in tempo reale o in “near real-time” della qualità dell’aria è una delle attività in carico alle varie Arpa regionali. Ognuna di queste gestisce una rete di centraline di monitoraggio che analizzano di continuo l’aria e che forniscono misure sugli inquinanti presenti.

Ogni Arpa regionale è tenuta poi a pubblicare giornalmente questi dati di monitoraggio sul proprio sito web. E come si può facilmente immaginare, ognuno lo fa in modo del tutto indipendente e autonomo. Tutte le Arpa pubblicano infatti le proprie tabelle, mappe e grafici. In alcuni casi è possibile anche scaricare tavole di dati. In qualche raro caso i dati sono pubblicati direttamente anche in formato machine-readable.

Combattere i cambiamenti climatici con i dati: progetti e ricerche in corso

Ora, immaginare di riusare questi dati per consentire a soggetti terzi di effettuare monitoraggi o di generare servizi a valore aggiunto a partire da quei dati diventa di fatto complicatissimo, per non dire impossibile.

I dati infatti nascono in modo tale da non essere interoperabili tra loro. Inoltre, In molti casi i dati sono visibili a video sotto forma di tabelle ma non sono scaricabili a meno che non si proceda effettuando operazioni di scraping sulle varie pagine di ogni singolo sito web.

Come dovrebbero essere pubblicati i dati

Ma come dovrebbero essere pubblicati questi dati? Sarebbe innanzitutto opportuno che i dati fossero pubblicati attraverso API. La società civile è sempre stata attenta a questo aspetto. In questo caso voglio sottolineare l’azione della community Open Puglia, che con un’azione di “hacking civico” rende disponibili via API i dati giornalieri sul monitoraggio dell’aria pubblicati da Arpa Puglia. A questo indirizzo  è possibile accedere ai dati giornalieri secondo la specifica OpenAPI. Sono dati che provengono dalla pagina ufficiale di Arpa Puglia. Ad intervalli regolari i dati vengono letti da uno scraper scritto ad hoc e trasferiti all’interno di un database Open Puglia. È da lì che vengono resi accessibili tramite API. È una piccola azione di advocacy che serve a mostrare alle varie Arpa ma in generale alla PA come sarebbe opportuno pubblicare i dati, in particolar modo quei dati che, come accade per i dati di monitoraggio dell’aria, per la loro natura cambiano continuamente nel tempo.

WHITEPAPER
Il Manifatturiero diventa Intelligente grazie all'ERP. Un caso concreto
ERP
IoT

La necessità di standard per trarre valore dai dati

Va detto poi che i dati pubblicati dalle diverse Arpa regionali non seguono nessuno standard di riferimento, per cui pensare di combinarli e rimetterli assieme per avere ad esempio i dati di  monitoraggio dell’aria su tutto il territorio nazionale necessita di un’importante (e va detto costosa) attività di armonizzazione. Il valore dei dati, mi piace ricordarlo ogni volta che scrivo articoli sui dati o vengo invitato ad eventi e conferenze su questo tema, sta proprio nel riuscire a combinarli assieme. Ma metterli assieme vuol dire disegnare opportunamente le strutture dati definendo e utilizzando metadati standard, ossia un linguaggio comune che chiamiamo vocabolari e ontologie e che ci consentono di far parlare tra loro i dati. Significa in altre parole mettersi d’accordo su come questi dati devono essere modellati.

Questo, se vogliamo, è uno dei grandi problemi che riguarda non solo le Arpa regionali ma tanti Enti pubblici che producono dati. Quando un’attività non è centralizzata ma viene gestita in modo autonomo a livello locale, rimettere insieme i dati prodotti dai vari enti locali diventa infatti un ostacolo da superare e un problema da gestire.

L’intervento dell’Ue

In realtà, come spesso accade sul fronte dati, chi ha provato a dare una risposta a tutto ciò è stata l’Europa. La European Environment Agency (EEA) pubblica, infatti, la mappa europea “near real-time” della qualità dell’aria. In figura viene mostrata la situazione relativa al monitoraggio del PM10 riferito al 1° aprile 2022.

Immagine che contiene mappa Descrizione generata automaticamente

Ho avuto modo di inviare una email all’URP di Arpa Puglia per avere alcune informazioni su come funziona la trasmissione dati a EEA. In brevissimo tempo ho avuto un’esauriente risposta. Devo dire che è sempre una bella soddisfazione interagire con una PA che ha un ufficio relazioni con il pubblico che funziona. I dati che vediamo sulla mappa sono dati grezzi, “così come vengono generati dagli analizzatori automatici installati in cabina”. I dati che troviamo sul sito Arpa Puglia sono invece dati che vengono pubblicati dopo un processo di validazione, ragione per cui gli stessi valori possono mostrare alcune differenze.  I dati grezzi vengono così trasferiti ad ISPRA attraverso un processo automatico schedulato ogni ora. Sarà poi ISPRA a inviare i dati a EEA. Si capisce così come non tutte le Arpa regionali trasferiscono dati grezzi ad ISPRA. Nella mappa sono infatti evidenti le aree e le regioni “bianche”, ossia che non presentano alcun valore.

Riferimenti normativi

E ora qualche riferimento normativo. La trasmissione dati da parte dei Paesi Membri è regolata dalla Decisione della Commissione 2011/850/EU mentre il numero minimo e il tipo di stazioni di monitoraggio vengono definite nelle EU Air Quality Directives.

In realtà non sono gli unici dati che vengono pubblicati da EEA. Tra le altre cose viene infatti pubblicata una mappa dei dati validati (sono dati storici che consentono di fare confronti nel tempo, gli ultimi risalgono al 2020) ma  soprattutto è possibile scaricare i dati “raw” del monitoraggio in near-real time.

Ho già accennato più volte al progetto Copernicus. Ne ho parlato ultimamente qui su Agendadigitale in un articolo sul monitoraggio dei cambiamenti climatici. I dati relativi all’osservazione della terra da parte delle missioni “Sentinel” sono disponibili e scaricabili liberamente dal Copernicus Open Access Hub. In particolare, il satellite Sentinel-5P è dedicato al monitoraggio della troposfera, ossia di quella fascia dell’atmosfera a diretto contatto con la superficie terrestre. Ed è proprio attraverso la missione Sentinel-5P che riusciamo a monitorare dallo spazio la qualità dell’aria, in particolare le concentrazioni di diossido di azoto, di formaldeide, di ozono, di metano, di anidride solforosa, di monossido di carbonio nonché le radiazioni ultraviolette e svariate altre cose. Dati che vanno ad alimentare anche il Copernicus Atmosphere Monitoring Service di ECMWF (European Centre for Medium-Range Weather Forecasts).

Può quindi essere interessante combinare tra loro i dati rilevati dalle centraline di rilevamento a terra che rilevano le concentrazioni di inquinanti al suolo con i dati provenienti da satellite per capire molto di più rispetto alla qualità dell’aria in un particolare area. Abbiamo provato come Open Puglia a fare questo. In particolare, ringrazio l’amico e collega Giuseppe Zileni che sta integrando i dati provenienti dalle API Open Puglia sul monitoraggio della qualità dell’aria con i dati satellitari Sentinel-5P provenienti da Copernicus. È un piccolo contributo della società civile. È un piccolo contributo di Open Puglia al riuso dei dati aperti. A breve il sistema sarà rilasciato e disponibile a tutti su openpuglia.org. Stay tuned!

@RIPRODUZIONE RISERVATA

Articolo 1 di 4