Generare informazione utile dai Big Data della PA: ecco la vera sfida del Team Digitale

Il vero valore dell’innovazione “data driven” deriva dallo studio dei dati come un tutt’uno e non come singoli pezzi. Occorre perciò far confluire su un’unica piattaforma tecnologica dati strutturati, semistrutturati e non strutturati provenienti da fonti diverse della PA

Pubblicato il 27 Feb 2017

Vincenzo Patruno

Data Manager e Open Data Expert - Istat

big data_people

Quando parliamo di Big Data la prima cosa a cui viene spontaneo pensare sono enormi quantità di dati che vengono prodotti ogni giorno nei modi più diversi. Possiamo pensare ad esempio ai dati prodotti da ognuno di noi quando ogni giorno ci alziamo dal letto e cominciamo a fare le cose che facciamo normalmente su web. Come inviare una email, scrivere un messaggio, pubblicare una foto su Instagram, un post su Facebook, un tweet su Twitter, un video su Youtube, fare una ricerca su Google o un acquisto su Amazon, una prenotazione su Booking o su AirBnb. E non solo su web. Noi, infatti, generiamo dati anche tutte le volte che utilizziamo la nostra carta di credito, facciamo la spesa, guidiamo in autostrada, parliamo al telefono o anche solo quando teniamo il telefono acceso in tasca. E questi sono solo alcuni dei tipi di dati che sono prodotti da noi in modo molto spesso inconsapevole. A questi dobbiamo aggiungere tutti quei dati che vengono generati in modo automatico da sensori: dati satellitari, videocamere e tutto ciò che ricade in quello che chiamiamo l’”Internet of Things (IoT)”.

Più precisamente quando parliamo di Big data ci riferiamo a dati che in qualche modo hanno alcune caratteristiche ben definite. Non solo grandi volumi di dati, ma anche ad esempio la velocità con cui questi vengono continuamente generati e la loro varietà (si tratta infatti di dati strutturati, semi-strutturati e soprattutto di dati non strutturati come testi, messaggi, email, documenti, pagine web, … ). Volume, Varietà, Velocità sono le 3 “V” che sono diventate da tempo una sorta di “biglietto da visita” dei Big Data e che ultimamente si sono arricchite di un altro paio di “V” per cui alla fine le 3 “V” dei Big Data sono diventate ora 5!

Qui la teoria. In pratica, nonostante ovunque guardiamo siamo letteralmente circondati da dati, i Big Data sono rari esattamente come può essere raro il calamaro gigante.

I Big Data sono rari in quanto riusciamo ad accedervi con difficoltà e a utilizzarli soltanto in minima parte. Il motivo è che nonostante siano disponibili le tecnologie necessarie e abbiamo cominciato a sviluppare metodologie sufficientemente mature per il trattamento e l’analisi dei Big Data, stiamo parlando di dati che non sono liberamente accessibili e i cui “proprietari” sono i vari Facebook, Twitter, Google, AirBnb, le varie Telecom, le banche e così via. E ognuno di loro i dati se li tiene ben stretti, a meno di offrirli (anche) come servizio (a pagamento). Ed è questo il motivo per cui il “web scraping”, ossia la raccolta continua e automatica di dati da pagine web attraverso script o specifici programmi software è la pratica più diffusa da chi necessita (me compreso) di approvvigionarsi di dati “raw”.

L’analisi dei dati ci consente di studiare, monitorare e capire i fenomeni che possono essere descritti da quei dati. Attraverso l’analisi dei Big Data riusciamo a fare tutto ciò in modo prevalentemente automatico (attraverso tecniche che ricadono in quello che ora chiamiamo “machine learning”) e in tempo reale o “quasi” reale (near real-time), consentendo addirittura di fare delle previsioni sull’andamento di quei fenomeni nel brevissimo termine (nowcasting).

Amazon ad esempio in questo momento sa già qual è il prossimo libro che leggerete e infatti quel libro si trova già nel centro di distribuzione più vicino a voi, pronto per essere consegnato. E questo è soltanto uno dei tantissimi modi che abbiamo per sfruttare la Big Data Analysis.

Ma veniamo a noi. Infatti anche la Pubblica Amministrazione acquisisce dati in modo pressoché continuo. Sono i dati che vengono generati ogni qualvolta interagiamo per un qualche motivo con un qualunque ufficio della PA o quando utilizziamo uno dei numerosi servizi che vengono erogati online dalla stessa PA. I dati sono quindi un “effetto” del fatto che i cittadini “usano” la Pubblica Amministrazione. Sono dati che si trovano e che vengono gestiti nelle migliaia di sistemi informativi della PA. Che non solo acquisisce nuovi dati ogni qualvolta interagisce con i cittadini ma ne produce a sua volta di nuovi sotto forma di documenti, avvisi, notifiche, dati tabellari e così via. Sono i Big Data della Pubblica Amministrazione.

I dati di fonte amministrativa sono da sempre uno strumento molto potente per misurare fenomeni socio-economici e produrre statistica ufficiale. Poterlo fare in modalità “Big Data” è una sfida tuttora aperta su cui si è cominciato a riflettere per la prima volta qualche anno fa. (segnalo qui uno dei primissimi lavori sull’argomento. “What does “Big Data” mean for official statistics?” dell’”High level group for the modernization of statistical production and services” dell’UNECE a cui ho collaborato).

Quando si studiano dati come un tutt’uno e non invece a singoli pezzi, si scoprono cose interessantissime e inaspettate. E’ questo il vero valore del dato, lo dico sempre ogni qualvolta parlo di innovazione “data driven” ed è questo uno dei pezzi del lavoro che sta mettendo in campo il team digitale di Diego Piacentini.

Identificare nel “data lake” il punto in cui far confluire su un’unica piattaforma tecnologica dati strutturati, semistrutturati e non strutturati provenienti da fonti diverse della PA vuol dire poter consentire ai data scientist del team di lavorare su una base dati completamente inedita, che non è mai esistita in precedenza e che consentirà di guardare i dati da un punto di vista completamente nuovo. Significa di fatto mettere i data scientist del team nelle condizioni di provare per la prima volta a integrare e generare nuova informazione a partire dai dati della PA. Nuova informazione utile da poter ridistribuire attraverso API e visualizzazioni (immagino sotto forma di widget “embeddabili”). In modo da poter essere riutilizzata, composta e assemblata all’interno dei tanti sistemi e servizi di tutta la PA. E non solo della PA se rilasciati come Open Data.

Il limite diventa veramente solo l’immaginazione e la creatività, oltre che ovviamente il rigore scientifico e metodologico. Serve ancora risolvere vari problemi legati essenzialmente alla normativa vigente in termini di privacy ma anche problemi legati alla cultura attualmente prevalente che di fatto tende ad ostacolare la condivisione della conoscenza (o a praticarla soltanto quando si rivela innocua).

Il dato viene infatti condiviso con difficoltà con altri soggetti della PA, solo se è strettamente necessario, solo per la porzione necessaria e solo dopo aver sottoscritto una (faticosa) convenzione tra le parti. Non è vero che la PA è una. In Italia non c’è la Pubblica Amministrazione ma “LE” Pubbliche Amministrazioni, come evidenziavo nel mio precedente articolo.

E’ tutto molto interessante. Non è mai stata tentata una cosa del genere ma sono certo che questo progetto alla fine porterà buoni risultati, sia dal punto di vista degli output generati e sia su come verrà montato e costruito il processo di acquisizione del dato (data ingestion) e l’intera “data pipeline”. Nel peggiore dei casi diventerà un ottimo use case, sarà un gradino più in alto su cui riposizionarsi per ripartire, ma anche una, mi auguro bella, storia in più da raccontare.

Valuta la qualità di questo articolo

La tua opinione è importante per noi!

Speciale PNRR

Tutti
Incentivi
Salute digitale
Formazione
Analisi
Sostenibilità
PA
Sostemibilità
Sicurezza
Digital Economy
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr

Articoli correlati

Articolo 1 di 3