Gli studi

L’AI ha fallito contro il covid: ecco come rimediare

Non tutti gli strumenti di intelligenza artificiale usati nella lotta al covid sono stati utili, per diverse ragioni. Due studi che hanno valutato centinaia di strumenti predittivi sviluppati durante il 2020 “pandemico” mettono in luce i fallimenti e le loro ragioni

06 Set 2021
Luigi Mischitelli

Privacy & Data Protection Specialist at IRCCS Casa Sollievo della Sofferenza

Programma nazionale intelligenza artificiale

Durante l’ultimo “biennio” di pandemia Covid-19 sono stati ideati e implementati centinaia di strumenti di intelligenza artificiale da impiegare nella lotta al virus, con tutti i loro “pro e contro”. Se sui “pro” si è scritto a sufficienza, tra i “contro” non si può negare l’inutilità dell’impiego di alcuni di loro, così come la mancanza di test adeguati prima della loro messa in commercio ed “esecuzione sul campo” (si pensi, ad esempio, agli ospedali).

Intelligenza artificiale e Covid-19, storia di un fallimento che possiamo correggere

Intelligenza artificiale, l’occasione sprecata nelle prime fasi della pandemia

Quando il Covid-19 colpì l’Europa nel marzo 2020, gli ospedali si ritrovarono in una crisi sanitaria “mal compresa” e senza precedenti. I medici, in poche parole, non avevano idea di come gestire i pazienti infetti. Vi erano i dati provenienti dalla Cina, che aveva un vantaggio di quattro mesi nella lotta alla pandemia. Quattro mesi di vantaggio che avrebbero potuto orientare gli algoritmi di machine learning ad aiutare i medici a comprendere cosa avevano sotto gli occhi e tra le mani, nonché come prendere decisioni finalizzate al salvataggio di vite umane. Ma ciò non accadde, e non di certo per mancanza di sforzi da parte dei numerosi eroi in corsia. I team di ricerca di tutto il mondo si fecero avanti in tal senso nelle primissime fasi della pandemia. I ricercatori nel campo dell’intelligenza artificiale, in particolare, si affrettarono a sviluppare software che si credeva avrebbero permesso agli ospedali di diagnosticare o smistare i pazienti in maniera più efficiente e celere, portando un supporto necessario (e sperato) in prima linea. Alla fine, però, vennero sviluppati molte centinaia di strumenti predittivi che non fecero vera differenza sul campo. Anzi, alcuni di loro si dimostrarono addirittura dannosi.

WHITEPAPER
AZIENDA RETAIL: ecco i 15 motivi per cui hai bisogno dell'Intelligenza Artificiale!
Intelligenza Artificiale
Retail

Gli studi che svelano errori e vulnerabilità

Questo “fallimento” fa eco ai risultati di due importanti studi che hanno valutato centinaia di strumenti predittivi sviluppati durante il 2020 “pandemico”. Il primo studio è di Laure Wynants[1], Assistant Professor of Epidemiology presso la Maastricht University. Lei e i suoi colleghi hanno esaminato più di duecento algoritmi per la diagnostica sui pazienti Covid-19. I ricercatori dell’università olandese hanno constatato che nessuno tra gli algoritmi esaminati, tranne due, fossero adatti per uso clinico. Lo studio della Wynants ha fatto eco ad un’altra ricerca, effettuata da Derek Driggs[2] (PhD student del Cambridge Centre for Analysis) e dai suoi colleghi. Questo gruppo di ricerca britannico si è concentrato sui modelli di deep learning (apprendimento profondo) per diagnosticare il Covid-19 e prevedere il rischio dei pazienti partendo da determinate immagini, come le radiografie del torace e la tomografia computerizzata (TC). Come per il team della Wynants, Driggs e i suoi colleghi hanno esaminato più di quattrocento strumenti, concludendo che nessuno tra loro fosse adatto per l’uso clinico (pur non negando che la pandemia è stata comunque un grande test per l’uso dell’intelligenza artificiale in campo medico).

Entrambi i gruppi hanno scoperto che i ricercatori hanno ripetuto gli stessi errori “di base” nel modo in cui hanno addestrato o testato i loro strumenti. I presupposti errati sui dati spesso significavano che i modelli addestrati non funzionavano come dichiarato. Wynants e Driggs sono preoccupati che potrebbe essere dannoso trovarsi davanti ad uno strumento clinico costruito “nel modo sbagliato”, perché potrebbe mancare la diagnosi o potrebbe esserci la sottovalutazione del rischio per i pazienti vulnerabili.

Ma le aspettative “irrealistiche” del mercato incoraggiano l’uso di questi strumenti prima che siano pronti (ossia testati). Wynants e Driggs affermano che alcuni degli algoritmi che hanno esaminato sono già stati utilizzati negli ospedali, e alcuni sono stati commercializzati da sviluppatori privati. E il timore che qualcuno di loro abbia danneggiato i pazienti è dietro l’angolo.

Le scoperte, quelle utili

Se c’è un lato positivo della vicenda, però, è che la pandemia ha reso chiaro a molti ricercatori che il modo in cui gli strumenti di intelligenza artificiale sono costruiti deve cambiare. La pandemia, in parole povere, ha messo sotto i riflettori problemi che, come uomini, ci trasciniamo da tempo.

Molti dei problemi che sono stati scoperti dal mondo accademico anglo-olandese sono legati alla scarsa qualità dei dati che i ricercatori hanno utilizzato per sviluppare i loro strumenti. Le informazioni sui pazienti Covid-19, comprese le scansioni di immagini mediche, sono state raccolte e condivise nel mezzo di una pandemia globale, molto spesso da medici che lottavano per curare quei pazienti. I ricercatori volevano dare un celere aiuto e questi erano gli unici dataset pubblici disponibili. Così facendo, ciò ha significato che molti strumenti sono stati costruiti usando dati etichettati male o dati provenienti da fonti sconosciute. Driggs si focalizza su quelli che lui chiama “Frankenstein dataset”, ossia dati che sono messi insieme da più fonti e che possono contenere duplicati. Questo significa che alcuni strumenti finiscono per essere testati sugli stessi dati sui quali sono stati addestrati, facendoli apparire più “accurati” di quanto non siano. Inoltre si può “confondere” persino l’origine di alcuni dataset: questo può significare che i ricercatori perdono caratteristiche importanti che alterano l’addestramento dei loro modelli. Molti ricercatori hanno inconsapevolmente utilizzato un dataset che conteneva scansioni del torace di bambini che non avevano il Covid come esempio di come si presentavano i casi non-Covid. Ma come risultato, l’intelligenza artificiale ha imparato a identificare i bambini e non il Covid-19! Facendo un altro esempio, il gruppo di Driggs ha addestrato il proprio modello utilizzando un dataset che conteneva un mix di scansioni fatte quando i pazienti erano sdraiati e in piedi. Poiché i pazienti scansionati mentre erano sdraiati avevano più probabilità di apparire alla macchina come gravemente malati, l’intelligenza artificiale ha imparato erroneamente a prevedere un grave rischio Covid-19 dalla posizione di una persona. In altri casi ancora, l’intelligenza artificiale ha provato a captare il carattere del testo che alcuni ospedali usavano per etichettare le scansioni. Di conseguenza, i caratteri degli ospedali con casistiche più gravi diventavano predittori di rischio Covid-19.

Errori come questi sembrano ovvi col senno di poi. Possono anche essere corretti aggiustando i modelli, se i ricercatori ne sono consapevoli. È possibile, inoltre, riconoscere i difetti e rilasciare un modello meno accurato e meno fuorviante. Ma molti strumenti sono stati sviluppati da ricercatori esperti di intelligenza artificiale che non avevano la competenza medica per individuare i difetti nei dati oppure da ricercatori medici che non avevano le competenze matematiche per compensare tali difetti. Un problema più sottile che Driggs evidenzia è il bias introdotto nel momento in cui un dataset viene etichettato. Per esempio, molte scansioni di immagini mediche sono state etichettate in base al fatto che i radiologi che le hanno create hanno affermato che mostravano la presenza di Covid-19. Ma questo incorpora qualsiasi pregiudizio di quel particolare clinico in un determinato dataset. Sarebbe stato molto meglio etichettare una scansione di immagine medica con il risultato di un test PCR piuttosto che l’opinione di un medico. Questo non ha fermato alcuni di questi strumenti dall’essere “affrettati” nella pratica clinica. Per Driggs gli ospedali, a volte, affermano che stanno utilizzando uno strumento solo per scopi di ricerca, il che rende difficile valutare in che maniera i medici si stiano affidando loro. Wynants ha chiesto a una società che commercializzava algoritmi di deep learning di condividere informazioni sul loro approccio, ma non ha avuto risposta. In seguito, ha trovato diversi modelli pubblicati da ricercatori legati a questa azienda, tutti con un alto rischio di distorsione.

Conclusioni

L’utilizzo di dati qualitativamente migliori aiuterebbe molto, è vero, ma in tempi di crisi economica questo punto si dimostra una grande sfida. In pratica, l’alternativa percorribile è il migliore sfruttamento dei dati che abbiamo già a nostra disposizione. La mossa più semplice sarebbe che i team esperti di intelligenza artificiale collaborassero di più con i medici, nonché con i ricercatori che dovrebbero condividere i loro modelli e “rivelare” ai medici come sono stati addestrati, in modo che altri professionisti possano testarli e implementarli.[3]

Note

  1. Prediction models for diagnosis and prognosis of covid-19: systematic review and critical appraisal. British Medical Journal. https://www.bmj.com/content/369/bmj.m1328
  2. Common pitfalls and recommendations for using machine learning to detect and prognosticate for COVID-19 using chest radiographs and CT scans. Nature. https://www.nature.com/articles/s42256-021-00307-0
  3. Hundreds of AI tools have been built to catch covid. None of them helped. Technology Review. https://www.technologyreview.com/2021/07/30/1030329/machine-learning-ai-failed-covid-hospital-diagnosis-pandemic/
@RIPRODUZIONE RISERVATA

Speciale PNRR

Tutti
Incentivi
Salute digitale
Formazione
Analisi
Sostenibilità
PA
Sostemibilità
Sicurezza
Digital Economy
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr

Articolo 1 di 2