gli esperimenti

Intelligenze artificiali razziste e psicopatiche, studiarle per non esserne vittima

Due affascinanti esperimenti sull’interazione uomo-intelligenza artificiale dimostrano che bisogna stare molto attenti al tipo di dataset con cui vengono testate le IA e che è necessario dotare i loro algoritmi di un meccanismo in grado di rilevare distorsioni nell’apprendimento e nel comportamento. Conosciamo Tay e Norman

Pubblicato il 04 Set 2018

Davide Bennato

professore di Sociologia dei media digitali all’Università di Catania

intelligenza artificiale norman

Esistono già laboratori di ricerca che stanno lavorando allo sviluppo intelligenze artificiali che mostrano comportamenti devianti come razzismo, violenza e altre psicopatologie più o meno deliranti. 

E non si tratta di fake news, né di una puntata particolarmente visionaria di Black Mirror.

La notizia è tremendamente vera, e ci sono validi motivi scientifici per procedere su questa linea di ricerca.

Vediamo i fatti.

Una delle tecnologie di maggiore tendenza degli ultimi anni è sicuramente l’AI ovvero Artificial Intelligence che oggi prende nomi diversi – machine learning, deep learning – ma in buona sostanza l’idea è sempre quella: la capacità di sviluppare un software autonomo che sia in grado di inferire nuova conoscenza usando una base dati sufficientemente ampia. Da questa impostazione nasce l’uso del termine intelligence che potrebbe essere correttamente tradotto come “abilità nell’investigazione” e non come ormai si è sedimentato nella vulgata comune “intelligenza” che tanti equivoci ha sollevato in passato e solleva tutt’ora.

Intelligenza artificiale, approcci e tipologie di basi dati

L’approccio contemporaneo all’intelligenza artificiale è basato su dati, grazie anche alle opportunità permesse dai big data: ovvero attraverso l’uso di dataset enormi si cerca di sviluppare degli algoritmi che non solo siano in grado di rappresentare queste informazioni estese, ma anche di elaborare ipotesi, inferenze e tutto quanto sia possibile dedurre da una corposa base di informazioni di riferimento. Questo punto è molto delicato perché rappresenta il cuore del problema. L’AI contemporanea ha diversi approcci ma sostanzialmente usa due tipologie di basi dati: database relativi a settori specifici prodotti esplicitamente per mappare un settore o un campo del sapere, e database non specifici sui quali testare le capacità di inferenza degli algoritmi. Il primo modo di procedere è piuttosto classico: già negli anni ’70 esistevano intelligenze artificiali in grado di produrre conoscenza inferendo da specifici dataset, i celebri sistemi esperti. Il caso più famoso è quello di MYCIN, una intelligenza artificiale in grado di compiere diagnosi delle malattie del sangue. Questa linea di ricerca è piuttosto promettente: attualmente l’esempio – commerciale – più celebre è IBM Watson, l’AI della IBM in grado di compiere diverse elaborazioni all’interno di vari campi del sapere usando il linguaggio naturale come strumento di interrogazione. Il secondo modo di procedere – uso di database non specifici – è meno classico e più affascinante: meno classico perché richiede la progettazione di software sostanzialmente nuovi in grado di usare database piuttosto eterogenei, più affascinante perché l’uso di database non specifici può portare a risultati inaspettati.

Interazione uomo-AI, gli scenari

Ed è questo il punto centrale: cosa succede se noi facciamo esercitare una intelligenza artificiale piuttosto sofisticata con database dalla provenienza non controllata, meglio se frutto di interazioni umane?

La domanda sembra da film di fantascienza, in realtà è un problema piuttosto serio dato che il mercato delle intelligenze artificiali basate su interazione con la voce, ovvero gli assistenti vocali come Siri, Cortana, Google Assistant, Amazon Alexa, Google Now, viene considerato come uno dei più promettenti dei prossimi anni. Anzi, c’è chi giura che il gadget più regalato del Natale 2018 sarà proprio un assistente vocale. In attesa di avere in casa sistemi come quelli che fanno innamorare il protagonista del film Her di Spike Jonze, i ricercatori si stanno ponendo diverse domande su cosa dobbiamo aspettarci da intelligenze artificiali lasciate a interagire senza particolari vincoli o che utilizzano database da zone della rete poco tradizionali. La risposta è piuttosto inquietante: se l’IA interagisce con contenuti polarizzati, il comportamento della IA sarà polarizzato. Detto così sembra scientifico e asettico, ma cosa vuol dire polarizzato?

Facciamo due esempi affascinanti: Tay e Norman.

Tay e gli insulti razzisti

La Microsoft il 23 marzo 2016, forte del successo del progetto Xiaoice sviluppato nella sua consociata cinese, decise di rilasciare al pubblico, Tay – acronimo di Thinking About You – il cui scopo era quello di testare in un ambiente social le capacità di interazione di un chatbot basato su intelligenza artificiale. In pratica Tay era un software che imitava le interazioni linguistiche di una ragazza americana di 19 anni che installato su Twitter era in grado di interagire con i tweet che le mandavano gli utenti. Ciò che accadde fu che molti utenti cominciarono ad interagire con l’intelligenza artificiale in maniera provocatoria con insulti, osservazioni violente, epiteti offensivi e la reazione dei Tay fu quella di rispondere attraverso messaggi razzisti, violenti, politicamente scorretti. Il risultato fu che la Microsoft fu costretta a chiudere il progetto Tay dopo solo 16 ore che era stato diffuso al grande pubblico, non prima che l’intelligenza artificiale avesse inviato messaggi come “Hitler aveva ragione”, “Neri e messicani sono le razze peggiori”, “Bush è stato l’autore dell’11 settembre”. Il dibattito sollevato da Tay è stato piuttosto acceso, soprattutto perché non è chiaro se abbia sviluppato questa personalità razzista come imitazione dei messaggi ricevuti – e quindi fosse una funzione programmata nell’algoritmo – oppure se sia stato un comportamento emergente frutto di un adattamento complesso all’ambiente – e quindi una funzione “nuova” sviluppata autonomamente dall’intelligenza artificiale.

Norman e il test delle macchie di Rorschach

Il problema delle intelligenze artificiali che apprendono in contesti sociali controversi è reso ancora più evidente da Norman. Norman – il cui nome è un tributo a Norman Bates del film Psycho di Alfred Hitchcock – è un progetto dello Scalable Cooperation del MIT Media Lab che ha lo scopo di testare il tipo di personalità sviluppata da una intelligenza artificiale sulla base di uno specifico dataset. L’idea dell’esperimento è quello di prendere un classico algoritmo di deep learning in grado di generare una descrizione testuale di un’immagine, lasciare esercitare l’algoritmo con i contenuti presenti in un macabro canale Reddit specializzato in immagini di persone morte e mettere a confronto Norman con una intelligenza artificiale simile che però si è esercitata con un dataset molto più tradizionale (e meno cruento).

Come verificare il risultato dei cicli di apprendimento delle due intelligenze artificiali? Con lo stesso modo con cui si studia la mente di uno psicopatico: con il test proiettivo delle macchie di Rorschach. Chiedendo alle due intelligenze artificiali di interpretare le macchie del test (ovvero darne una descrizione testuale) i risultati del training di Norman sono piuttosto evidenti: dove l’AI vede un dettaglio di un vaso con fiori, Norman vede un uomo sparato a morte, dove l’AI vede una foto in bianco e nero di un uccellino, Norman vede un uomo gettato in una macchina impastatrice, dove l’AI vede una persona che tiene un ombrello in aria, Norman vede un uomo colpito a morte davanti sua moglie urlante. In pratica la frequentazione di uno dei luoghi più macabri della rete, ha reso Norman una intelligenza artificiale psicopatica.

La lezione di Tay e Norman

Che tipo di insegnamenti possiamo trarre da Tay e da Norman? Essenzialmente due. In primo luogo che bisogna stare molto attenti al tipo di dataset con cui vengono testate le intelligenze artificiali perché c’è il rischio che l’uso di dati culturalmente sensibili possano dare conseguenze impreviste nello sviluppo delle intelligenze artificiali. Immaginate se Tay o Norman fossero stati progetti pilota nello sviluppo di prodotti come assistenti vocali intelligenti, gadget interattivi o giocattoli.

In secondo luogo che è necessario dotare gli algoritmi delle intelligenze artificiali di un meccanismo di controllo in grado di rilevare distorsioni nell’apprendimento e nel comportamento e che siano in grado di far intervenire i responsabili del prodotto. In pratica una versione un po’ più realistica delle tre leggi della robotica di Asimov.

Ma, senza dubbio quello che emerge con forza da questi casi studio è che noi programmiamo gli algoritmi con le stesse debolezze dell’animo umano su cui Nietzsche ci ha aperto gli occhi: se guardi troppo nell’abisso, l’abisso guarderà dentro di te.

Anche se sei una intelligenza artificiale.

Valuta la qualità di questo articolo

La tua opinione è importante per noi!

Speciale PNRR

Tutti
Incentivi
Salute digitale
Formazione
Analisi
Sostenibilità
PA
Sostemibilità
Sicurezza
Digital Economy
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr

Articoli correlati

Articolo 1 di 3