scenari

Machine “unlearning”: rimuovere i dati da un’IA non è semplice né privo di conseguenze



Indirizzo copiato

Rimuovere a posteriori un elemento di informazione appreso da una AI a oggi è possibile ma non è una procedura semplice né economica. E, soprattutto, potrebbe avere delle implicazioni ancora imprevedibili. A che punto è la ricerca

Pubblicato il 11 set 2023

Antonio Cisternino

Università di Pisa



renAIssance - intelligenza artificiale

Con riferimento all’IA generativa, si comincia a parlare di “unlearning”, ossia della rimozione di particolari informazioni da un sistema al fine di cambiarne il comportamento. Si tratta di tecniche già impiegabili? Tra quanto tempo saranno disponibili?

Che il tema della rimozione delle informazioni acquisite da un’intelligenza artificiale esista lo ha sottolineato anche il Garante per la privacy a marzo, nel contesto del contenzioso con OpenAI. Ed esiste sia che si tratti di informazioni puntuali sia che si tratti di informazioni contenenti il cosiddetto “bias culturale”, ovverosia l’acquisizione di modelli legati ad una particolare credenza di una parte della popolazione, per assicurare un corretto comportamento da parte dell’AI nelle valutazioni e, potenzialmente, nelle azioni che intraprenderà.

Il problema del bias di apprendimento

Recentemente una studentessa asiatica del MIT ha chiesto ad una AI generativa di migliorare in senso professionale la propria foto ed ha ottenuto il seguente risultato:

A composite of Rona Wang smiling while wearing a red shirt next to the AI-generated image that has made her skin lighter while also enlarging her eyes and making them blue.

L’AI invece di aggiungere o modificare dettagli ha ritenuto più opportuno cambiare i tratti somatici, il colore della pelle e degli occhi. L’intelligenza artificiale usata ha probabilmente visto più persone caucasiche con occhi chiari associate al concetto di “professionale di successo” e ha quindi ritenuto di modificare la foto in tal senso.

Se la stessa AI fosse stata utilizzata per decidere se assumere o meno la studentessa, o concedere il finanziamento di una startup, la decisione non sarebbe certamente adeguata ed è sicuramente uno dei pericoli più grandi che corriamo nell’introduzione delle tecnologie AI nei processi decisionali. Già oggi altri modelli statistici hanno limitato significativamente la discrezionalità dei direttori delle filiali di banca condannando chi rientra nei fattori di rischio più alto ad infiniti problemi anche se magari sarebbero assolutamente in grado di adempiere ai propri obblighi.

I nuovi modelli statistici dell’AI potrebbero aggravare il problema utilizzando aspetti non strettamente rilevanti e legati a “distorsioni” apprese dal particolare dataset utilizzato per l’apprendimento.

Come contrastare il bias

È importante evidenziare che il bias nell’addestramento di una AI non è necessariamente negativo, al contrario una delle motivazioni alla base della creazione di OpenAI era quella di creare una AI non pericolosa per l’uomo e quindi in qualche modo condizionata, ovvero biased. Il rifiuto di spiegare come si crea un’arma o un veleno, è un altro esempio di condizionamento “buono” dell’AI a cui tutti siamo ormai abituati.

Un po’ come accade per noi uomini, il materiale utilizzato per l’apprendimento di una AI determina le nozioni che astrae dal contenuto mostrato, testo nel caso di intelligenze artificiali come GPT e Bard. È inevitabile che il risultato finale sia influenzato dal materiale utilizzato e che inevitabilmente contenga una fotografia della nostra cultura al momento dell’apprendimento.

La procedura di rimozione di un elemento di informazione

Come è possibile quindi rimuovere un elemento di informazione appreso da una AI a posteriori? Ad oggi la risposta è semplice: si rimuove l’elemento dai dati usati per l’addestramento e si addestra nuovamente il modello. Sappiamo però che oggi questa semplice procedura, oltre a richiedere molto tempo può essere economicamente impegnativa, fino ad arrivare per modelli complessi a cifre di 5-10 milioni di dollari. Non è quindi pensabile che normalmente la rimozione di un’informazione valga tanto, ed è una delle argomentazioni usate dai produttori di modelli di AI per dire che in generale le informazioni non si possono rimuovere tempestivamente dal modello.

Ovviamente è possibile agire a posteriori: prima di restituire una risposta la si può analizzare per verificare che non contenga informazioni indesiderate, ma è una soluzione palliativa che non può certo essere ritenuta soddisfacente.

Per questo motivo già a partire dal 2015 i ricercatori hanno cominciato a lavorare ad algoritmi di apprendimento automatico capaci di rimuovere pezzi di informazioni senza richiedere l’intero addestramento del modello. Anche un fattore di 4x nella velocità di apprendimento sarebbe già un grande risultato in termini di risparmi economici, andando a dividere il costo dell’apprendimento iniziale.

Si tratta di una procedura complessa poiché il funzionamento di una rete neurale risiede proprio nello sparpagliare le informazioni nelle connessioni tra neuroni (altrimenti se i dati fossero mantenuti integri sarebbe un database). Come gli autori del primo lavoro illustrano l’idea è quella di “pre-digerire” i dati prima di usarli per l’apprendimento vero e proprio in modo da poter abbattere i costi di modifica del modello cambiando gli esempi dati in ingresso.

In un articolo del 2019 si propone una metodologia per alterare i pesi di un modello disponendo solo degli esempi che si vogliono dimenticare senza avere a disposizione l’intera collezione usata per l’apprendimento del modello.

Più recentemente, in un articolo del 2021, alcuni ricercatori affrontano il problema di rimuovere informazioni basandosi sull’output del modello, senza alcuna informazione sui dati di addestramento.

Ad oggi si tratta di approcci sperimentali, e le performance dei modelli alterati non sono altrettanto efficienti rispetto agli originali. Quella dell’unlearning è comunque un’area molto importante al punto tale da indurre Google a fine giugno 2023 a lanciare una sfida a chi sviluppa algoritmi di machine unlearning così da accelerare lo sviluppo di questa tecnologia mediante la competizione.

Disimparare è possibile?

Per noi uomini sappiamo che disimparare non è davvero possibile, possiamo imparare ad ignorare ricordi o emozioni, ma non è possibile rimuovere l’informazione dalle nostre menti. La necessità biologica di riprodursi e morire contribuisce a superare questo limite ripartendo da zero ad ogni generazione, trasferendo le conoscenze significative ed adattandosi al mondo che evolve nel tempo. Allo stesso tempo sappiamo bene come la memoria contribuisca a definire chi siamo, nel bene e nel male, e dobbiamo considerare le implicazioni di consentire ad una AI di rimuovere una particolare informazione. È probabile che gli effetti possano condizionarne il comportamento anche in modi inattesi, è quindi importante affiancare allo sviluppo della tecnologia le opportune metodologie che assicurino che il comportamento di una AI modificata non sia alterato in modo significativo, altrimenti si rischia di compromettere il funzionamento di tutti i sistemi che dipendono da essa.

Conclusioni

Ad oggi gli unici modi per rimuovere informazioni da un modello AI prevedono il riaddestramento del modello con l’eliminazione dei dati desiderati dagli esempi usati, o la rimozione dall’output di informazioni indesiderate se possibile.

La nascente disciplina del machine unlearning promette di fornire ulteriori metodi più efficienti e meno costosi, ma ad oggi siamo ancora nel mondo della ricerca. Ma come abbiamo imparato con l’AI generativa sono bastati pochi anni dalla pubblicazione delle tecniche fondanti alla sua commercializzazione.

Dobbiamo però interrogarci sulle conseguenze della rimozione di informazioni da un modello e di come questo ne possa alterare il comportamento. Si tratta di un’ulteriore variabile in un mondo già fin troppo complicato.

Speciale PNRR

Tutti
Incentivi
Salute digitale
Formazione
Analisi
Sostenibilità
PA
Sostemibilità
Sicurezza
Digital Economy
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr

Articoli correlati