L'approfondimento

AI e dati, è caos etico: serve una metodologia standard

Aumenta la consapevolezza sulla complessità dei rischi dell’automazione delle decisioni, compresi gli impatti sulla gestione dei dati, tema su cui il dibattito è acceso: la soluzione ai possibili problemi può derivare da un approccio metodologico coerente

09 Mar 2021
Ivana Bartoletti

Autrice di An Artificial Revolution, Esperta di privacy e etica del digitale, Co-Founder, Women Leading in AI Network

azienda Ai-driven

Il dibattito sugli elementi etici legati all’intelligenza artificiale procede in maniera confusa, come è normale che sia nel contesto di tecnologie che, a mano a mano, escono dall’ambito della teoria ed entrano nel mondo reale e dalle conseguenze tangibili. È successo lo scorso anno con gli esami per gli A-level nel Regno Unito, cancellati a causa della pandemia: i voti finali sono stati surrogati da un algoritmo che ha discriminato gli studenti delle scuole statali. Più recentemente, l’algoritmo di Deliveroo per assegnare i turni di lavoro è emerso come discriminatorio nei confronti di chi partecipa ad attività sindacali.

Si tratta di due casi piuttosto diversi, che però hanno in comune l’automazione delle decisioni, che porta con sé rischi complessi, e la consapevolezza di tale complessità che sta divenendo un fatto sempre più pubblico. In altre parole, l’opinione pubblica sta gradualmente prendendo atto che i processi automatici, lungi dall’essere neutrali, sono da vedere come automazione dei limiti dell’uomo, ma non come superamento. Emerge la necessità di una metodologia coerente e standardizzata per discutere i compromessi etici sulle questioni di privacy e protezione dei dati nei sistemi di AI.

AI e giustizia sociale

I limiti umani – pregiudizi, disuguaglianze e stereotipi – sono più difficili da individuare, e quindi da combattere, quando vengono automatizzati o, peggio ancora, dispersi nell’opacità della black box. Meccanismi automatici per allocare interventi, politiche e investimenti sono anch’essi saliti alla ribalta in tempi recenti per il loro potenziale discriminatorio. Il predictive policing, ad esempio, basato spesso su informazioni raccolte in certe aree geografiche o su serie storiche di dati, viene spesso citato per la sua caratteristica di cristallizzare in automatico nelle predizioni future le dinamiche del nostro presente. Quelle stesse dinamiche che, in tanti, vogliamo contestare e poi superare.

WHITEPAPER
Gestione dei contratti e GDPR: guida all’esternalizzazione di attività dei dati personali
Legal
Privacy

Black lives matter ha portato alla ribalta come il razzismo sia sedimentato nella società americana e non solo, e di come il controllo delle libertà sia mutato in sorveglianza e riconoscimento facciale nella sua traslazione tecnologica. Non c’è dubbio dunque che quell’anelito umano all’uguaglianza possa trovare una barriera nella tecnologia predittiva, se non regolata e controllata. E non è un caso che le voci più critiche, solide e prominenti che parlano del rischio della inevitabilità della soluzione tecnologica si stiano fondendo con le domande di giustizia sociale.

Il monito chiaro e limpido di Joy Buolamwini è importantissimo: non si confonda la fairness algoritmica con la giustizia sociale. In altri termini, non si confondano le dinamiche matematiche con le problematiche legate all’utilizzo stesso della tecnologia. Questa nuova consapevolezza è importante, e va valorizzata se vogliamo costruire l’innovazione tecnologica sulle solide basi della fiducia e della trasparenza.

Privacy e valore del prodotto

Il GDPR ha certamente contribuito a innalzare il livello di attenzione nei confronti dei dati personali. I cittadini sembrano porre maggior cura nei riguardi del trattamento, e la scelta o meno di un prodotto sembra essere influenzata dal rispetto che le compagnie hanno per le informazioni di ciascuno di noi. Tuttavia, il controllo effettivo sui propri dati è spesso quasi impossibile, per questioni di concentrazione di mercato e mancanza di competizione, cosi come a causa di pratiche dubbie in termine di design e interfacce utenti. Benché sbandierato, tale controllo è sempre più una chimera – tra il legalismo delle privacy notice e le configurazioni di design fuorvianti e ingannevoli.

Ha pertanto ragione Daniel Solove ad affermare che il famoso paradosso della privacy è un errore. Il paradosso ci dice che i cittadini, seppure in principio interessati alla privacy, in realtà cedono i propri dati con ben poche preoccupazioni. Questo paradosso è spesso utilizzato per legittimare la collezione dei dati senza scrupoli. Ma, avverte Solove, sarebbe un errore intellettuale, oltre che logico, ritenere che gli utenti siano consenzienti solo perché usano le app online (alle quali non c’è spesso alternativa) o sottoscrivono terms & conditions spesso incomprensibili.

La qualità del trattamento dei dati è invece importante per gli utenti, e l’interesse verso Signal e Telegram a seguito delle annunciate (poi rinviate) nuove policy di WhatsApp ne è la testimonianza. E basti pensare alla guerra tra le big tech proprio sul terreno della privacy che ha visto, giusto qualche giorno fa, l’attacco non proprio velato di Cook a Facebook nel difendere il tracker di Apple. Tutto questo nel contesto del recente annuncio di Google sugli incoraggianti successi del Federated Learning of Cohorts (FLoC), parte del Privacy Sandbox, anticipando il bando alle cookie di terze parti su Chrome.

La privacy fa oramai parte delle conversazioni intorno al valore di un prodotto, e i ripetuti scandali non fanno altro che aumentare la consapevolezza di utenti e consumatori. La domanda a questo punto è: quanto questa consapevolezza si estenda alla macchina, alla decisione automatica, alla profilazione a obiettivo predittivo. Mi spiego: siamo in grado di comprendere il danno individuale derivante dall’utilizzo dei big data? In altri termini, i sistemi predittivi che utilizzano il dato personale per definire policy di stanziamento fondi o allocazioni di forze dell’ordine, possono avere un grosso impatto sulle comunità o su determinati gruppi, pur restando impercettibili per l’individuo. Eppure questi processi avvengono proprio grazie ai dati individuali, per quanto possano essere pseudonomizzati e deidentificati nel percorso.

AI, la consapevolezza come opportunità

Definire le norme sullo sviluppo e utilizzo dell’intelligenza artificiale non è cosa semplice. Il tanto clamore intorno all’etica ne è testimonianza: il trionfo dell’autoregolamentazione, delle compagnie che definiscono criteri e parametri per poi valutarne da sole l’applicazione, magari usando un ethics board per avallare le decisioni. Sia ben chiaro: non penso in alcun modo che le discussioni sull’etica non abbiano un senso, un ruolo e anche una centralità. L’opposto è semmai vero; l’etica è in fondo ciò che informa, spinge e defisce lo sviluppo di policy, azioni e norme. Non è il compito del legislatore quello di tradurre in norma ciò che dovrebbe essere l’etica condivisa? Un compito complesso, anche perché quando si parla di etica non parliamo di qualcosa di statico. L’etica muta con il tempo, i fenomeno sociali e la tecnologia stessa.

Il tema dunque è: come spostare il dibattito etico; dalla self-regulation delle aziende, a strumenti che siano in grado di rispondere a quella nuova consapevolezza che sta emergendo nella società. Non solo rispondere, ma anche incoraggiarla come base per costruire quell’innovazione fondata sulla responsibilità, sulla fiducia e sulla trasparenza. In particolare, vorrei suggerire due azioni necessarie, l’auditing esterno, e i registri di algoritmi.

Auditing di AI system

L’audit delle AI non è di certo una idea nuova, e fa parte di quegli strumenti ex post che possono essere utilizzati, insieme per esempio a dei bounty scheme, per identificare errori e risultati iniqui negli algoritmi. Io credo che le audit siano uno strumento davvero importante perché consentono una valutazione del sistema AI in base ad una serie di criteri definiti a priori. Possiamo dire che fare audit di AI sia un dovere nel quadro del GDPR, per verificare che il trattamento di dati personali avvenga in accord con I principi legislativi.

Fare audit di AI va ben oltre il GDPR, e per questo è necessario identificare criteri e standard, affinché le audits non diventino uno strumento di auto-certificazione invece che una analisi seria dei meccanismi. Evidentemente, come il caso Deliveroo ci dimostra, la difficoltà è l’accesso agli algoritmi utilizzati, per i quali vi sarà la segretezza del copyright. È cruciale allora dare a specifici enti regolatori il potere di richiedere accesso ai sistemi AI, chiarendo in quali circostanze questo accesso sia possibile.

Per esempio, con la sorveglianza dei lavoratori sempre più automatizzata, è possibile pensare di aggiungere ai diritti sindacali la possibilità di fare un audit degli algoritmi usati dal datore di lavoro? Sono domande aperte, ma quel che è certo è che l’audit sia uno strumento complesso e al contempo essenziale, e dobbiamo cercare di ritrovarci su standard e criteri sui quali misurare le AI in maniera omogenea.

I registri degli algoritmi

Le città di Amsterdam e Helsinki hanno creato un albo degli algoritmi usati, disponibile a tutti, consultabile e provvisto di informazioni su come partecipare alla creazione di strumenti automatici. L’elemento importante di questa iniziativa è che i cittadini possono accedere alle informazioni relative ai dati usati dagli algoritmi e agli strumenti usati per combattere risultati discriminatori. Ecco, io credo che i registri degli algoritmi debbano diventare realtà nelle pubbliche amministrazioni, così come negli enti governativi, e che la trasparenza di questi strumenti debba comprendere i dati usati, le informazioni sugli audit effettuati, l’elenco dei possibili rischi individuati (sia per gli individui che per la collettività) e la procedura per poter ottenere un redress (risarcimento) nel caso si sospetti un harm.

Conclusione

Mentre la discussione etica procede, e l’Unione Europea si appresta a proporre legislazione sull’AI, penso sia necessario adoperarsi affinché la consapevolezza nuova che si sta diffondendo nell’opinione pubblica trovi un utilizzo positivo, prima di decadere in scetticismo e sfiducia nella tecnologia. È un rischio che non possiamo correre, e il primo passo può essere rappresentato da strumenti come gli audit e i registri di algoritmi.

@RIPRODUZIONE RISERVATA

Speciale PNRR

Tutti
Incentivi
PA
Sostemibilità
Analisi
Formazione
Salute digitale
Sicurezza
Sostenibilità
Digital Economy
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr

Articoli correlati