Nelle ultime settimane il problema del razzismo è tornato al centro del dibattito mondiale – in seguito all’omicidio di George Floyd da parte della polizia Usa e alle proteste che ne sono seguite – portando sotto i riflettori anche i sistemi di intelligenza artificiale. Se l’idea che gli algoritmi prendano decisioni totalmente oggettive è già da tempo messa in discussione, spesso resta difficile individuare l’origine della discriminazione operata dalle macchine. L’intelligenza artificiale e il machine learning sono frutto di una serie di fattori interconnessi che ricollegano l’intervento umano iniziale con operazioni matematiche complesse e insiemi enormi di dati; è dunque necessario analizzare attentamente i vari elementi presi in considerazione per arrivare alla decisione finale dell’algoritmo, per capire se il germe della discriminazione e del razzismo sia intrinseco al sistema o abbia radici diverse.
Tentando una semplificazione, si può sostenere che vi siano tre momenti in cui si possono creare le premesse per una decisione discriminatoria:
- La programmazione;
- La scelta del dataset;
- Il funzionamento dell’algoritmo.
La programmazione
Nel momento in cui l’algoritmo viene programmato vengono selezionati i caratteri del set di dati che la macchina deve valutare per prendere la sua decisione. È in questa fase che entrano in gioco i pregiudizi ideologici propri del soggetto programmatore e in tali casi si può intervenire per eliminarli. Un esempio può essere la creazione di un algoritmo che contenga tra i propri parametri la razza e il sesso del soggetto; ma se si esclude l’inserimento di questi elementi, facendo in modo che l’algoritmo non elabori i dati riguardanti sesso e razza, viene automaticamente eliminata la discriminazione? Il discorso non è così semplice: potrebbe comunque avvenire una discriminazione indiretta. Quest’ultima avviene a causa dei caratteri proxy, vale a dire degli elementi formalmente “neutri”, come ad esempio l’altezza o il codice fiscale, dai quali tuttavia l’intelligenza artificiale può indirettamente risalire alle categorie protette (come le donne o le persone di colore). La discriminazione indiretta presenta ulteriori difficoltà per quanto riguarda la sua individuazione ed eliminazione, visto che può essere sia indotta dal programmatore (con l’inserimento nell’algoritmo di caratteri proxy) sia dal sistema stesso di machine learning, che potrebbe autonomamente effettuare delle correlazioni tra caratteri proxy e categorie protette senza che il programmatore ne sia consapevole. L’eliminazione delle proxies discriminatorie presenta alcuni problemi pratici: in primo luogo, la loro individuazione preventiva è sostanzialmente impossibile perché diventano evidenti a seguito dell’applicazione dell’algoritmo e, in ogni caso, le logiche del machine learning sono diverse in base ai vari settori di applicazione, per cui sarebbe impensabile una generalizzazione. Un secondo aspetto problematico è che, anche se venissero efficacemente individuate le proxies riguardanti alcune categorie protette e venisse imposto all’algoritmo di non tenerne conto, potrebbe comunque avvenire lo “slittamento” verso proxies più distanti che rinvierebbero comunque, anche se in modo meno preciso, a tali categorie protette. Infine, esiste la possibilità che i parametri che l’algoritmo deve necessariamente analizzare perché possa raggiungere il proprio scopo siano essi stessi inevitabilmente proxies di caratteri che porterebbero a una discriminazione.
Fatte queste precisazioni, va tuttavia considerata la possibilità che la decisione discriminatoria dell’algoritmo possa essere sanata con un semplice intervento sull’algoritmo stesso.
Recentemente in California un gruppo di artisti afroamericani ha intentato una class action contro YouTube, accusando la piattaforma di utilizzare filtri discriminatori nei confronti di video contenenti nei titoli o nelle tag termini come “black lives matter”, “racism” e “white supremacy”. I ricorrenti affermano che YouTube ha usato e continua a utilizzare scientemente sia dei meccanismi discriminatori per filtrare i video, sia delle procedure che profilano gli utenti in base alla loro etnia o altre caratteristiche personali o ideologiche e non in base ai contenuti dei video, che non sarebbero in sé in alcun modo in violazione delle regole della piattaforma. Nella class action si parla di “digital racism” intenzionale e sistematico, a prescindere dal fatto che il convenuto sia o meno motivato da ragioni ideologiche contro persone di colore e membri di altre categorie protette. In questo caso, se fosse data ragione ai ricorrenti, la soluzione immediata potrebbe essere proprio la revisione degli algoritmi alla base dei filtri di YouTube.
La scelta del dataset
Il momento centrale del processo di machine learning è quello in cui, programmato l’algoritmo, a questo vengono forniti dei dati da analizzare, su cui l’intelligenza artificiale si formerà, “imparando” a compiere le proprie scelte. Un esempio tipico è quello di un software che, dopo aver esaminato una grande quantità di foto di gatti, impara a riconoscere quali sono i gatti nelle immagini che gli vengono presentate. È evidente quindi che la qualità dei dati che vengono utilizzati in questa fase è fondamentale per il risultato che si vuole ottenere, secondo il principio di “garbage in – garbage out”: perfino i software più sviluppati funzionerebbero male in presenza di dati di bassa qualità.
I dati possono essere biased (distorti, parziali o errati) per molte ragioni, incluso il modo in cui vengono selezionati e forniti all’algoritmo: se verranno fornite una serie di foto di bambini, etichettando quelle di bambini bianchi solo con il termine “bambino” mentre quelle di bambini neri con il termine “bambino nero”, le soluzioni ottenute dall’algoritmo non saranno neutrali. I dati possono inoltre essere inesatti, non aggiornati o non adeguatamente rappresentativi.
Joy Buolamwini, ricercatrice al MIT Media Lab, ha fondato la “Algorithmic Justice League”, un’organizzazione che ha come obiettivo quello di combattere le discriminazioni basate sui pregiudizi degli algoritmi. La ricercatrice sostiene che i problemi dei software di riconoscimento facciale nel riconoscere le persone di colore siano dovuti a una incompletezza dei dataset forniti alle intelligenze artificiali, che si sono formate principalmente sulle immagini di uomini bianchi. Questa tesi è la più accreditata per quanto riguarda i problemi del riconoscimento facciale che, precisi nel riconoscere uomini bianchi di mezza età, hanno un margine di errore di più del 20% per le donne di colore. Tuttavia, alcuni studiosi integrano questa spiegazione con motivazioni più puramente ingegneristiche: uno studio di Michael King, professore associato al Florida Institute of Technology, ha dimostrato che è possibile avere degli algoritmi di riconoscimento facciale funzionanti egualmente per bianchi e neri, ma questo soltanto utilizzando diversi setting dei sensori per i due gruppi. Patrick Grother, scienziato al National Institute of Standards in Technology (NIST) nel U.S. Department of Commerce, sostiene che un altro motivo per la mancanza di accuratezza degli algoritmi nei casi di pelle scura possa essere la qualità fotografica, visto che molte tecnologie fotografiche sono state ottimizzate per le pelli più chiare. È quindi necessario comprendere a pieno il funzionamento dell’algoritmo, prima di giungere alla conclusione che il vizio sia nel dataset; senza tralasciare l’ipotesi che la discriminazione possa essere frutto di una combinazione di vari fattori, inclusa la scarsa qualità dei dati forniti.
Recentemente è venuto alla luce nel dibattito mondiale come gli errori degli algoritmi di riconoscimento facciale, che siano dovuti a problemi del dataset o semplicemente a una progettazione grossolana dell’algoritmo, possono avere conseguenze catastrofiche quando le intelligenze artificiali sono utilizzate nell’ambito delle investigazioni di polizia. Un caso di questo tipo risale allo scorso gennaio, quando un uomo di colore è stato arrestato dalla polizia di Detroit sulla base di un riconoscimento facciale. L’uomo, in aggiunta all’umiliazione di essere ammanettato nel proprio giardino di casa di fronte alla sua famiglia, ha dovuto subire una notte in carcere, una mattinata di interrogatorio ed è stato rilasciato la sera dopo l’arresto; il tutto nonostante sia risultato evidente, durante l’interrogatorio, che non assomigliava affatto alla persona ricercata. È bastato infatti un confronto tra il suo volto e la foto del criminale scattata dalle telecamere di sorveglianza (su cui si era basato il riconoscimento facciale) per accorgersi immediatamente dell’errore. Inoltre, se la polizia avesse svolto ulteriori indagini, avrebbe scoperto che l’uomo aveva un alibi per la sera in cui è successo il fatto. Questo caso evidenzia come l’intervento umano sia comunque sempre auspicabile prima di prendere decisioni che incidono significativamente sulle libertà degli individui sulla base di indicazioni algoritmiche; il riconoscimento facciale dovrebbe essere unicamente un indizio su cui basarsi in una investigazione, non una prova decisiva.
Tornando ai visi dei dataset, un altro problema è dato dal fatto che quando le decisioni delle intelligenze artificiali si fondano su statistiche storiche tendono a incorporare in sé le distorsioni presenti nella realtà e a cristallizzarle. Un caso eclatante di questo tipo si è avuto negli Stati Uniti con il software COMPAS, che veniva utilizzato in sede giudiziaria per calcolare la probabilità di recidiva dei convenuti; uno studio ha dimostrato che il software tendeva a sottostimare il rischio di recidiva quando il convenuto era un bianco e a sovrastimarlo quando era un nero.
Il funzionamento dell’algoritmo
Il meccanismo di correlazione tra i dati a seguito del processo di machine learning in parte resta oscuro agli stessi programmatori; per questo vi possono essere dei casi in cui la distorsione discriminatoria avviene in qualche momento della decisione dell’algoritmo senza che il motivo scatenante sia chiaramente definibile.
A tale riguardo, viene in mente uno studio pubblicato poche settimane fa da Aylin Caliskan e Akshat Pandey della George Washington University, che hanno dimostrato come a Chicago gli algoritmi di Uber e Lyft calcolano un prezzo delle corse maggiore per le persone che hanno come destinazione aree popolate in prevalenza da etnie non bianche. I ricercatori hanno analizzato dati riguardanti più di 100 milioni di viaggi effettuati a Chicago tra novembre 2018 e dicembre 2019; per ogni viaggio erano presenti informazioni su vari fattori come l’età del passeggero, la durata della corsa, se il viaggio fosse individuale o di gruppo, mentre non c’era alcun riferimento all’etnia del passeggero. È quindi difficile comprendere da cosa derivi la discriminazione, che però di fatto avviene. Os Keyes dell’Università di Washington a Seattle ha affermato che anche se l’identità del passeggero non viene esplicitamente considerata nel funzionamento degli algoritmi, il modo in cui il razzismo ha influenzato la geografia e le opportunità di vita fa sì che disparità razziali possano comunque apparire nei risultati. Sostiene quindi che questo dovrebbe portarci a mettere in discussione gli studi che si concentrano sull’eliminare il razzismo negli algoritmi semplicemente non menzionando l’etnia dei soggetti. Un portavoce di Lyft ha riconosciuto il valore di questo studio nel dimostrare come la tecnologia possa discriminare inavvertitamente, mentre un portavoce di Uber ha affermato che l’azienda non permette discriminazione di alcun tipo e apprezza gli studi che permettono di capire più a fondo il meccanismo di determinazione dinamica dei prezzi tramite algoritmi, tenendo però presente che potrebbero esserci molti fattori della decisione dell’algoritmo che lo studio in questione potrebbe non aver considerato. Resta ancora da vedere se e come i risultati dello studio di Aylin Caliskan e Akshat Pandey verranno utilizzati per rimettere in discussione gli algoritmi di determinazione dei prezzi.
Alcune soluzioni in ambito europeo
Un intervento correttivo delle discriminazioni derivanti dalle decisioni algoritmiche deve essere delineato tenendo in considerazione due profili: quello “interno” del funzionamento dell’algoritmo anche con riguardo al dataset; e quello “esterno” della significatività dell’algoritmo nella decisione finale che incide sulle persone.
Le istituzioni europee già da alcuni anni si interrogano sulla questione; in un documento del 2018, la European Union Agency For Fundamental Rights ha posto l’attenzione sui meccanismi di auditing che andrebbero utilizzati per controllare gli algoritmi, in particolare parlando di trasparenza, valutazioni d’impatto sui diritti fondamentali, verifiche sulla qualità dei dati, comprensibilità degli algoritmi stessi.
Il Regolamento Generale sulla Protezione dei Dati Personali (GDPR) fornisce alcuni punti fermi per quanto riguarda l’utilizzo degli algoritmi per prendere decisioni automatizzate sulle persone fisiche a partire dai loro dati personali. Dal punto di vista del profilo “interno”, il Considerando 71 stabilisce il principio di non discriminazione per via algoritmica: “è opportuno che il titolare del trattamento utilizzi procedure matematiche o statistiche appropriate per la profilazione, metta in atto misure tecniche e organizzative adeguate al fine di garantire, in particolare, che siano rettificati i fattori che comportano inesattezze dei dati e sia minimizzato il rischio di errori e al fine di garantire la sicurezza dei dati personali secondo una modalità che tenga conto dei potenziali rischi esistenti per gli interessi e i diritti dell’interessato e che impedisca tra l’altro effetti discriminatori nei confronti di persone fisiche sulla base della razza o dell’origine etnica […]”.
Per quanto riguarda, invece, la significatività dell’algoritmo, l’art. 22 del GDPR pone una serie di garanzie per i casi in cui il soggetto sia sottoposto a una decisione basata unicamente sul trattamento automatizzato dei dati che lo riguardano, con l’intento di dare all’interessato, salvo eccezioni, la possibilità di avere un intervento umano aggiuntivo rispetto al risultato della valutazione dell’intelligenza artificiale. In questo senso sorge però il dubbio su quanto una persona possa essere in grado di mettere in discussione la decisione di un algoritmo in modo obiettivo e senza farsi influenzare da essa. Certo è che un intervento umano, se consapevole del funzionamento dell’algoritmo e dei suoi possibili difetti, potrebbe essere una garanzia importante per il soggetto sottoposto a decisioni automatizzate.
Conclusioni
Il razzismo negli algoritmi può avere svariate origini e motivazioni; può essere un riflesso diretto di preconcetti del programmatore o della società nel quale viene sviluppato il software o il dataset, così come può derivare da correlazioni inaspettate.
Una volta individuato un pattern discriminatorio, è necessario quindi analizzare attentamente tutti i processi coinvolti per individuare gli elementi sui quali intervenire per correggere la distorsione. Strumenti utili a questo fine sono la trasparenza e comprensibilità degli algoritmi, la possibilità di un intervento umano nella decisione, ma anche l’educazione del personale e l’inclusione di minoranze e gruppi sottorappresentati nei processi di programmazione ed elaborazione dei dataset. Le decisioni automatizzate delle intelligenze artificiali stanno diventando sempre più frequenti e pervasive nella nostra quotidianità, per cui non si può prescindere dal sottoporle a un attento esame di resistenza ai principi e valori fondamentali della nostra società, controllando allo stesso tempo che non vengano utilizzate come pretesti per cristallizzare situazioni di disuguaglianza già presenti e ancora da eliminare del tutto.
