documentario Netflix

“Coded Bias”, così abbiamo delegato il nostro razzismo agli algoritmi

Coded bias è un documentario Netflix che descrive l’episodio che avrebbe portato la ricercatrice Joy Buolamwini a indagare e approfondire gli errori dell’intelligenza artificiale. Un’occasione per riflettere sui nostri pregiudizi e la nostra parzialità, delegata agli algoritmi

Pubblicato il 21 Apr 2021

Lorenza Saettone

Filosofa specializzata in Epistemologia e Cognitivismo, PhD Student in Robotics and Intelligent Machines for Healthcare and Wellness of Persons

coded bias

Se al Congresso degli Stati Uniti, ma anche in Francia, Regno Unito e Australia, si sta discutendo una legge che incoraggi l’inclusione tecnologica e il tema delle discriminazioni dell’intelligenza artificiale è sempre più dibattuto non solo tra gli addetti ai lavori, è anche grazie a donne come Joy Buolamwini e Shalini Kantayya, rispettivamente protagonista e regista del documentario Coded Bias di Netflix.

Sono loro che hanno contribuito a portare sotto gli occhi del mondo che i bias dell’intelligenza artificiale altro non sono che i nostri bias, una metafora di noi stessi e delle ingiustizie che continuiamo a perpetrare e che la strada verso un’IA imparziale e giusta è ancora lunga perché siamo noi a non essere abituati all’etica e alla tolleranza.

Joy, Shalini e i pregiudizi dell’intelligenza artificiale

Joy Buolamwini è informatica del MIT Media Lab, donna, di origini ghanesi: ha fondato l’Algorithmic Justice League, un’associazione che si occupa di controllare le ingiustizie perpetrate dall’Intelligenza Artificiale ed è nota perché fu lei, nel 2018 a firmare lo studio sui pregiudizi del facial recognition. Gli algoritmi, appurò Buolamwini, codificando i bias tipici della nostra società patriarcale e razzista, finiscono per prendere decisioni di importanza cruciale ai danni dei soliti esclusi.

Gender Shade, il nome del paper, è stato la scintilla (insieme allo scandalo suscitato dall’omicidio di George Floyd) che ha portato IBM e Microsoft a bloccare la vendita di sistemi di riconoscimento facciale alle forze dell’ordine, spingendo poi le grandi aziende di tecnologia a migliorare i propri AIS, autonomous and intelligent system, includendo gruppi etici all’interno del proprio team di ingegneri.

La ricercatrice è inoltre ispiratrice e protagonista del documentario, Coded Bias, diretto da Shalini Kantayya. Il film esplora le storie di pregiudizi che il machine learning implementa e utilizza ogni istante.

How I'm fighting bias in algorithms | Joy Buolamwini

How I'm fighting bias in algorithms | Joy Buolamwini

Guarda questo video su YouTube

Coded Bias

Come ammette la stessa regista Shalini Kantayya, Coded Bias ha ricevuto un’ondata di riconoscimenti estremamente positivi da esperti e pubblico. È il segno che ogni cittadino digitale sia unito nel pretendere risposte dalle Big Tech. È necessaria una regolazione che impedisca le ingiustizie attuate dal machine learning.

Il docufilm inizia raccontando l’episodio che avrebbe portato la ricercatrice Buolamwini a indagare e approfondire gli errori dell’IA. L’ingegnere scoprì che l’algoritmo non la riconosceva, come se il suo viso di donna di colore fosse invisibile anche per la macchina. Una maschera bianca, anonima, ma bianca, era invece isolata dal sistema di riconoscimento. Il perimetro, i tratti erano una metrica a cui associare un’identità, mentre l’identità di una donna di colore per l’algoritmo non esisteva.

Il sistema di riconoscimento è costruito sui nostri dati, pertanto la rete artificiale apprende la storia del nostro razzismo e sessismo. Per valutare l’accuratezza del modello, vengono somministrati esempi non inclusi nel dataset di training. Il problema è che nessuno si è mai interrogato se la mole immensa di dati, sia quella impiegata come allenamento sia quella utilizzata per la validazione, fosse effettivamente “buona”, rappresentativa e priva della nostra disumanità.

Come il test di Turing non serve a decidere se una macchina pensi, ma valuta la simulazione di un processo umano, anche in questo caso l’IA non deve essere intesa come uno strumento capace di decidere, ma una metafora di noi stessi.

L’Intelligenza artificiale è un ritratto in itinere, uno specchio rotto, dove la venatura che vediamo è sempre una ruga sulla nostra faccia. Non serve a riconoscerci, siamo noi che dobbiamo riconoscerci in essa. L’AI ci deve servire da monito. “Guardati e vergognati! Sei tu, sia l’intelligenza sia l’artificialità”. In effetti se qualcosa è ‘artificiale’ deve esistere un essere umano come causa efficiente del suo esistere. La rete è artificiale perché un individuo l’ha creata, quindi l’artificialità è dell’uomo e non dell’oggetto. Soprattutto, poi, l’intelligenza è solo statistica applicata alla nostra di coscienza misurata in Big Data. L’intelligenza della rete connessionista è dell’uomo non della macchina.

Dunque, l’utilità dei sistemi autonomi è farci riflettere su chi sia l’essere umano. Forse non servono a decidere al posto nostro. Sono una fotografia con cui poterci giudicare con obiettività.

Prima facie non ci riconosciamo nell’IA. Ed è proprio per questo che possiamo essere distaccati nel giudizio, indignandoci per la cattiveria e la responsabilità apparentemente non nostre. La macchina non siamo immediatamente noi, è come se potessimo distanziarci e guardarci con l’occhio severo con cui giudicheremmo l’altro. Spesso neghiamo che il sessismo esista, sostenendo sia un fatto ormai superato. Tuttavia, se le macchine sono ingiuste è solo perché abbiamo prodotto dati che insegnano questo. L’IA non ci lascia scampo: è la prova fattuale che continuiamo a riproporre le solite iniquità. Fare la morale all’Intelligenza Artificiale è farla a noi.

Intelligenza artificiale e i volti del razzismo: così la tecnologia eredita i nostri difetti

Esempi di bias dell’intelligenza artificiale

Il facial recognition è inserito in contesti plurimi: nel reclutamento di nuovi impiegati, nel sistema assicurativo, nella sicurezza, nella scuola, nell’analisi diagnostica, nella selezione di contenuti del web. In tutti i contesti le minoranze vengono male interpretate, subendo di fatto gravi ingiustizie. È segregazione, subdola, perché la macchina ha l’appeal di sembrare super partes. È il nuovo ipse dixit: il computer ha ragione perché è un computer. Eppure, ogni aspetto della macchina è una rappresentazione dell’essere umano, con tutte le sue parzialità.

Amazon, nel 2014, ha realizzato un algoritmo per valutare i curricula di possibili candidati. Nel 2015 è emerso che la rete artificiale aveva scartato tutte le donne e tutti i resume contenenti il termine, ad esempio, “femminile”. Quindi se un individuo avesse fatto parte di un’associazione per i diritti della donna, l’intelligenza artificiale lo avrebbe immediatamente scartato per la parola “donna”. Da dove arriva questa ingiustizia? Da noi? Ebbene sì, perché il dataset preso a modello erano i vecchi curricula analizzati dall’ufficio di risorse umane. Siccome il 60 percento dei dipendenti di Amazon nel settore tecnologico era di sesso maschile, la rete aveva imparato che le donne non erano adatte al ruolo. Una cattiva generalizzazione? In realtà per nulla.

Kriti Sharma, ingegnera indiana, esperta di machine learning, in un TEDx ha raccontato la sua esperienza nei forum online. Quando entra con il suo nome e la sua faccia, rispondendo a domande di intelligenza artificiale, le viene quasi sempre chiesto che referenze abbia.

How to keep human bias out of AI | Kriti Sharma

How to keep human bias out of AI | Kriti Sharma

Guarda questo video su YouTube

All’opposto, quando dà le stesse identiche indicazioni informatiche ma con un account privo connotazioni di genere nessuno le ha mai chiesto di certificare le proprie competenze. Le donne vengono pagate globalmente meno di un uomo e faticano a ottenere posizioni lavorative di rilievo. La somministrazione di contenuti e di annunci lavorativi tradisce noti pregiudizi di genere che legano la femmina al suo utero. La donna è madre, per questo può essere interessata a un lavoro da infermiera o educatrice. Hai trent’anni? La procreazione è una possibilità di cui il datore deve tenere conto. Hai vent’anni? Il datore di lavoro forse spera nella bellezza dell’asino, ma solo per una mansione da segretaria: vicina ma non troppo alla sedia di pelle umana di Lup Mann.

Non è solo una questione di advertising e mondo del lavoro, il pregiudizio si ripercuote anche nella sanità e nei servizi assicurativi. In America era stato creato un sistema che avrebbe dovuto prevedere quali pazienti avessero probabilmente avuto bisogno di sostegno medico extra. La rete anche qui ha escluso i pazienti di colore, perché erano state utilizzate le vecchie spese sanitarie come dati da cui fare inferenze statistiche. Il problema è che non si contava il fattore reddito associato al colore della pelle. I neri sono per lo più esclusi da posizioni lavorative di un certo calibro. Significa che è più probabile che anche se ne avesse bisogno, un paziente povero non spenderebbe ulteriori soldi per cure mediche.

Non solo, nella sanità è emerso un altro dato preoccupante. Siccome il riconoscimento facciale è fallibile con gli individui afroamericani, sbaglia frequentemente anche nell’identificare eventuali malattie se il paziente è di colore.

Bisogna rendere responsabili i responsabili

Di chi è la responsabilità? È come se avessimo delegato la colpa di essere razzisti e sessisti alle macchine, svincolandoci dall’obbligo di rendere conto di questi sbagli. Non è stato inventato un modo che alleggerisse il lavoro all’uomo. Piuttosto è come se il sistema automatico permettesse di essere ingiusti a cuor leggero.

Poiché i dati su cui si addestra la macchina sono i nostri, dovremmo noi rispondere di quelle ingiustizie. Come il genitore è responsabile per il figlio minorenne, ancor di più per AIS ognuno dovrebbe essere chiamato a rendere conto dei big data che produce e che imbeve di meschinità.

Anche gli ingegneri che selezionano i pattern per rendere funzionante il machine learning devono risponderne. Perché un dato di per sé è nulla, la categoria sotto cui viene letto dipende da una scelta umana precedente. Non è possibile eliminare il pregiudizio umano, ma si può fare in modo di ridurre quello lesivo. La consapevolezza del malfunzionamento dell’intelligenza artificiale e leggi che puniscano i responsabili possono essere un inizio.

Nel Congresso degli USA si sta discutendo per una regolazione che impedisca il perpetuarsi di simili ingiustizie. Come viene fatto notare nell’articolo del MIT è importante includere commissioni nell’azienda che si occupino di individuare pregiudizi etnici e di genere nei propri algoritmi, ma non basta: servono norme perché gli algoritmi non favoriscano più fake news.

Sembra che le big tech stiano correndo ai ripari solo per avere un “a norma”, l’imprimatur per non avere grattacapi dopo che la legge sui pregiudizi verrà approvata. È come quando un negozio fa costruire il bagno per i disabili solo per non avere multe, ma se non ci fossero regolamentazioni nessuno penserebbe di investire rendendo la toilette inclusiva.

Non solo, i social network si nutrono di “engagement”, di diffusione su larga scala: clickbait è sinonimo di titolo volutamente incredibile perché ciò che non è credibile attira click. La rabbia è ciò che motiva le persone a condividere.

Dalle emozioni al sentiment analysis: come e perché un contenuto diventa virale

Insomma, i proprietari delle piattaforme online hanno tutto l’interesse che i movimenti sensazionalistici, che il complottismo e la disinformazione popolino il web. È per questo che non si stanno prendendo mosse utili per contenere la diffusione di fake news, nonostante promuovano effetti reali e aberranti come le violenze nel Myanmar. Anche in epoca predigitale, il nazismo o il genocidio degli armeni sono stati figli di distorsioni. La propaganda ha sempre narrato menzogne spacciandole per verità. Solo in questo modo l’odio accumulato dalla popolazione viene incanalato verso qualche capro espiatorio. La costruzione del nemico è un processo teso sempre alla ricerca di giustificazioni con cui non sentirsi cattivi a odiare qualcuno.

Conclusioni

Insomma, perché essere etici online? Perché è importante che anche sui social network si controllino post e commenti? Per impedire che il flame diventi una verità con cui giustificare nuovi genocidi e perché l’intelligenza artificiale venga addestrata con dati gentili. Essere etici perché ne va delle stesse decisioni automatizzate. Facciamo in modo che l’intelligenza artificiale apprenda punti di vista, descrizioni del mondo prive di ingiustizie, attraverso Big Data che abbiano misurato la migliore versione della nostra umanità.

Se aveva ragione Aristotele, la virtù è un esercizio di virtù, è un abito che si impara a indossare. Se educhiamo la rete artificiale alla tolleranza, mettendo in atto comportamenti online virtuosi, anche noi alla lunga verremo educati dal nostro esercizio e verremo ripagati da algoritmi di intelligenza artificiale che codificano l’imparzialità e la giustizia. È Karma? Comportarsi bene per avere del bene.

Valuta la qualità di questo articolo

La tua opinione è importante per noi!

EU Stories - La coesione innova l'Italia

Tutti
Social
Iniziative
Video
Analisi
Iniziative
Al via il progetto COINS
Eventi
Un nuovo sguardo sulla politica di coesione dell'UE
Iniziative
Parte la campagna di comunicazione COINS
Interviste
Marco De Giorgi (PCM): “Come comunicare le politiche di coesione”
Analisi
La politica di coesione europea: motore della transizione digitale in Italia
Politiche UE
Il dibattito sul futuro della Politica di Coesione
Mobilità Sostenibile
L’impatto dei fondi di coesione sul territorio: un’esperienza di monitoraggio civico
Iniziative
Digital transformation, l’Emilia-Romagna rilancia sulle comunità tematiche
Politiche ue
Fondi Coesione 2021-27: la “capacitazione amministrativa” aiuta a spenderli bene
Finanziamenti
Da BEI e Banca Sella 200 milioni di euro per sostenere l’innovazione di PMI e Mid-cap italiane
Analisi
Politiche di coesione Ue, il bilancio: cosa ci dice la relazione 2024
Politiche UE
Innovazione locale con i fondi di coesione: progetti di successo in Italia
Iniziative
Al via il progetto COINS
Eventi
Un nuovo sguardo sulla politica di coesione dell'UE
Iniziative
Parte la campagna di comunicazione COINS
Interviste
Marco De Giorgi (PCM): “Come comunicare le politiche di coesione”
Analisi
La politica di coesione europea: motore della transizione digitale in Italia
Politiche UE
Il dibattito sul futuro della Politica di Coesione
Mobilità Sostenibile
L’impatto dei fondi di coesione sul territorio: un’esperienza di monitoraggio civico
Iniziative
Digital transformation, l’Emilia-Romagna rilancia sulle comunità tematiche
Politiche ue
Fondi Coesione 2021-27: la “capacitazione amministrativa” aiuta a spenderli bene
Finanziamenti
Da BEI e Banca Sella 200 milioni di euro per sostenere l’innovazione di PMI e Mid-cap italiane
Analisi
Politiche di coesione Ue, il bilancio: cosa ci dice la relazione 2024
Politiche UE
Innovazione locale con i fondi di coesione: progetti di successo in Italia

Articoli correlati