Risolvere i pregiudizi dell’algoritmo, ossia la mancanza di equità che emerge dall’output di un sistema informatico.
È una delle sfide che ricercatori e istituzioni stanno cercando di risolvere in questo periodo, per evitare che la diffusione dell’intelligenza artificiale amplifichi le attuali discriminazioni e diseguaglianze esistenti, soprattutto ai danni di minoranze etniche, donne, poveri.
Le varie forme di discriminazioni
La mancanza di equità descritta nel pregiudizio insito nell’algoritmo si presenta in varie forme, ma può essere riassunta come la discriminazione di un gruppo di persone sulla base di una specifica distinzione categoriale.
Tale pregiudizio assume diverse “forme”, come ad esempio: la discriminazione razziale, la discriminazione in base all’età, la discriminazione di genere ecc.
I problemi al momento sono risolvibili. Ma si può solo immaginare cosa potrebbe succedere tra qualche decennio se i sistemi robotici avanzati iniziassero a “governare” le comunità, a decidere quali individui sono pericolosi, quali curare, a chi concedere un prestito.
Proviamo allora a capire come e dove intervenire prima che sia troppo tardi.
Come si forma il pregiudizio e le soluzioni tentate
Prima di affrontare le soluzioni, è necessario studiare meglio le cause. Il pregiudizio all’interno dei sistemi di apprendimento degli algoritmi e delle macchine emerge come risultato della combinazione di diversi fattori. I modelli di deep learning funzionano in un modo che attinge alle capacità di riconoscimento dei modelli dalle reti neurali. Pertanto, si potrebbe dire che i modelli di deep learning non possono essere direttamente influenzati dal “design”, e qualsiasi emergenza o pregiudizio è esterno all’architettura e al design della rete neurale. Gli output prodotti dai modelli di deep learning e dai sistemi di Intelligenza Artificiale sono semplicemente un riflesso dei training data a cui sono esposti.
I training data sono esempi di categorie previste che vengono alimentate ad una rete neurale. Questi esempi riflettono i dati esposti alla rete neurale quando vengono utilizzati in uno scenario di vita reale. Ci sono due casi nei quali i Training Data possano causare distorsioni degli algoritmi all’interno dei sistemi di Intelligenza Artificiale: “Pregiudizi personali” (Personal bias) dei “raccoglitori di dati” (data gatherers); “Pregiudizi ambientali” (Environmental bias) imposti intenzionalmente/non intenzionalmente all’interno del processo di raccolta dei dati. Consapevolmente o inconsapevolmente, tutti noi abbiamo dei pregiudizi interni che possono essere proiettati nel processo di raccolta dati coinvolto nella costruzione di modelli di Machine Learning. I pregiudizi ambientali potrebbero verificarsi come risultato dell’approvvigionamento locale di Training Data per un sistema di Intelligenza Artificiale che è stato progettato per essere utilizzato su scala globale. Il sistema di Intelligenza Artificiale potrebbe non essere stato addestrato con dati sufficienti che siano rappresentativi dello scenario reale in cui ci si aspetta che operi.
Nel 2015, lo sviluppatore Jacky Alciné scrisse un tweet nel quale esprimeva la sua preoccupazione sull’algoritmo di classificazione utilizzato da Google Photos, il quale aveva erroneamente identificato il suo amico come un gorilla. Google dichiarò di aver risolto il problema in maniera celere. Ma nel 2018, Wired testò di nuovo il sistema, e sembrava che la soluzione di Google fosse solo quella di evitare l’associazione tra alcune etnie di persone con i gorilla e con altri primati. Praticamente la questione sfociò in un “aggiramento” del problema dei pregiudizi degli algoritmi. Si arriva ad aprile 2020 e vi è ancora – per la terza volta in cinque anni – un pregiudizio all’interno di Google Photos. In quest’ultimo caso, è stato dimostrato che se due persone – un asiatico ed un afroamericano – reggono in mano un termometro, l’algoritmo di Google tende a identificare il termometro in mano alla persona afroamericana come una pistola; cosa che non succede con la persona di etnia asiatica.
Le soluzioni
Nel cercare una soluzione al problema, un passo avanti sarebbe l’inclusione del concetto di diversità nelle fasi iniziali di un qualsiasi processo o progetto all’interno dell’Intelligenza Artificiale. Possiamo anche andare indietro nel tempo fino a incoraggiare la diversità nelle istituzioni accademiche. Se vi fossero più persone con background diversi che raccolgono dati e costruiscono sistemi di Intelligenza Artificiale, potremmo vedere l’inclusione di segmenti di dataset che potrebbero essere stati trascurati in precedenza.
Oltre alla discriminazione razziale, si può affrontare un altro genere di pregiudizio. Prendiamo ad esempio lo studio condotto dai ricercatori della Carnegie Mellon University nel 2015 che ha portato alla luce una discriminazione di genere che si è verificata all’interno di Google Ads. Per farla breve, le donne hanno avuto meno probabilità di essere presentate con annunci di lavoro altamente remunerativi rispetto ai loro omologhi maschili. Anche in questo caso, la causa delle discriminazioni all’interno di questi sistemi non può essere direttamente individuata, ma gli sforzi per trovare una soluzione concreta possono essere implementati in tutti i processi associati allo sviluppo di un prodotto di Intelligenza Artificiale. Un buon inizio sarà quello di garantire che i training data siano effettivamente rappresentativi degli scenari pratici in cui questi sistemi di Intelligenza Artificiale vengono utilizzati.
Un’altra soluzione può essere osservata all’interno del settore legale e politico. Ci sono alcuni “organismi” che stanno guidando i legislatori nella direzione di garantire che le misure per ridurre la distorsione degli algoritmi siano una misura obbligatoria, piuttosto che una scelta. Nella maggior parte dei casi, gli ingegneri che stanno costruendo un sistema di Intelligenza Artificiale non hanno un pregiudizio interno intrinseco e un pregiudizio nei confronti di un gruppo specifico di persone.
Tuttavia, a causa della mancanza di “esposizione” ad altre culture, ci potrebbe essere una disconnessione tra la realtà e in cui ci si aspetta che i sistemi sviluppati funzionino e il modo in cui i creatori intendono utilizzarli. L’educazione all’etica all’interno delle aziende e dell’organizzazione è una delle soluzioni per ridurre il pregiudizio degli algoritmi. Educare alle differenze culturali e agli stili di vita diversi può creare una consapevolezza di taluni gruppi all’interno della società che potrebbero essere stati trascurati o addirittura non considerati.
Alcune aziende stanno compiendo sforzi attivi all’interno del mondo dell’Intelligenza Artificiale per aumentare l’inclusione dei gruppi sottorappresentati all’interno delle istituzioni accademiche. Ne è un esempio il programma di borse di studio di DeepMind.[1]
I pregiudizi degli algoritmi: il settore sanitario statunitense
È una verità difficile da digerire, ma tutte le persone hanno dei pregiudizi che influenzano i pensieri e le azioni quotidiane. E per quanto ci si possa sforzare, i medici e il personale sanitario in genere non sono esenti da questo fenomeno.
Il cervello umano è costantemente in grado di rilevare i modelli che riguardano il nostro ambiente: è una funzione chiave nel modo in cui gli esseri umani imparano e prendono decisioni. Ma gli esseri umani sono imperfetti. Alcune delle informazioni che le persone assorbono, perpetuano stereotipi negativi basati su attributi come la razza, il genere e l’orientamento sessuale. E questo può avere effetti negativi anche sulla cura del paziente.
La nostra incapacità di individuare le disuguaglianze massimizzando l’uso dei dati e dell’Intelligenza Artificiale può concretizzarsi in un enorme fallimento per il sistema sanitario “globale”. Negli USA se si volesse scoprire quanti centri di risonanza magnetica sono disponibili lo si potrebbe fare facilmente.
Ma quando si cerca di accedere alle informazioni sull’etnia o su alcune caratteristiche sociali attinenti alla salute di un paziente, è facile imbattersi in un “muro”. In pratica, le informazioni che aiuterebbero il medico a capire i bisogni del paziente, l’eventuale disuguaglianza che potrebbe trovarsi ad affrontare e il modo migliore per curarlo sono spesso assenti o molto difficili da reperire. E la pandemia Covid-19 ha fatto luce su questo problema del sistema sanitario statunitense. Quando si studiano i gruppi sociali che sono stati maggiormente colpiti dalla malattia, è chiaro notare come le etnie latino-americane e quelle dei nativi americani hanno subito un forte impatto, soprattutto in relazione all’età e alle condizioni preesistenti.
Le soluzioni
La chiave è rimuovere l’elemento umano – e l’inevitabile pregiudizio ad esso annesso – nell’elaborazione dei modelli. È necessario sfruttare la tecnologia e l’analisi dei dati in modo da poter proteggere l’elemento umano in ambito sanitario. L’ampia implementazione e l’adozione di un “calcolatore di disparità di disuguaglianza” avrebbe effetti sul modo in cui vengono gestiti alcuni gruppi di persone dal sistema sanitario. Questo “calcolatore” potrebbe prendere un insieme di dati demografici e clinici e valutare una serie di variabili per allertare i medici che alcuni individui/gruppi sono ad alto rischio di sviluppo di certe malattie. Affidandoci all’analisi, si può minimizzare lo spazio per il “pregiudizio umano” affidandosi a informazioni oggettive per mostrare dove si trova la disuguaglianza, in modo da poter agire collettivamente nell’interesse del paziente.
Il sistema sanitario statunitense tende a concentrarsi sulla risoluzione dei problemi, come ad esempio l’abbassamento dei tassi di riammissione, la gestione delle prescrizioni di oppioidi e del disturbo da uso di sostanze stupefacenti. I dati sono utilizzati per trovare modelli e gestire gli individui. Tuttavia, spesso non vengono considerate le disparità che si verificano prima che un paziente arrivi in ospedale. Ad esempio, uno studio americano ha riportato che i residenti che vivono in quartieri a prevalenza afroamericana / latino-americana hanno più probabilità di avere un arresto cardiaco fuori dall’ospedale, e hanno meno probabilità di ricevere un pronto intervento rianimazione cardiopolmonare, con conseguente minori probabilità di sopravvivenza. Questo potrebbe essere un buon punto di partenza per affrontare il problema alla radice in modo proattivo, lavorando con la sanità pubblica e rivolgendosi a queste comunità offrendo corsi gratuiti di rianimazione cardiopolmonare.[2]
I pregiudizi degli algoritmi: il settore bancario
Alcune ricerche hanno dimostrato i pregiudizi degli algoritmi non risparmiano nemmeno il settore bancario. Un nuovo rapporto pubblicato dalla società Temenos, che fornisce software per il settore bancario, ha evidenziato come la pandemia di Covid-19 stia intensificando l’uso dell’Intelligenza Artificiale da parte delle banche, con tutti i pro e i contro che questo utilizzo porta con sé. Il rapporto ha affermato che l’Intelligenza Artificiale dovrebbe svolgere un ruolo chiave nel post-pandemia, in quanto le banche guardano alle nuove tecnologie per adattarsi alle mutevoli esigenze dei clienti e a competere con i nuovi operatori del mercato. Temenos ha evidenziato che le banche stanno usando l’Intelligenza Artificiale per elaborare più dati in tempo reale e “imparare” dai comportamenti dei clienti, il che aiuta a ridurre i costi operativi e procede verso la personalizzazione del servizio.
Il rapporto suggerisce che, sebbene la natura dei rischi connessi all’uso dell’Intelligenza Artificiale da parte delle banche non differisca in modo significativo da quelli affrontati da altri settori, se i rischi “prendessero forma” i risultati potrebbero essere dannosi, con conseguenze negative per i consumatori per le istituzioni finanziarie, con una potenziale minaccia per la stabilità del sistema finanziario globale. Il rapporto spiega che alcuni dei rischi includono le “distorsioni” nei dati che vengono immessi nei sistemi di Intelligenza Artificiale. Ciò potrebbe portare a decisioni che svantaggiano ingiustamente individui o gruppi di persone (ad esempio, attraverso il cosiddetto “prestito discriminatorio” o “discriminatory lending”).
Le soluzioni
Escludere gli esseri umani dai processi di Intelligenza Artificiale potrebbe indebolire il loro monitoraggio e potrebbe minacciare l’integrità del modello. Alcuni modelli possono guardare a milioni o a volte miliardi di parametri per raggiungere una decisione, e tali modelli hanno una complessità che molte organizzazioni, banche comprese, non hanno mai visto prima.
In ogni caso le principali sfide di governance per le banche che utilizzano l’Intelligenza Artificiale sono:
- Etica e equità. Le banche devono sviluppare modelli di Intelligenza Artificiale che siano “etici dalla progettazione”. I casi di utilizzo dell’Intelligenza Artificiale e le decisioni dovrebbero essere monitorati e rivisti, e le fonti dei dati dovrebbero essere valutate regolarmente per garantire che i dati rimangano rappresentativi.
- “Spiegabilità” e tracciabilità. Le misure adottate per sviluppare modelli di Intelligenza Artificiale devono essere documentate al fine di spiegare pienamente le decisioni basate sull’Intelligenza Artificiale ai singoli individui che hanno un impatto.
- Qualità dei dati. Gli standard di governance dei dati a livello di banca devono essere stabiliti e applicati per assicurare l’accuratezza e l’integrità dei dati ed evitare distorsioni.
- Competenze. Le banche devono garantire un livello adeguato di competenza in materia di Intelligenza Artificiale in tutta l’azienda in modo da poter costruire e mantenere modelli di Intelligenza Artificiale, oltre a supervisionare tali modelli.[3]
_____________________________________________________________________________
- Algorithm Bias In Artificial Intelligence Needs To Be Discussed (And Addressed). Medium ↑
- Eliminating Medical Bias Starts with Studying Patterns. Becker’s Healthcare ↑
- Data bias, risks inherent in banking AI. Mortgage Business ↑
