Banche, i danni dell'intelligenza artificiale: discriminazioni ed errori - Agenda Digitale

l'analisi

Banche, i danni dell’intelligenza artificiale: discriminazioni ed errori

Che l’intelligenza artificiale “soffra” di discriminazione non è una novità. Ma quando la tecnologia può finire per influenzare il buon esito di una richiesta di prestito o mutuo, i danni possono essere irreparabili, soprattutto per categorie già svantaggiate e minoranze. Occorre intervenire subito per evitare derive

20 Set 2021
Marco Martorana

avvocato, studio legale Martorana, Presidente Assodata, DPO Certificato UNI 11697:2017

Zakaria Sichi

Studio Legale Martorana

Cresce l’uso dell’intelligenza artificiale nei processi di erogazione del credito. Vengono utilizzati sempre di più software che processano immense moli di dati non solo nel settore finanziario, ma guardando anche a contesti nuovi come i social. Tuttavia, anche in questo caso, si fanno sentire le “solite” problematiche legate all’equità dei giudizi ed alla precisione dei risultati.

Intelligenza Artificiale e finanza: tutti i trend da tenere d’occhio

Se l’AI guida le banche

Gli esempi di utilizzo dell’intelligenza artificiale (IA) in processi decisionali delicati con conseguenze discriminatorie ormai si sprecano: algoritmi incaricati di decidere quali carcerati hanno diritto alla libertà condizionale che penalizza le persone di colore, programmi per la valutazione di testi narrativi che danno punteggi negativi a determinate frasi ed in particolare quelle di protagonisti che fanno coming out durante il racconto, oppure sistemi di riconoscimento facciale che si dimostrano iniqui e imprecisi quando si tratta di individuare uomini e donne appartenenti alle minoranze etniche.
Il settore finanziario – ed in particolare quello dei mutui e finanziamenti – non è esente né dalle applicazioni dell’IA, né dalle conseguenti disfunzioni.

WEBINAR
27 Ottobre 2021 - 16:30
FORUM PA 2021- Sanità: con i Big Data nuovo modello di salute connessa e predittiva
Big Data
Intelligenza Artificiale

In tutto il mondo, secondo alcune stime, il Fintech lending – ossia il mercato dei prestiti concessi da operatori alternativi alle banche con soluzioni veloci e innovative – avrebbe già raggiunto la somma globale di 500 miliardi di dollari, con un tasso di crescita annuo di circa il 20%.  Una corsa guidata soprattutto da una miriade di nuovi attori che vanno dalle start-up della finanza ai marketplace peer to peer, dai colossi del cosiddetti GAFAM (Google, Amazon, Facebook, Apple e Microsoft) alle emergenti compagnie tech asiatiche (come le cinesi Tencent o Alibaba), a cui si stanno rapidamente aggiungendo anche molte banche  tradizionali, adeguando i propri servizi o alleandosi con le giovani aziende del Fintech.
Dovendo quindi far fronte all’ondata di novità che coinvolge il mondo finanziario, è indispensabile capire come funziona il processo decisionale nell’ambito della concessione di mutui e finanziamenti, e soprattutto quali derive esse provoca nei casi – purtroppo non infrequenti – di malfunzionamento.

L’IA applicata alla concessione dei mutui: l’esempio di Lending DocAI

Quando le tecnologie di intelligenza artificiale vengono applicate agli studi dei dossier allo scopo di decidere sulla concessione di mutui, si parla di algoritmi finanziari, ossia programmi di calcolo che processano le richieste di mutuo o di finanziamento. In buona sostanza, l’IA viene utilizzata per una valutazione (rating) degli individui.
Il rating degli individui nasce negli USA, e consiste nel tracciamento e nella archiviazione delle abitudini finanziarie delle persone, come la puntualità nel pagare le rate delle bollette, dei finanziamenti o dei contratti sottoscritti, ma anche le abitudini di consumo e le preferenze, spesso attraverso i social del richiedente. Tutti questi dati vanno poi a finire dentro una sorta di archivio personale dei clienti chiamato credit history. Una credit history senza note negative e ritardi nei pagamenti rende il cliente più affidabile, meritevole di prestiti, mutui o finanziamenti. L’analisi statistica della credit history permette di determinare il c.d. credit score, ossia un punteggio riassuntivo che rappresenta l’affidabilità e il grado di rischio di un cliente.
Quindi la tecnologia di machine learning permette di “insegnare” ai computer ad analizzare i dati, imparare da essi e fare una previsione sui nuovi dati. Piuttosto che codificare manualmente una serie specifica di istruzioni per eseguire una determinata attività, l’Intelligenza Artificiale viene “addestrata” utilizzando grandi quantità di informazioni per imparare come eseguire l’attività.

Il machine learning, infatti, permette di trovare schemi, tendenze, pattern e correlazioni in dataset di grandi dimensioni.
Ad esempio, ipotizziamo un richiedente con un salario non molto elevato o un lavoro non stabile, con una tendenza a ritardare i pagamenti delle bollette o che ha già un finanziamento in corso per l’acquisto di un bene. Ecco, tutti questi segnali sono statisticamente correlati negativamente con la capacità di ripagare un finanziamento, poiché il credit score degli individui viene tradizionalmente calcolato pesando e stimando tutta una serie di variabili come quelle presentate nell’esempio. In tutto ciò, l’Intelligenza Artificiale è stata scelta per effettuare queste operazioni perché – in astratto – è in grado di creare previsioni, individuando elementi che sfuggono agli esseri umani analizzando grandi quantità di dati provenienti da fonti diverse.

Questo nuovo processo decisionale basato sul calcolo del rischio è recentemente entrato anche nel mondo dei giganti del web. Il colosso statunitense Google, infatti, proprio quest’anno ha lanciato Lending DocAI, il suo primo servizio dedicato al settore immobiliare.

Lo strumento, basato sull’uso dell’intelligenza artificiale, nasce con l’obiettivo di rendere più veloci le operazioni di verifica sulla condizione reddituale e patrimoniale del richiedente, elaborando dati non strutturati attraverso modelli di apprendimento automatico per la trasformazione delle informazioni in modelli accurati, proprio come esposto finora.

Alcuni di questi modelli non sono comunque del tutto nuovi. Google Cloud, infatti, attraverso Document AI, dispone già di uno strumento per eseguire questo tipo di operazioni sui documenti complessi per elaborare ed estrarre i dati. La novità, quindi, è che Lending DocAI è essenzialmente il primo servizio Google Cloud puramente e unicamente specializzato a utilizzare questo tipo di tecnologia nella concessione di mutui.

Bias, carenze e imprecisioni: difetti dell’IA nel settore creditizio

La distorsione dei giudizi nei processi decisionali è uno dei temi caldi quando si parla dell’utilizzo dell’Intelligenza Artificiale, nonché una delle sue principali problematiche. Inevitabilmente, il discorso coinvolge anche le valutazioni in merito all’opportunità di concedere o meno mutui o opportunità di credito.
Ad esempio, storicamente la possibilità di ottenere una casa di proprietà è stata spesso influenzata da fattori come razza, etnia e altri pregiudizi, con o senza processi decisionali automatizzati. Anche nelle aree che sono migliorate, come ad esempio l’Europa, recenti ricerche hanno evidenziato come la riduzione della disuguaglianza razziale nella concessione dei mutui finalizzati all’acquisto di immobili sia lenta, squilibrata e fragile. In particolare, i fenomeni degli ultimi anni come la grande crisi economica iniziata nel 2008 e la recentissima pandemia da Covid-19, hanno ridotto i tassi di proprietà immobiliare ottenuta tramite la concessione di finanziamenti per l’acquisto della casa tra le minoranze, in particolare le comunità latine e nere negli Stati Uniti. In sostanza, gli algoritmi distorcono il processo decisionale automatizzato a svantaggio dei gruppi a basso reddito e delle minoranze. Ad esempio, il software utilizzato dalle banche per prevedere se qualcuno ripagherà o meno il debito della carta di credito in genere favorisce i candidati bianchi più ricchi

Tante persone, quindi, non riescono a ottenere crediti proprio perché non rientrano nella casistica standardizzata prevista dagli algoritmi finanziari, e ciò porta inevitabilmente a soffermarsi sul fatto che nella vita reale esistono situazioni particolari che solo una mente umana, dotata della capacità di individuare tante sfaccettature e di buon senso, può valutare correttamente. Ebbene questo è un problema che sta creando disparità tra le persone provocando danni nel settore finanziario, ma non solo in quello, e che soprattutto ha incentivato molti ricercatori e una serie di start-up a cercare di risolverolo rendendo questi algoritmi più equi.

Ma non possiamo soffermarci solo su questo aspetto, che non è che parte del meccanismo. Infatti, nel più grande studio mai realizzato sui dati sui mutui, gli economisti Laura Blattner della Stanford University e Scott Nelson dell’Università di Chicago, hanno dimostrato che le differenze nell’approvazione dei mutui tra gruppi di minoranza e di maggioranza non sono dovute solo al pregiudizio in senso stretto, ma anche al fatto che minoranze e gruppi a basso reddito hanno meno dati nelle loro storie di credito. Ciò significa che quando questi dati vengono utilizzati per calcolare un punteggio di credito e questo viene utilizzato per fare una previsione sull’insolvenza del prestito, tale previsione sarà meno precisa. È anche questa mancanza di precisione che porta alla disuguaglianza, non solo il pregiudizio. Ciò significa, in una sola frase, che algoritmi più equi potrebbero non risolvere il problema.
A ciò si aggiunge che, quando l’algoritmo comprime una serie di dati socioeconomici, come la storia lavorativa, i dati finanziari e le abitudini di acquisto, li traduce in un unico numero. Questo unico numero dipende dalla quantità e dalla qualità dei dati utilizzati, e porta addirittura a decisioni che coinvolgono non solo le domande di prestito, ma anzi, il credit score viene utilizzato anche per prendere molte decisioni che cambiano la vita, comprese quelle su assicurazione, assunzione e alloggio.

Infine, oltre a una questione di equità e di quantità, incontriamo anche un problema di utilizzabilità. Infatti, secondo i test effettuati dagli economisti Blattner e Nelson, i punteggi di credito non sono solo distorti da bias e scarsità di informazioni sulle minoranze, ma spesso anche dalla loro “rumorosità”, ossia dal loro non essere utilizzabili per fare previsioni accurate. Ciò comporta che l’inesattezza di un risultato a volte derivi dal rumore nei dati piuttosto che dalla distorsione nel modo in cui i dati vengono utilizzati, il che, di nuovo, è un problema che difficilmente può essere risolto creando algoritmi migliori.

Conclusioni

Abbiamo visto i difetti dell’applicazione dell’IA ai processi decisionali che conducono all’approvazione o meno delle richieste di mutuo o di finanziamento, ed abbiamo anche affrontato le ragioni per le quali algoritmi migliori non risolverebbero il problema in maniera definitiva.
Di conseguenza il quesito fondamentale non può che riguardare il come, allora, potrebbe essere elaborata una soluzione a queste problematiche.
Ebbene, si tratta di nuovo di una domanda complicata. Infatti, risolvere il problema non sarà facile. Ad esempio, come affermato dall’avvocatessa e ricercatrice Rashida Richardson, che studia l’interazione tra tecnologia e razza alla Northeastern University, ci sono molte ragioni per cui i gruppi di minoranza hanno dati di credito rumorosi.

Un’opzione a breve termine potrebbe essere che i governi spingano i finanziatori ad accettare il rischio di emettere prestiti ai richiedenti appartenenti a una minoranza che vengono respinti dai loro algoritmi. Ciò consentirebbe ai finanziatori di iniziare quantomeno a raccogliere dati accurati su questi gruppi per la prima volta, il che andrebbe a beneficio sia dei richiedenti che dei finanziatori nel lungo periodo. Alcuni istituti di credito più piccoli stanno già iniziando a farlo, ma senza l’intervento dei maggiori attori del settore è difficile modificare le tendenze.

Ad ogni modo, occorre intervenire per evitare il perpetrarsi delle conseguenze negative delle situazioni fin qui descritte. Si pensi ad alcune comunità che potrebbero non cercare il credito tradizionale a causa della sfiducia nei confronti degli istituti bancari, affidandosi a soggetti poco raccomandabili, non inclini a trattare eventuali posticipazioni dei pagamenti e con tassi d’interesse elevatissimi.

È fondamentale invertire le tendenze ed evitare danni irreparabili su quei giovani che volessero, per esempio, acquistare una casa e creare una famiglia. Si tratta, quindi, di una sfida che può cambiare le sorti di generazioni.

@RIPRODUZIONE RISERVATA

Articolo 1 di 3