le domande

IA, l’ottimizzazione predittiva si affianca a giudizio umano e burocrazia: e se li sostituisse?

L’ottimizzazione predittiva ci spinge a chiederci se ogni questione socio-politica può essere matematizzata e se vogliamo che i criteri in base ai quali importanti decisioni su noi stessi e le nostre vite sono prese siano basati su modelli che, per loro natura, non possiamo comprendere e mettere in dubbio

Pubblicato il 19 Apr 2023

Valeria Martino

post-doc presso l’Università di Torino

La legge di Goodhart afferma che quando una misura diventa un obiettivo cessa di essere una buona misura (“when a measure becomes a target, it ceases to be a good measure”).

Così, per esempio, quando le persone sono a conoscenza del fatto che verranno o non verranno assunte sulla base di un responso dato da una Intelligenza Artificiale, iniziano a usare parole chiave per ottenere un punteggio più alto: in modo semplicistico, possedere certe caratteristiche diventa l’obiettivo e per questo stesso motivo il fatto di averle smette di essere un buon criterio per giudicare i giusti candidati. Si tratta di comportamenti strategici che non necessariamente sono espressione della volontà di truccare le carte, ma al contrario esprimono il nostro modo normale di comportarci, quando sappiamo di dover essere giudicati.

What is Predictive Modeling and How Does it Work?

What is Predictive Modeling and How Does it Work?

Guarda questo video su YouTube

Naturalmente, lo stesso potrebbe dirsi dei casi in cui a giudicare è un essere umano, che anzi potrebbe essere guidato da pregiudizi profondi e gravi verso determinati gruppi di persone. Il livello di complessità del processo, però, sembra essere differente nei due casi. E il comportamento strategico esplicito può avere delle ricadute socioeconomiche tutt’altro che irrilevanti.

Se l’IA decide delle nostre vite: l’ottimizzazione predittiva

Quando allora questo tema diventa cogente? Per esempio, quando IA e Machine Learning (ML) sono applicate massicciamente per prendere delle decisioni che ci riguardano nella nostra vita quotidiana, o da cui potrebbero addirittura dipendere le nostre vite (per esempio, nel caso di decisioni mediche, che riguardino la nostra probabilità di morire entro un certo lasso di tempo da un intervento e che quindi facciano sì che l’intervento stesso ci venga negato).

In questi casi, si parla di ottimizzazione predittiva – o così la definisce un gruppo di studiosi di Princeton che ha svolto un importante compito di rassegna delle pubblicazioni sul tema e sulle sue applicazioni realmente esistenti ed effettive (Wang, Kapoor, Barocas, Narayanan 2022, rev. 2023). L’ottimizzazione predittiva vuole affiancarsi (ma anche sostituirsi) ai due modelli tradizionali di presa delle decisioni rilevanti a livello sociopolitico, ovvero il giudizio umano e la burocrazia.

Quando si usa l’ottimizzazione predittiva

L’ottimizzazione predittiva non corrisponde a qualsiasi applicazione di ML o decisione automatica, bensì si dà in casi molto specifici: quando tecniche di ML (1) sono utilizzate per prevedere il futuro (2) e, sulla base di tali previsioni, per prendere delle decisioni che influiscono direttamente sugli individui (3). Una definizione che potrebbe apparire tanto specifica da riguardare solo rari casi, ma così non è. Gli autori ne analizzano 47, utilizzando una serie di criteri valutativi allo scopo specifico di mostrare i limiti di questa applicazione del ML che si vuole dimostrare essere iniqua e, quindi per ciò stesso, illegittima.

ChatGPT, perché ora l’intelligenza artificiale ci stupisce e spaventa

Tra le motivazioni qui più degne di nota ci sono il riconoscimento del fatto che fare buone predizioni non vuol dire ottenere buone azioni (e d’altronde ottenere buone predizioni è di per sé comunque difficile con tecniche automatiche che non riescono a tenere conto di diversi fattori, come il differente valore che gli individui possono attribuire a una soluzione piuttosto che a un’altra e la possibilità di influenzare i propri dati, viziando il procedimento) e il fatto che l’utilizzo di criteri numerosi da parte dei sistemi di ML fa sì che coloro che sono soggetti alle decisioni prese nell’ottica dell’ottimizzazione predittiva non hanno i mezzi per, eventualmente, contestarle.

Black box e algorithmic auditing

Questo fenomeno si lega anche alla questione delle cosiddette black box, recentemente contestate (per esempio da Meredith Broussard, professoressa di Data journalism presso l’Arthur L. Carter Journalism Institute della New York University e autrice del recente libro More than a Glitch) che in una intervista al MIT Technology Review ha affermato di non amare l’espressione “black box” perché fa credere che sia impossibile spiegare i meccanismi di ML, mentre dovremmo mantenere una distinzione tra ciò che non sappiamo e ciò che non possiamo sapere. Inoltre, Broussard sostiene, l’algorithmic auditing, campo di recente sviluppo che consiste nello sforzo di garantire che il contesto e lo scopo delle applicazioni di apprendimento automatico informino direttamente le valutazioni della loro utilità e correttezza, ci insegna come sia possibile interrogarci sulla iniquità e sulle discriminazioni presenti negli algoritmi, ovvero sul potenziale impatto su diritti e interessi degli individui, cercando poi di intervenire per risolvere i problemi esistenti e fare in modo che gli strumenti di apprendimento automatico vengono esaminati tenendo conto del contesto di riferimento. Cfr. Brown, Davidovic, Hasan 2021).

Interessante è il fatto che i sostenitori dell’utilizzo del ML a scopo predittivo abbiano invece affermato (Kleinbern et al. 2015) che poiché molte delle decisioni che vanno prese a livello sociale non sono vere e proprie scelte, ottimizzare le previsioni porterebbe a una ottimizzazione dei risultati. Così, la decisione di prendere l’ombrello prima di uscire di casa dipende solamente da buone previsioni del meteo: se queste sono corrette, la nostra scelta sarà certamente corretta perché il gesto di prendere o non prendere l’ombrello non può influenzare la previsione stessa, né tantomeno il meteo. Ciò che si può contestare, però, è che in ambito economico-sociale le decisioni che vanno prese siano davvero di questo tipo e che, per esempio, invece, non siano riconducibili alla cosiddetta legge di Goodhart di cui abbiamo parlato all’inizio.

Degno di nota è anche il fatto che gli autori stessi riconoscano come i criteri di equità statistica possano solamente indicare la presenza di una ingiustizia e ne siano quindi piuttosto il sintomo. Motivo per cui molte delle questioni andrebbero affrontate non solo criticando l’applicazione dell’ottimizzazione predittiva, ma anche ponendosi domande più generali, sulla struttura sociale in cui tali predizioni sono possibili e sulle possibilità che abbiamo di intervenire su questo livello, sebbene l’articolo non si occupi di questo tema nello specifico.

Explainable AI: come andare oltre la black box degli algoritmi

La questione centrale è che l’ottimizzazione predittiva va ad incidere direttamente su questioni di interesse personale, civile, sociale, rimuovendo paradossalmente la politica dalla elaborazione delle politiche. Certamente, i casi in cui le scelte politiche sono qualcosa di più di una applicazione di regole su criteri prestabiliti e noti sono piuttosto rare, così come la necessità di affidarle a esseri umani ingiusti, corrotti, spinti da interessi del tutto personali, può essere una soluzione poco invitante. Tuttavia, ciò che l’ottimizzazione predittiva ci spinge a domandarci è se ogni questione socio-politica può essere matematizzata e se vogliamo che i criteri in base ai quali importanti decisioni su noi stessi e le nostre vite sono prese siano completamente lasciate a criteri che, per loro natura, non possiamo comprendere e mettere in dubbio.

Bibliografia

Brown, S., Davidovic, J., & Hasan, A. (2021). The algorithm audit: Scoring the algorithms that score us. Big Data & Society, 8(1). https://doi.org/10.1177/2053951720983865.

Kleinberg, Jon, Jens Ludwig, Sendhil Mullainathan, and Ziad Obermeyer. 2015. Prediction Policy Problems. American Economic Review 105, 5 (May 2015), 491–495.

Ryan-Mosleyarchive, Tate. Meet the AI expert who says we should stop using AI so much. The MIT Technology Review, March 10, 2023.

Wang, Angelina and Kapoor, Sayash and Barocas, Solon and Barocas, Solon and Narayanan, Arvind, Against Predictive Optimization: On the Legitimacy of Decision-Making Algorithms that Optimize Predictive Accuracy (October 4, 2022). Available at SSRN: https://ssrn.com/abstract=4238015.

Valuta la qualità di questo articolo

La tua opinione è importante per noi!

Speciale PNRR

Tutti
Incentivi
Salute digitale
Formazione
Analisi
Sostenibilità
PA
Sostemibilità
Sicurezza
Digital Economy
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr

Articoli correlati

Articolo 1 di 4