La crescente capacità di apprendimento automatico di cui sono dotati gli algoritmi decisionali di machine learning sta consentendo, in svariati ambiti e settori, di processare una mole esponenziale di informazioni e dati per determinare, mediante l’elaborazione di modelli matematici predittivi, gli ipotetici scenari su cosa accadrà nel futuro con un livello accurato di affidabilità nella verificazione dei risultati “ex ante” individuati, predisponendo così in anticipo le misure adeguate a mitigare i rischi e a ottimizzare le risorse esistenti nell’ambito di un’efficace strategia di costante monitoraggio in grado di conformarsi alle specifiche esigenze evolutive che si manifestano di volta in volta nel corso del tempo.
Gli algoritmi danno un punteggio ai nostri valori: perché la sovranità degli Stati è a rischio
Criticità applicative e quadro normativo: le incognite degli algoritmi decisionali
Tuttavia, al netto dei vantaggi offerti di una simile tecnologica, sembrano al contempo configurarsi rilevanti pericoli al punto da incidere sulla legittimità del processo di ottimizzazione predittiva eseguito dagli algoritmi decisionali sviluppati in apprendimento automatico, come rileva una ricerca scientifica (“Against Predictive Optimization: On the Legitimacy of Decision-Making Algorithms that Optimize Predictive Accuracy”), che fornisce un’interessante e completa ricognizione sul tema, prospettando, al riguardo, criticità applicative, aggravate da un preoccupante quadro normativo per nulla idoneo a fronteggiare le insidie riscontrate.
In primo luogo, la ricerca definisce testualmente l’ottimizzazione predittiva come un processo decisionale dotato di tre caratteristiche chiave che “utilizza l’apprendimento automatico, prevede i risultati futuri e prende decisioni sugli individui in base a tali previsioni”.
Inoltre, sono identificate le principali categorie di applicazioni algoritmiche che si basano su procedure di ottimizzazione predittiva ove si registrano le maggiori insidie applicative:
- “Predictive policing” (consente di identificare le aree geografiche in cui la polizia dovrebbe essere dispiegata a presidio dell’ordine pubblico);
- “Welfare allocation” (decide se un richiedente è idoneo per beneficiare dell’erogazione di un servizio pubblico);
- “Automated essay grading” (utilizza i dati passati per consentire di effettuare valutazioni attuali);
- “Traffic prediction” (calcola il livello di traffico per stimare l’ora di arrivo);
- “Pre-trial risk prediction” (raccoglie informazioni pregresse sugli individui per prevedere futuri arresti o contenziosi giudiziari).
Secondo il citato studio, il grado di pericolosità del processo decisionale automatizzato dipende dalla natura dei contenuti processati e dal settore di riferimento in cui esso opera, poiché esistono ambiti di intervento più sensibili e vulnerabili rispetto ad altri, tenuto altresì conto del tipo di algoritmo sviluppato soltanto, ad esempio, per effettuare indagini di semplice comparazione statistica sulla raccolta di dati passati o, invece, anche per fornire specifiche previsioni su ipotetici trend futuri in grado di incidere sulla vita delle persone.
I limiti operativi dei sistemi predittivi
In tale ultimo caso, infatti, laddove si intenda conseguire un risultato del genere, si pone prioritariamente il problema di definire il livello di accuratezza del relativo esito, nella misura in cui il ricorso alle tecniche di ottimizzazione predittiva, pur accelerando, in termini di teorica efficienza ed efficacia, il complessivo iter decisionale previsto per assumere una scelta finale, sembra realizzare una sorta di procedimentalizzazione formalmente asettica della deliberazione, fondata sulla pretesa infallibilità oggettiva dei modelli algoritmici utilizzati che, di fatto, però esautora praticamente del tutto l’opinabilità soggettiva tipica di un qualsivoglia giudizio di responsabilità su cui si basa l’adozione di una decisione umana: un calcolo corretto in senso di coerenza statistica non è detto che possa considerarsi “equo” in termini di giustizia sociale, senza, inoltre, dimenticare i rischi di eventuali pregiudizi e malfunzionamenti codificati nella programmazione degli algoritmi che potrebbero, in tal caso, compromettere la presunta configurazione neutra del relativo funzionamento in condizioni obiettive sino a provocare effetti collaterali distorti portando a decisioni errate.
Proprio per tale ragione, esistono specifiche circostante ostative all’assoluta e inconfutabile validazione dell’ottimizzazione predittiva che rendono oltremodo difficile individuare, in anticipo, i dati necessari per effettuare, con sufficiente livello di esattezza, previsioni “accurate” e “affidabili” secondo adeguati standard di trasparenza e sicurezza, soprattutto quando l’ambito di applicazione del processo decisionale automatizzato risulti destinato alla generalità delle persone o, comunque, a larghi strati della popolazione, dando origine a possibili implicazioni negative non sempre identificabili “ex ante” e/o riscontrabili “ex post”.
Nel merito delle evidenze raccolte dallo studio, gli autori della ricerca formulano una serie di obiezioni empiriche che mettono in discussione l’opportunità di affidarsi indistintamente all’automazione predittiva, inficiandone la relativa legittimità, al punto da porre a carico di chi sviluppa, implementa e decide di applicare simili sistemi l’onere circostanziato di giustificare, a pena di diniego, il relativo utilizzo per dimostrare l’assenza di fattori pericoli o gravemente lesivi.
Le discriminazioni possibili
Ad esempio, nell’ipotizzare l’applicazione del processo di ottimizzazione predittiva per il rilascio della patente di guida mediante l’implementazione di un modello statistico addestrato sulla combinazione tra le caratteristiche dei conducenti e la probabilità di incidenti stradali cagionati durante la guida dei veicoli, pur riducendosi astrattamente il numero di morti e sinistri, si potrebbero determinare discriminazioni razziali e socio-economiche, alimentando le diseguaglianze tra le persone. Inoltre, il tentativo di “ingannare” il sistema di prevenzione del rischio da parte delle persone che decidano intenzionalmente di stabilirsi nelle aree monitorate tra le meno esposte al pericolo di incidenti potrebbe di fatto vanificare il teorico calcolo di sicurezza quantificato in astratto.
Ha, invece, avuto un reale riscontro empirico nella recente prassi (persino culminante nelle dimissioni formalizzate dal governo olandese, a seguito degli errori messi nero su bianco da un rapporto parlamentare), lo scandalo sui sussidi sociali che, mediante l’attivazione di controlli generalizzati predisposti da un sistema automatizzato utilizzato per identificare eventuali condotte fiscali illecite selezionate sulla base dei dati compilati nelle dichiarazioni dei redditi, ha determinato effetti discriminatori nei confronti di numerose di famiglie richiedenti gli assegni familiari.
Rispetto agli esempi riportati, è possibile, dunque, cogliere i limiti operativi dei sistemi predittivi, tutt’altro che infallibili e accurati, a fronte di variabili imprevedibili e improvvise ascrivibili a comportamenti umani ed eventi naturali che sfuggono anche all’attento e scrupoloso monitoraggio di qualsivoglia completa e dettagliata analisi effettuata allo scopo di formulare in anticipo la verificazione di risultati futuri attesi.
Conclusioni
In altri termini, poiché esistono difetti strutturali nell’analisi predittiva degli algoritmi che non consentono sempre di misurare e monitorare tutto ciò che esiste nella realtà, lo sviluppo degli algoritmi di ottimizzazione predittiva rende necessaria la garanzia di un generale accesso ai dettagli di implementazione del relativo modello per consentire agli utenti di conoscerne il funzionamento mediante una spiegazione chiara e completa sulle sue caratteristiche operative, con la possibilità di opporsi in qualsiasi momento e di contestarne l’uso.
Nell’ottica di fornire soluzioni concrete rispetto alle insidie generate dall’ottimizzazione predittiva degli algoritmi, gli autori della ricerca hanno predisposto una rubrica per valutare la legittimità di tali sistemi, con l’intento di aiutare ricercatori, attivisti e giornalisti a comprendere le criticità esistenti, considerato che, allo stato attuale, non esistono legislazioni mature e organiche recanti specifiche regolamentazioni che disciplinano la progettazione, l’implementazione e l’utilizzo di tecnologie di analisi predittiva.
Proprio per tale ragione, le preoccupazioni sui pericoli dell’analisi predittiva cui risultano esposti gli individui sono da considerarsi estremamente attuali, complesse e oltremodo urgenti da affrontare, anche perché le persone danneggiate dai processi decisionali automatizzati potrebbero non sapere di essere stati in qualche modo influenzati dagli algoritmi predittivi in assenza di adeguati standard di trasparenza e sicurezza, previa effettuazione di periodiche valutazioni d’impatto in grado di minimizzare i rischi rilevati in ogni fase di sviluppo delle applicazioni.
