bias e algoritmi

Pregiudizi dell’intelligenza artificiale: cos’è il “redress” e perché riguarda tutti

Nel nostro sistema di valori, una AI usata per fare predizioni che impattano sulla vita delle persone deve prevedere con grande attenzione dei meccanismi di redress degli errori di decisione che sappiamo ci saranno. Ecco perché deve essere la politica a prevedere adeguati sistemi di correzione

09 Apr 2019
Stefano Quintarelli

Associazione Copernicani

structured_data-1080x675

I dati con i quali “nutriamo” i sistemi di intelligenza artificiale incorporano valori e bias (pregiudizi) della società. Se i primi vanno mantenuti, i secondi vanno invece contrastati. Affidare la valutazione solamente ad un sistema statistico li consoliderebbe entrambi. 

Il tema è evidente alle stesse istituzioni europee, come si vede nella recente direttiva copyright, dove si prevede il “redress”, un meccanismo di appello alle autorità per i casi di errata valutazione da parti dei filtri automatici; ossia per i casi in cui i filtri bloccano contenuti legittimi. Ma rischia di essere un debole strumento.

Il punto di fondo è un altro. In una società in cui gli algoritmi tenderanno sempre più a prendere decisioni per nostro conto (si tratti di consigliarci un ristorante, bloccare la pubblicazione di contenuti protetti da copyright o identificare un criminale) è quindi compito della politica, sia essa intesa in senso lato che in quella aziendale, prendere le decisioni sugli obiettivi desiderabili e i fini che l’uso degli strumenti deve avere e prevedere adeguati sistemi di correzione o redress.

Vediamo perché è importante.

Machine learning e predizioni statistiche

Il machine learning, in sintesi, è una tecnica per distillare modelli statistici da grandi quantità di dati. Una volta distillato un modello e validato con dei dati di test, esso viene posto in produzione per generare, a fronte di un nuovo input, una predizione di output.

WHITEPAPER
Coinvolgi i tuoi dipendenti con una formazione che guardi alle loro esigenze, ecco come!
Risorse Umane/Organizzazione
Competenze Digitali

Non si tratta quindi di una programmazione tradizionale con un algoritmo deterministico bensì di una predizione statistica.

Il primo passo nella realizzazione di un sistema è pertanto l’acquisizione di dati annotati di alta qualità. Una volta acquisiti questi dati, essi vengono usati per addestrare il sistema, ovvero per estrarre un modello statistico che ben rappresenti questi dati.

Il fatto che i dati siano di alta qualità, non imprecisi, è quindi estremamente importante. Se non lo fossero determineremmo l’abituale effetto garbage in, garbage out.

Precisione e recupero, una coperta corta

Una volta addestrato il sistema e validato il suo funzionamento con dati di test, possiamo stabilirne la sua bontà tramite due indicatori chiamati precisione e recupero.

Essendo un modello statistico, è certo che talvolta esso sbaglierà le sue predizioni: alcune volte identificherà come positivi casi che sono negativi ed altre volte il viceversa. Avremo cioè dei falsi positivi e dei falsi negativi. La precisione ci fornisce una indicazione della esattezza del modello mentre il recupero ci fornisce una indicazione della completezza. La precisione ci dice cioè tra tutti i casi che abbiamo identificati come positivi, quanti effettivamente lo fossero. Il recupero ci dice, tra tutti i casi positivi che abbiamo esaminato, quanti ne abbiamo riconosciuti.

Ipotizziamo di avere un sistema che predica se una persona sia o meno un criminale. La precisione ci dice tra tutti quelli che abbiamo identificato come criminali, quanti lo erano veramente. Il recupero ci dice tra tutti i criminali che abbiamo visto, quanti ne abbiamo riconosciuti.

Si tratta di una coperta corta: se non ci facciamo sfuggire nessun criminale, è certo che prenderemo nella rete anche molti innocenti. Se non vogliamo incolpare ingiustamente nessun innocente, ci sfuggiranno anche dei criminali.

I paesi più autoritari sono più inclini a massimizzare il recupero, ovvero a non farsi sfuggire nessun criminale, senza una grande considerazione per gli innocenti che finiranno nella rete.

Secondo i valori europei è prioritario che non vengano coinvolti ingiustamente innocenti, anche se ciò comporta che questo sistema non riconoscerà tutti i criminali che incontrerà (si possono usare anche altri sistemi!).

AI, copyright e libertà di espressione: ecco cos’è il redress e perché è importante

Nel dibattito europeo in questo periodo si parla di direttiva Copyright e dell’art. 13, ovvero quello relativo ai sistemi di preventiva inibizione della pubblicazione di contenuti protetti da copyright. Il gestore della piattaforma, per non incorrere in salatissime sanzioni, privilegerà il recupero rispetto alla precisione. Gestirà i sistemi in modo da individuare tutti i casi di violazione, con buona pace di quei contenuti erroneamente ritenuti in violazione.

E’ naturalmente previsto un meccanismo di appello per i casi di errata valutazione (“redress”) presso una autorità designata, ma quanti vi si rivolgeranno?

E quanto sarà efficiente? Questo punto tocca il delicato aspetto del diritto alla libertà di espressione. Ed il fatto è che nemmeno ci accorgeremo di averlo violato, perché i casi non saranno molti e la maggioranza di essi nemmeno verrà segnalata. Anche se nel complesso gli errori di valutazione saranno pochi, per la persona che si vedrà il contenuto censurato, sarà una violazione materiale di un suo diritto. Senza una procedura automatica di redress che contemperi i due diritti (come proposto dall’Associazione Copernicani), la tutela del diritto d’autore prevale sulla tutela della libertà di espressione del singolo.

La discriminazione è sempre dietro l’angolo

E’ importante capire che la discriminazione è sempre dietro l’angolo, anche se i dati sono raccolti con grande accuratezza (e molto spesso non lo sono).

In statistica si usa il termine outlier per indicare dei valori atipici, che si distanziano dalla massa dei dati rilevati. Una società include sempre molti individui che per ragioni diverse possono essere outlier rispetto a determinati parametri. E’ una conquista della società essere inclusiva e garantire pari diritti ed opportunità alle minoranze.

Ha destato sensazione il caso riportato dalle cronache degli studenti tedeschi in visita in Italia bloccati da tre pattuglie della polizia perché una segnalazione li aveva indicati come “sospetti” in quanto nel gruppo erano presenti alcune persone di colore. Questo è il tipo di discriminazione che ci si può attendere da una macchina addestrata sulla base di dati rilevati (erroneamente includendo l’etnia), non da un umano sulla base di valori condivisi.

Nel nostro sistema di valori, una AI che venga usata per fare delle predizioni che impattano sulla vita delle persone deve prevedere con grande attenzione e cura dei meccanismi di redress degli errori di decisione che sappiamo che ci saranno. Sia esso un sistema di rating che ci consente di accedere al credito, di essere assunti, di ricevere determinate cure, di godere di una formazione, di accedere ad una manifestazione sportiva, di poter viaggiare su un mezzo pubblico, di avere un’equa valutazione giudiziaria, ecc..

Nel film “Le idi di marzo” il governatore Morris (George Clooney), candidato alla presidenza degli USA, è contrario alla pena di morte. Un intervistatore gli chiede cosa farebbe se sua moglie fosse assassinata e lui risponde che farebbe in modo di eliminarlo. L’intervistatore evidenzia la contraddizione e Clooney replica che è conscio che commetterebbe un crimine e che andrebbe volentieri in prigione, ma questo non cambia il suo punto di vista sulla pena di morte perché la società deve essere migliore dell’individuo.

Questo è un punto importante: la società deve tendere a degli obiettivi socialmente desiderabili che sono diversi dal comportamento che la società esibisce in un determinato momento o in presenza di una condizione normale. Per questo abbiamo parcheggi riservati per gli invalidi, regole sulle pari opportunità, regole per la non discriminazione. Perché non vogliamo che gli outliers godano di opportunità e possibilità diverse dalle persone che non lo sono.

Perché ciascuno di noi è un outlier, sotto qualche aspetto.

Anche raccogliendo dati annotati perfetti, essi includeranno degli outlier e un sistema probabilistico ci fornirà delle predizioni che non prediranno outliers. Se il sesso fosse uno dei parametri con cui viene addestrato un sistema che stabilisca livelli salariali, visto che nei dati di partenza le donne sono penalizzate, il sistema sarebbe portato a “considerare” che le donne vadano sottopagate.

AI, scientia e sapientia

Un esempio evidente di questi bias impliciti nelle società è rispecchiato dagli strumenti di traduzione automatica con il turco. Questi sono stati addestrati sulla base di documenti bilingue esistenti (leggi, sentenze, wikipedia, ecc.)

Il turco è una lingua senza genere. Se traduciamo in turco “lui è un infermiere” otteniamo “o bir hemşire.” se ritraduciamo in italiano “o bir hemşire” otteniamo “è un’infermiera”. La professione infermieristica, in Turchia, è appannaggio prevalentemente delle donne e questo bias è fissato in documenti incorporati nei sistemi di traduzione automatica. Analogamente il poliziotto è attività che il traduttore automatico ritiene maschile, l’amico è uomo, l’amante è donna, e così via.

Negli scritti di sant’Agostino si sottolinea che esistono due modalità della ragione. La prima è la scientia (Max Horkheimer, il fondatore della Scuola di Francoforte, la chiama “ragione strumentale”). La scientia è la ragione calcolante, la ragione che organizza i mezzi per realizzare i fini. La scientia però non conosce e non comprende i fini dell’azione. Questi fini la scientia li recepisce da un’altra facoltà della ragione, la sapientia. La sapientia è la capacità di vedere i fini dell’azione.

La scientia non basta; ci vuole la sapientia. Anche nell’AI.

WHITEPAPER
Porta il tuo Contact Center ad un livello successivo con speech analytics e sentiment analysis
Intelligenza Artificiale
Marketing
@RIPRODUZIONE RISERVATA

Speciale PNRR

Tutti
Incentivi
PA
Sostemibilità
Analisi
Formazione
Salute digitale
Sicurezza
Sostenibilità
Digital Economy
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr

Articolo 1 di 4