Supponiamo di aver addestrato un sistema per fare diagnosi mediche. Il sistema, perfettamente addestrato, ha dei valori specifici di recupero e precisione. Recupero: di tutte le malattie che sono state esaminate, quante ne ha riconosciute? Precisione: di tutte quelle identificate come malattie, in che percentuale lo erano realmente?
Precisione e recupero sono una coperta corta. Non dipende da una “calibrazione” della macchina, non è un errore intrinseco. È una questione di proprietà statistiche.
Medici, macchine e previsioni errate
Sappiamo che il sistema, perfettamente addestrato, farà previsioni errate.
Naturalmente, anche un medico specialista fa previsioni errate. Per questo motivo le sue previsioni sono secondo scienza e coscienza, seguono un percorso decisionale e a volte può essere chiamato a motivare le sue decisioni.
Ora supponiamo di fornire la macchina diagnostica al medico, in “supporto” al suo lavoro.
Aumenterà enormemente la sua produttività in quanto le macchine possono scalare in velocità e quantità a livelli che un essere umano non può raggiungere. Ma quando fanno una previsione, non possono spiegare perché.
Supponiamo ora che la macchina faccia una previsione che differisca dall’opinione del medico. Cosa farà il medico?
In ogni caso, a mio avviso, l’incentivo per il medico è quello di confermare la previsione della macchina, anche se contraddice la sua stessa opinione.
La natura probabilistica dei risultati della macchina
Si potrebbe sostenere che potremmo semplicemente riconoscere legalmente la natura probabilistica dei risultati della macchina, fornendo così ai medici un modo per tutelarsi se contraddicono la macchina. Ma sarebbe davvero un incentivo per un’analisi approfondita da parte del medico? Non credo proprio. Sarebbe solo meno fastidioso e più veloce concordare con la macchina.
Un comportamento simile lo vediamo già oggi con i tecnici che svolgono esami di laboratorio, anche se in quei casi la predizione errata è segno di una macchina difettosa, ad esempio per una taratura errata (in alcuni casi la taratura viene verificata quotidianamente).
Ora supponiamo che ci sia un paziente con una grave malattia acuta.
- Supponiamo che la macchina faccia la previsione corretta, il medico commette un errore e la sua decisione è quella finale. Il paziente peggiora e il medico è chiamato a giustificarsi. Perché il medico ha ostinatamente preso quella posizione? Anche la macchina indicava che c’era una patologia!
- Supponiamo che la macchina faccia la previsione sbagliata e che il medico, intimamente non concordando, si conformi comunque alla previsione della macchina. Il paziente peggiora e il medico è chiamato a giustificarsi. Perché il medico ha confermato la previsione della macchina? Non ha riconosciuto i sintomi? Può sempre sostenere che in scienza e nella coscienza non li considerava sufficienti per contraddire la macchina.
Previsione della macchina e posizione del medico
In entrambi i casi, la posizione del medico è più difendibile se è conforme alla previsione della macchina, anche se la pensa diversamente, anche se il medico sa che la macchina produce false previsioni. In ogni caso, può alzare le mani e dire “anche la macchina ha confermato questo”.
La conclusione ovvia è che i medici tendono a divenire ridondanti, che un certo livello di rischio (dovuto al recupero/precisione di IA) è inevitabile e che dovremmo convivere con esso.
Il poisoning delle previsioni
Ora supponiamo di alterare consapevolmente alcune delle previsioni della macchina (tenendone traccia) e di informare il medico che alcune delle previsioni che gli vengono comunicate, sono in realtà l’opposto di ciò che la macchina ha realmente determinato (ovviamente non sa quali). Chiamo queste previsioni “poisoned” (avvelenate) e quelle non poisoned le definisco “sincere”.
La macchina fa una previsione, ma al medico viene comunicata una predizione poisoned. La macchina ritiene che ci sia una patologia ma al medico viene detto che la macchina ritiene che non vi sia patologia.
Cosa può fare il medico ora? Quando ritiene che la predizione della macchina sia sbagliata, la confermerà? E se la diagnosi della macchina fosse poisoned? Deve dire quello che pensa veramente, in scienza e nella coscienza.
A questo punto abbiamo una situazione in cui:
- la predizione della macchina è sincera e quella del medico è concordante. In questo caso la diagnosi è confermata.
- la predizione della macchina è sincera e quella del medico è discordante. Il caso è evidenziato ed è richiesta un’altra opinione.
- la predizione della macchina è poisoned e quella del medico è discordante. in questo caso la diagnosi del medico è confermata (prevale sempre il medico).
- la predizione della macchina è poisoned e quella del medico è concordante. Il caso è evidenziato dal sistema e viene avviata la procedura di richiesta di una seconda opinione.
Tale “seconda opinione” potrebbe essere fornita da un medico o potrebbe essere una seconda macchina, non poisoned, con diverso algoritmo e diverso addestramento.
Questo è un semplice esempio di come il concetto di redress by design potrebbe essere implementato tramite il prediction poisoning.
Un singolo medico è un “sistema a parere unico”. Per questo abbiamo inventato il principio “in scienza e coscienza” e tutte le verifiche sulla correttezza dei comportamenti, sul loro auditing, per costruire incentivi tesi ad evitare negligenza e colpa.
Un medico con una macchina è un “sistema a due opinioni” in cui (credo) l’opinione della macchina, come sostenuto sopra, tenderebbe a prevalere. Inoltre, ispezioni e audit potrebbero non essere efficaci su sistemi che non sono in grado di spiegare le loro motivazioni (come fanno gli esseri umani).
L’idea di redress esposta sopra è che quando le opinioni del sistema binario (macchina e medico) sono in disaccordo, deve essere effettuata una terza opinione per risolvere la controversia.
L’atto di “poisoning” ha il solo scopo di tenere i medici attenti, evitando un loro atteggiamento succube o superficiale, in modo che non si limitino ad adeguarsi alla macchina, ma siano in grado di individuare predizioni errate. È cioè solo un mezzo per migliorare l’efficacia nell’individuazione di predizioni errate tramite il coinvolgimento nel sistema binario di una terza opinione.
Medicina, IA e funzioni del medico
Qualcuno potrebbe obiettare che una tale procedura eliminerebbe il beneficio della velocità e dell’aumento di scala consentito dall’applicazione dell’IA. È così solo in parte: poiché il medico sa che le sue previsioni sono soggette ad una procedura di esame assistito dall’IA, può operare ad una velocità maggiore perché la sua attività è aumentata con un sistema di controllo degli errori basato sull’IA. In questo caso si ottiene un risultato auspicabile: le funzioni del medico sono aumentate dall’IA e non sostituite.
Qualcuno potrebbe sostenere che una tale procedura sia costosa. Certamente affidare la diagnosi alla sola macchina, con un controllo superficiale, risulta più veloce e meno costoso.
Il nodo costi-benefici
Alcuni paesi hanno una forte attenzione al rapporto costi/benefici, attenzione che sfocia in decisioni che, dal punto di vista italiano, appare criticabile. Ma per non scadere nelle diagnosi automatiche, in tali paesi si potrebbero prevedere alcune variazioni, ad esempio coinvolgendo i pazienti nella decisione. Supponiamo che la previsione della macchina abbia un livello di confidenza dello 0,65. Prima di richiedere un terzo parere, il medico e il paziente potrebbero avere una conversazione sui costi associati al dissenso rispetto al parere della macchina e sulle ragioni per cui il medico ritenga che il machine learning possa avere portato ad una predizione errata e lasciare che sia il paziente a fornire un consenso informato, dopo aver ricevuto tutte le informazioni dovute.
Un ultimo commento sulla parola “poisoning” che ho scelto per esprimere questo concetto. Può sembrare in qualche modo un termine sgraziato (ancora di più se considerato che l’esempio riguarda la sanità) ma credo che il termine sia abbastanza appropriato in quanto è già usato con un significato comparabile nella sicurezza delle reti (ARP Poisoning e DNS Cache Poisoning).
