Intelligenza artificiale

II medico sarà succube dell’algoritmo? Le tecniche per ridurre il rischio

Un medico con una macchina è un “sistema a due opinioni” in cui l’opinione della macchina tenderebbe a prevalere. Vediamo in che modo si può evitare che i dottori diventino ridondanti, ottenendo al contempo il massimo beneficio possibile dai sistemi di intelligenza artificiale. La tecnica del poisoning

18 Dic 2019
Stefano Quintarelli

Associazione Copernicani

macchine intelligenti

Supponiamo di aver addestrato un sistema per fare diagnosi mediche. Il sistema, perfettamente addestrato, ha dei valori specifici di recupero e precisione. Recupero: di tutte le malattie che sono state esaminate, quante ne ha riconosciute? Precisione: di tutte quelle identificate come malattie, in che percentuale lo erano realmente?

Precisione e recupero sono una coperta corta. Non dipende da una “calibrazione” della macchina, non è un errore intrinseco. È una questione di proprietà statistiche.

Medici, macchine e previsioni errate

Sappiamo che il sistema, perfettamente addestrato, farà previsioni errate.

Naturalmente, anche un medico specialista fa previsioni errate. Per questo motivo le sue previsioni sono secondo scienza e coscienza, seguono un percorso decisionale e a volte può essere chiamato a motivare le sue decisioni.

WHITEPAPER
Banking, come creare valore con l’AI conversazionale
CIO
Finanza/Assicurazioni

Ora supponiamo di fornire la macchina diagnostica al medico, in “supporto” al suo lavoro.

Aumenterà enormemente la sua produttività in quanto le macchine possono scalare in velocità e quantità a livelli che un essere umano non può raggiungere. Ma quando fanno una previsione, non possono spiegare perché.

Supponiamo ora che la macchina faccia una previsione che differisca dall’opinione del medico.  Cosa farà il medico?

In ogni caso, a mio avviso, l’incentivo per il medico è quello di confermare la previsione della macchina, anche se contraddice la sua stessa opinione.

La natura probabilistica dei risultati della macchina

Si potrebbe sostenere che potremmo semplicemente riconoscere legalmente la natura probabilistica dei risultati della macchina, fornendo così ai medici un modo per tutelarsi se contraddicono la macchina. Ma sarebbe davvero un incentivo per un’analisi approfondita da parte del medico? Non credo proprio. Sarebbe solo meno fastidioso e più veloce concordare con la macchina.

Un comportamento simile lo vediamo già oggi con i tecnici che svolgono esami di laboratorio, anche se in quei casi la predizione errata è segno di una macchina difettosa, ad esempio per una taratura errata (in alcuni casi la taratura viene verificata quotidianamente).

Ora supponiamo che ci sia un paziente con una grave malattia acuta.

  • Supponiamo che la macchina faccia la previsione corretta, il medico commette un errore e la sua decisione è quella finale. Il paziente peggiora e il medico è chiamato a giustificarsi. Perché il medico ha ostinatamente preso quella posizione? Anche la macchina indicava che c’era una patologia!
  • Supponiamo che la macchina faccia la previsione sbagliata e che il medico, intimamente non concordando, si conformi comunque alla previsione della macchina. Il paziente peggiora e il medico è chiamato a giustificarsi. Perché il medico ha confermato la previsione della macchina? Non ha riconosciuto i sintomi? Può sempre sostenere che in scienza e nella coscienza non li considerava sufficienti per contraddire la macchina.

Previsione della macchina e posizione del medico

In entrambi i casi, la posizione del medico è più difendibile se è conforme alla previsione della macchina, anche se la pensa diversamente, anche se il medico sa che la macchina produce false previsioni. In ogni caso, può alzare le mani e dire “anche la macchina ha confermato questo”.

La conclusione ovvia è che i medici tendono a divenire ridondanti, che un certo livello di rischio (dovuto al recupero/precisione di IA) è inevitabile e che dovremmo convivere con esso.

Il poisoning delle previsioni

Ora supponiamo di alterare consapevolmente alcune delle previsioni della macchina (tenendone traccia) e di informare il medico che alcune delle previsioni che gli vengono comunicate, sono in realtà l’opposto di ciò che la macchina ha realmente determinato (ovviamente non sa quali). Chiamo queste previsioni “poisoned” (avvelenate) e quelle non poisoned le definisco “sincere”.

La macchina fa una previsione, ma al medico viene comunicata una predizione poisoned. La macchina ritiene che ci sia una patologia ma al medico viene detto che la macchina ritiene che non vi sia patologia.

Cosa può fare il medico ora? Quando ritiene che la predizione della macchina sia sbagliata, la confermerà? E se la diagnosi della macchina fosse poisoned? Deve dire quello che pensa veramente, in scienza e nella coscienza.

A questo punto abbiamo una situazione in cui:

  • la predizione della macchina è sincera e quella del medico è concordante. In questo caso la diagnosi è confermata.
  • la predizione della macchina è sincera e quella del medico è discordante. Il caso è evidenziato ed è richiesta un’altra opinione.
  • la predizione della macchina è poisoned e quella del medico è discordante. in questo caso la diagnosi del medico è confermata (prevale sempre il medico).
  • la predizione della macchina è poisoned e quella del medico è concordante. Il caso è evidenziato dal sistema e viene avviata la procedura di richiesta di una seconda opinione.

Tale “seconda opinione” potrebbe essere fornita da un medico o potrebbe essere una seconda macchina, non poisoned, con diverso algoritmo e diverso addestramento.

Questo è un semplice esempio di come il concetto di redress by design potrebbe essere implementato tramite il prediction poisoning.

Un singolo medico è un “sistema a parere unico”. Per questo abbiamo inventato il principio “in scienza e coscienza” e tutte le verifiche sulla correttezza dei comportamenti, sul loro auditing, per costruire incentivi tesi ad evitare negligenza e colpa.

Un medico con una macchina è un “sistema a due opinioni” in cui (credo) l’opinione della macchina, come sostenuto sopra, tenderebbe a prevalere. Inoltre, ispezioni e audit potrebbero non essere efficaci su sistemi che non sono in grado di spiegare le loro motivazioni (come fanno gli esseri umani).

L’idea di redress esposta sopra è che quando le opinioni del sistema binario (macchina e medico) sono in disaccordo, deve essere effettuata una terza opinione per risolvere la controversia.

L’atto di “poisoning” ha il solo scopo di tenere i medici attenti, evitando un loro atteggiamento succube o superficiale, in modo che non si limitino ad adeguarsi alla macchina, ma siano in grado di individuare predizioni errate. È cioè solo un mezzo per migliorare l’efficacia nell’individuazione di predizioni errate tramite il coinvolgimento nel sistema binario di una terza opinione.

Medicina, IA e funzioni del medico

Qualcuno potrebbe obiettare che una tale procedura eliminerebbe il beneficio della velocità e dell’aumento di scala consentito dall’applicazione dell’IA. È così solo in parte: poiché il medico sa che le sue previsioni sono soggette ad una procedura di esame assistito dall’IA, può operare ad una velocità maggiore perché la sua attività è aumentata con un sistema di controllo degli errori basato sull’IA. In questo caso si ottiene un risultato auspicabile: le funzioni del medico sono aumentate dall’IA e non sostituite.

Qualcuno potrebbe sostenere che una tale procedura sia costosa. Certamente affidare la diagnosi alla sola macchina, con un controllo superficiale, risulta più veloce e meno costoso.

Il nodo costi-benefici

Alcuni paesi hanno una forte attenzione al rapporto costi/benefici, attenzione che sfocia in decisioni che, dal punto di vista italiano, appare criticabile. Ma per non scadere nelle diagnosi automatiche, in tali paesi si potrebbero prevedere alcune variazioni, ad esempio coinvolgendo i pazienti nella decisione. Supponiamo che la previsione della macchina abbia un livello di confidenza dello 0,65. Prima di richiedere un terzo parere, il medico e il paziente potrebbero avere una conversazione sui costi associati al dissenso rispetto al parere della macchina e sulle ragioni per cui il medico ritenga che il machine learning possa avere portato ad una predizione errata e lasciare che sia il paziente a fornire un consenso informato, dopo aver ricevuto tutte le informazioni dovute.

Un ultimo commento sulla parola “poisoning” che ho scelto per esprimere questo concetto. Può sembrare in qualche modo un termine sgraziato (ancora di più se considerato che l’esempio riguarda la sanità) ma credo che il termine sia abbastanza appropriato in quanto è già usato con un significato comparabile nella sicurezza delle reti (ARP Poisoning e DNS Cache Poisoning).

WHITEPAPER
Contact Center, AI e Real Time Analytics: stai adottando l’innovazione in modo corretto?
Big Data
CRM
@RIPRODUZIONE RISERVATA

Speciale PNRR

Tutti
Incentivi
Salute digitale
Formazione
Analisi
Sostenibilità
PA
Sostemibilità
Sicurezza
Digital Economy
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr

Articoli correlati