il fenomeno

Sanità, così si inganna l’intelligenza artificiale: il pericolo degli “adversarial attacks”

Le reti neurali e il loro utilizzo in campo medico sono messi a rischio dagli adversarial attacks, tecniche che ingannano l’AI e provocano danni al sistema. Vediamo di cosa si tratta e quali sono i rischi

Pubblicato il 03 Apr 2019

Nicola Marino

Direttivo AiSDeT - Associazione italiana di Sanità Digitale e Telemedicina

reti neurali - machine learning - GPT-3

L’utilizzo dell’intelligenza artificiale apre rischi, non solo importanti opportunità, in campo medico. Alcuni di questi rischi sono associati al fenomeno noto come “adversarial example (o attack)”: input fatti apposta per ingannare le reti neurali e quindi portare a esiti, dell’intelligenza artificiale, lesivi per il paziente o altri soggetti del sistema sanitario.

Già oggi, le reti neurali, così definite, sono massivamente utilizzate nel riconoscimento e nell’elaborazione di immagini e del parlato e nella diagnosi medica, come assistenti alla diagnosi nelle forme più diffuse della radiologia, anatomia patologica, dermatologia ed oftalmologia.

Ovvio quindi che l’affidabilità e l’efficacia siano elementi imprescindibili per l’applicazione sempre più diffusa e differenziata di tali algoritmi.

Esaminiamo di seguito alcuni casi che ci fanno comprendere meglio perché, per quanto entusiasmante possano essere le applicazioni dell’informatica, è tuttavia necessario muoversi con estrema cautela partendo dalla ricerca.

Come ingannare le reti neurali

Nel 2014, però, un gruppo di ricercatori di Google e della New York University ha scoperto che era fin troppo facile ingannare le reti neurali convoluzionali – i cui pattern di connettività sono ispirati alla corteccia visiva animale – inducendo delle impercettibili, ma attentamente programmate, modifiche alle informazioni d’ingresso date “in pasto” al sistema.

Gli adversarial example (o attack), così definiti gli input che permettono di ingannare le reti neurali, sono stati studiati dei ricercatori negli anni successivi ed esemplificati in una serie di test.

Tra i primi studi, uno pubblicato nel 2015 descrive una rete neurale addestrata per riconoscere l’immagine di una serie di animali. Quest’ultima, presenta un’accuratezza del 57.7% nel riconoscere una qualsivoglia immagine di panda quando ed essere somministrata come input è proprio un’immagine inerente tale animale. Diversamente, nel momento in cui i ricercatori hanno aggiunto alla stessa immagine un rumore di fondo, impercettibile all’occhio umano, la rete neurale ha dimostrato di riconoscerla un “gibbone” con una fiducia del 99.3%.

Un secondo studio, pubblicato nel 2016 e dal titolo “Accessorize to a Crime”, mostra come reti neurali addestrate per il riconoscimento facciale possano essere ingannate quando ai volti sono aggiunte perturbazioni che non sono altro che occhiali che posseggono sulla loro superficie tonalità di colori e sfumature particolari.

Adversarial example e attacchi black box

Questi, sono solo alcuni dei recenti esempi che fanno intuire come gli adversarial example possono divenire veri e propri attacchi all’architettura delle reti neurali. Ancor più interessante il fatto che gli adversarial example non sono specifici per una singola rete neurale bensì possono essere trasferiti verso reti neurali che svolgono lo stesso compito, ingannando gli algoritmi in quelli che sono noti come “attacchi black-box”, in cui non si ha accesso all’architettura del modello, ai parametri o persino ai dati di allenamento utilizzati per addestrare la rete.

Qual è il nesso di tutto ciò con la medicina? Potreste domandarvi.

Essendo in prossimità di una diffusione massiva dell’uso di reti neurali come strumenti di assistenza alla diagnosi, la presenza di facili ed efficaci metodiche capaci di eludere gli algoritmi o divergere il risultato decisionale da quello corretto dovrebbe farci pensare, poiché queste ultime potrebbero essere estremamente pericolose.

Gli adversarial example in medicina

Ad analizzare la tematica degli adversarial example in medicina è uno studio pubblicato lo scorso 22 marzo su Science, il quale descrive con alcune reali circostanze il pericolo di tali fenomeni per pazienti e medici.

Come detto, tra le applicazioni maggiormente studiate di reti neurali vi è l’analisi di immagini in dermatologia. I ricercatori, nella fattispecie, hanno tentato di ingannare tre classificatori di immagini estremamente precisi che analizzano nevi cutanei, manipolando le immagini con input impercettibili da un occhio umano.

Come mostrato in figura, l’immagine originale del nevo è stata contrassegnata come “benigna” con una confidenza del 99%. Ad essa, successivamente, è stato aggiunto un rumore di fondo impercettibile ma studiato per fornire il massimo “danno”. Il risultato che emerge è un’analisi sulla nuova immagine contrassegnata come “maligna” con una confidenza del 100%.

È importante sottolineare che il disturbo aggiunto all’immagine non è casuale e ha probabilità quasi zero di verificarsi casualmente. Pertanto, tali adversarial example non riflettono il fatto che i modelli di apprendimento automatico sono di per sé imprecisi o inaffidabili, ma piuttosto che anche i modelli altrimenti efficaci sono suscettibili di manipolazione da input esplicitamente progettati per ingannarli.

Ciò che lo studio ha fatto emergere è che questi input manipolativi possono essere maggiormente casuali e probabili rispetto a quanto rappresentato precedentemente. Come mostra la parte bassa della figura, è stato dimostrato che modifiche minime, ma precise, come le rotazione dell’immagine ad un angolo specifico, equivalgono ad efficaci attacchi anche contro le più moderne reti neurali.

Immaginiamo quindi come la casualità con cui un medico impugna la fotocamera possa muovere l’algoritmo dal definire un nevo cutaneo da benigno a maligno.

E’ facile comprendere come l’attenzione che i programmatori ed i regolatori che analizzeranno tali tecnologie prima dell’immissione sul mercato dovrà essere quanto mai elevata. La probabilità che gli algoritmi possano essere ingannati da hacker dediti alla manipolazione di diagnosi e documenti medici è presente ma remota.

Manomissioni e assicurazioni sanitarie

Diversamente, Samuel Finlayson, ricercatore presso la Harvard Medical School e MIT nonché uno degli autori del studio, lancia l’allarme sulle possibili manomissioni da parte di operatori a vantaggio del sistema assicurativo. E’ doveroso ricordare che il problema è maggiormente percepito negli Stati Uniti, dove il Sistema Sanitario si fonda su criteri di natura essenzialmente privatistica.

Gli elementi di difesa nei confronti di questi esempi di vulnerabilità degli algoritmi genetici sono stati studiati e sono principalmente ad appannaggio dell’accuratezza con la quale gli sviluppatori creano e allenano gli algoritmi. In primo luogo, le informazioni date in pasto al sistema per migliorarne le abilità, immagini dermatologiche nell’esempio precedentemente citato, devono essere sempre accuratamente selezionate e non acquisite online da fonti non sicure che potrebbero rendere tali informazioni ingannevoli.

Secondo gli esperti, è anche possibile sviluppare algoritmi evoluti in grado di rispondere correttamente agli attacchi ingannevoli addestrandoli appositamente con esempi di tale tipo, ai quali non vi è possibilità di fronteggiarli a priori. Nel caso in cui il training della rete non sia sufficiente per difenderla da attacchi attacchi ingannevoli è sarà necessario migliorare la configurazione della rete, perché evidentemente passibile di miglioramento.

L’aggiunta di “rumore”, inoltre, è uno dei metodi standard per migliorare la pattern recognition. Quindi una rete che risponde male all’aggiunta di rumore è evidentemente una rete non ottimizzata.

Per quanto scontato, è necessario pensare agli algoritmi di intelligenza artificiale come funzioni paragonabili a quelle umane o superiori, nonostante ciò non si avrà mai un algoritmo perfetto ma sarà necessario puntare a percentuali di successo che siano le massime possibili, tale da sostenere l’intervento medico umano, assistere il personale medico e favorire il rapporto medico-paziente.

In conclusione, possiamo tranquillamente affermare ma anche rassicurare i pazienti che, seppur con a disposizione potenti mezzi, l’arte medica rimarrà frutto dell’intelletto umano.

Valuta la qualità di questo articolo

La tua opinione è importante per noi!

Speciale PNRR

Tutti
Incentivi
Salute digitale
Formazione
Analisi
Sostenibilità
PA
Sostemibilità
Sicurezza
Digital Economy
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr

Articoli correlati

Articolo 1 di 2