L’integrazione dell’intelligenza artificiale nei dispositivi IoT sta trasformando il modo in cui monitoriamo il nostro benessere quotidiano. Smartwatch, bilance intelligenti e fitness tracker non si limitano più a raccogliere dati, ma li analizzano e forniscono interpretazioni cliniche sempre più sofisticate.
Tutto molto bello, tutto molto futuristico. Ma c’è un piccolo dettaglio che dovremmo considerare: quanto possiamo fidarci di questi consigli?
Indice degli argomenti
Consigli sulla salute, senza certificazioni adeguate
Una questione che non si affronta molto è che molti dispositivi smart forniscono informazioni sanitarie senza essere certificati come dispositivi medici.
Quando lo smartwatch da 50 euro registra un ritmo cardiaco irregolare, tale da suggerire aritmie o altri problemi, bisogna tenere in considerazione che, probabilmente, questo dispositivo non ha mai superato quei test di validazione clinica che devono invece affrontare i dispositivi medici certificati – i quali, infatti, solitamente costano ben di più. La differenza di prezzo non è casuale: riflette anni di ricerca, test clinici, certificazioni e assunzione di responsabilità legale.
Ma quando l’orologio per il fitness ti suggerisce di consultare un cardiologo, su quali basi sta facendo questa raccomandazione? Quale margine di errore ha? Quanti falsi positivi genera?
Falsi positivi e falsi negativi: una serie di rischi incrociati
La questione dei falsi positivi, ovvero delle allerte di rischio dove il pericolo non c’è, pone problemi particolarmente insidiosi. Quando un dispositivo non certificato segnala un’anomalia che in realtà non esiste, esso può scatenare quello che i ricercatori chiamano cyberchondria, ovvero l’ansia patologica causata da informazioni mediche errate o mal interpretate. Tale fenomeno può portare a una serie di conseguenze a cascata, tra cui visite mediche non necessarie e creazione di stress prolungato. Il problema è inoltre amplificato dal fatto che molti utenti non sono consapevoli dei limiti di accuratezza dei dispositivi IoT, e quindi tendono a trattare le indicazioni ricevute come diagnosi mediche affidabili.
Tuttavia, ancora più pericoloso è lo scenario opposto, in cui, ad esempio, uno smartwatch registra un’attività cardiaca regolare e non rileva delle anomalie potenzialmente fatali. I falsi negativi, infatti, creano un senso di sicurezza fallace: quando un dispositivo non individua un problema esistente, l’utente può essere portato a ignorare sintomi reali o a rimandare controlli medici necessari, confidando nelle rassicurazioni del dispositivo smart. Questa ipotesi è ovviamente più preoccupante perché, a differenza dei falsi positivi che generano ansia immediata, i falsi negativi operano in silenzio e potrebbero portare a ritardare diagnosi assolutamente cruciali.
Bisogna inoltre prendere in considerazione che anche i dispositivi smart che utilizzano l’intelligenza artificiale sono soggetti alle famose “allucinazioni” dell’IA; quindi, a valutazioni errate dei dati che possono portare a conclusioni completamente sbagliate. Gli algoritmi di machine learning possono infatti interpretare erroneamente pattern di dati biometrici, specialmente quando si trovano davanti a situazioni non previste durante la fase di addestramento. Un dispositivo addestrato principalmente su dati di persone giovani e sane, ad esempio, potrebbe fornire interpretazioni scorrette quando utilizzato da anziani o persone con condizioni croniche preesistenti.
Cybersecurity e privacy dei dati
Un altro rischio da prendere in considerazione è quello relativo alla protezione dei dati medicali immagazzinati da questo tipo di dispositivi smart.
Mentre i dispositivi medici sono soggetti a una rigida normativa anche per quanto riguarda la cybersecurity, i protocolli messi in atto per proteggere le informazioni sanitarie e il tracciamento dell’operatività dell’IA (ad esempio, implementando procedure di crittografia avanzata, aggiornamenti regolari dei software e trasparenza relativa alle decisioni prese dall’IA), gli smart objects che non rispondono a questa certificazione restano molto più esposti ad attacchi informatici e furti di dati.
Chi risponde quando l’IA sbaglia nei dispositivi paramedicali?
Dal punto di vista giuridico, l’integrazione dell’IA nei dispositivi IoT apre una serie di questioni complesse anche dal punto di vista legale.
In Europa, il Regolamento sui Dispositivi Medici (MDR 2017/745) stabilisce criteri stringenti per i dispositivi sanitari, tuttavia questi smart objects per il wellness che utilizzano l’intelligenza artificiale si collocano in una zona grigia. Infatti, come abbiamo detto, quando un fitness tracker inizia a fornire interpretazioni cliniche dei dati raccolti la distinzione tra “dispositivo medico” e “dispositivo wellness” diventa particolarmente sfumata. È inoltre abbastanza noto che alcuni produttori commercializzano i loro dispositivi come “wellness” o “fitness” per evitare la regolamentazione ferrea dell’ambito medicale, anche quando di fatto forniscono informazioni e consigli che potrebbero influenzare decisioni sanitarie importanti.
Il Regolamento MDR, infatti, qualifica software e apparecchi come dispositivi medici non tanto in base alla tecnologia, ma in base alla finalità medica esplicita e dichiarata (es. diagnosticare, prevenire, trattare o alleviare una malattia). Tuttavia, quando un dispositivo di questo tipo viene categorizzato nell’ambito fitness e non in quello medicale, di fatto si vanno a ridurre le tutele per gli utilizzatori e anche la questione della responsabilità legale risulta sicuramente più fumosa
Intelligenza artificiale e responsabilità legale
Una delle questioni più complesse legate all’intelligenza artificiale riguarda l’attribuzione della responsabilità quando un algoritmo di IA causa danni o fornisce informazioni errate. Chi è responsabile se un sistema di monitoraggio cardiaco basato su IA non rileva un problema serio? Il produttore del dispositivo? Lo sviluppatore dell’algoritmo? Chi ha fornito i dati utilizzati per l’addestramento?
La normativa esistente sui prodotti difettosi può fornire alcune risposte. Se il danno è causato da un errore di progettazione dell’algoritmo entra infatti in gioco la stessa normativa che protegge i consumatori da oggetti come elettrodomestici pericolosi: a rispondere di eventuali difetti che rendono il prodotto non conforme agli standard di sicurezza è il produttore del dispositivo, che però può rifarsi sul produttore del software o dell’intelligenza artificiale che viene utilizzata.
La questione si complica, però, quando intervengono sviluppatori di software che modificano sistemi di IA preesistenti. Se una software house italiana sviluppa un’applicazione sanitaria basata su un sistema di IA americano e lo modifica sostanzialmente – ad esempio lo addestra su dati specifici o ne cambia il comportamento per applicazioni mediche – secondo la norma europea l’azienda italiana diventa equiparabile al produttore originale, assumendone tutte le responsabilità.
Un altro aspetto di cui tenere conto è il possibile utilizzo improprio da parte dell’utente finale. Se un dispositivo dichiara un’efficacia dell’80% nel rilevare anomalie cardiache, significa che 2 volte su 10 sbaglia. L’utilizzatore non può, quindi, affidarsi al dispositivo come se fosse infallibile, ma deve comprendere i limiti dichiarati e utilizzare il dispositivo come supporto e non come sostituto del giudizio medico professionale.
Le sfide normative dell’IA, dall’industria alla sanità digitale
I problemi che stiamo citando, legati ai dispositivi IoT, si collegano anche alla sfida normativa più ampia che interessa tutti i settori dove l’IA viene integrata, connesso alla difficoltà di regolamentare sistemi che per loro natura si modificano nel tempo. Come membro del gruppo di lavoro che ha appena iniziato a redigere le linee guida per l’applicazione del nuovo Regolamento Macchine, sono testimone diretto di quanto tali questioni siano complesse e urgenti. Il punto del problema è, infatti: come si certifica un sistema che impara e si modifica autonomamente?
I tradizionali processi di validazione e certificazione si basano su comportamenti prevedibili e replicabili. Ma l’AI, per sua natura, evolve e si adatta, rendendo obsoleti i metodi di controllo utilizzati finora.
A mio parere, l’esperienza del settore industriale può offrire spunti interessanti per i dispositivi sanitari. Nel mondo delle macchine industriali, si sta discutendo di approcci che prevedono:
- Sistemi di monitoraggio continuo delle performance degli algoritmi;
- Procedure di “fallback” quando l’IA presenta comportamenti anomali;
- Documentazione dettagliata sui limiti operativi dei sistemi;
- Formazione specifica per gli operatori sui limiti dell’intelligenza artificiale.
Questi principi si potrebbero facilmente adattare anche ai dispositivi wellness, richiedendo ai produttori di implementare sistemi di monitoraggio avanzati e di informare chiaramente gli utenti quando le performance del dispositivo si discostano significativamente dai parametri certificati, oltre che sui limiti di tali dispositivi.
Verso una nuova cultura della sicurezza
L’IA ci impone di modificare radicalmente i nostri schemi di pensiero anche rispetto alla valutazione dei rischi e al loro contrasto. L’obiettivo non deve certo essere quello di fermare l’innovazione tecnologica, ma bisogna stabilire il modo migliore per accompagnarla, creando una nuova e adeguata cultura della sicurezza.
Alcuni punti di partenza potrebbero essere:
- Trasparenza sugli algoritmi: i produttori dovrebbero essere trasparenti sui limiti e sui margini di errore dei loro sistemi AI. Questo non significa necessariamente rendere pubblico il codice sorgente, ma garantire che enti regolatori indipendenti possano verificare l’affidabilità e la sicurezza dei sistemi.
- Nuovi standard di certificazione: è necessario sviluppare protocolli di test specifici per sistemi che utilizzano l’AI, sia in ambito consumer che industriale. Questi standard devono considerare la natura dinamica degli algoritmi di machine learning e prevedere verifiche continue piuttosto che certificazioni una tantum.
- Educazione degli utenti: gli utilizzatori devono avere ben chiaro quando si stanno affidando a consigli generati da AI e quali sono i limiti di questi sistemi.
- Responsabilità condivisa: produttori, enti regolatori e utilizzatori devono essere tutti coinvolti (e responsabilizzati) con l’obiettivo di creare un ecosistema sicuro. Questo richiede lo sviluppo di meccanismi di governance collaborativa che possano adattarsi rapidamente all’evoluzione tecnologica.
