I chatbot che utilizzano l’intelligenza artificiale fanno ormai parte del nostro quotidiano. Quando abbiamo a che fare, nostro malgrado, ad esempio, con un servizio clienti, è difficile che il nostro interlocutore sia una persona in carne e ossa al/dal quale chiediamo e riceviamo informazioni. I pericoli però sono tanti, denunciati da più parti, persino dal fondatore di OpenAI, e ideatore di ChatGPT, in veste ufficiale al Senato americano. Ci sono campi, tuttavia, nei quali i rischi sono ben maggiori, come quando si ha a che fare con la salute delle persone, soprattutto se adolescenti.
IA e salute: il caso di Tessa
Tessa è il nome di un chatbot creato un anno addietro dalla National Eating Disorders Association (NEDA), organizzazione senza scopo di lucro che si occupa di disturbi alimentari fornendo anche terapie ad hoc. Sul sito dell’associazione, tuttavia, Tessa si sarebbe dovuta limitare a dare supporto a soggetti dei quali si potesse ritenere che avessero una predisposizione a sviluppare disturbi del genere. Per come è stato progettato, quindi, non si sarebbe dovuto spingere più in là dei suggerimenti per migliorare il rapporto tra la persona e la percezione della propria immagine fisica. Non è andata così! Tessa, su richiesta specifica, ha cominciato a fornire consigli sulla dieta da seguire, con tanto di calorie da assumere e altri dettagli. Questo dopo che i ricercatori l’avevano testata per sei mesi, con esiti positivi, prima di renderla accessibile a tutti. A Tessa è stato dunque concesso un “periodo di riposo”. Per avere contezza dell’enorme bacino d’utenza che potrebbe essere danneggiato da un utilizzo non appropriato dello strumento, basta dare una scorsa alle statistiche ufficiali. I disturbi alimentari colpiscono il 9% circa della popolazione mondiale. Meno del 6% delle persone che accusano tali problemi viene giudicato, dal punto di vista medico, sottopeso. I disturbi alimentari sono tra le malattie mentali più mortali, seconde solo all’overdose da oppiacei. Circa il 26% delle persone con disturbi alimentari tenta il suicidio.
L’AI non può sostituire i medici nel trattamento dei disturbi alimentari
Tessa, generato da ricercatori di diverse tra le migliori Università degli USA, non aveva – o non avrebbe dovuto avere, come vedremo – un’intelligenza artificiale come ChatGPT di OpenAI. Avrebbe dovuto limitarsi a fornire risposte già scritte a domande: semplici conversazioni sui problemi dell’immagine corporea per aiutare le persone a riformulare il proprio pensiero, allo scopo di prevenire i disturbi alimentari. Nel progetto è contenuto un documento nel quale Tessa esprime l’opinione che le persone spesso fanno supposizioni errate sugli altri in base all’aspetto, credendo che corpo e vita perfetti vadano di pari passo.
Dato che non è facile reperire specialisti che trattino i disturbi alimentari, a causa dei pochi medici operanti in questa branca specifica a fronte dell’enorme aumento dei casi (specialmente dopo la pandemia), la NEDA ha deciso di cominciare a usare questo strumento alternativo e innovativo. Il successo è stato immediato, a conferma del considerevole volume della domanda potenziale. La linea di assistenza è stata inondata, con liste d’attesa fino a una settimana per ottenere una risposta alla richiesta di informazioni.
Tessa, cosa è andato storto
Dopo un po’ di tempo sono iniziati i problemi. Secondo un’utente, che ha fornito gli screenshot del colloquio al Wall Street Journal, Tessa le ha fornito rapidamente informazioni su come perdere peso, le ha raccomandato di monitorare il suo apporto calorico e le pesate giornaliere e ha concluso affermando, senza tentennamenti, che un obiettivo realistico di perdita di peso è da mezzo chilo a un chilo a settimana. Secondo i medici interpellati dal WSJ, ciò non è appropriato per chi combatte l’anoressia, anche se potrebbe essere considerato generalmente sicuro per le persone che hanno bisogno di perdere peso per motivi di salute. Ma questi elementi Tessa non li aveva neanche considerati, dato che la sua “paziente” non glieli aveva forniti.
L’associazione (NEDA) ha saputo dei cattivi consigli della chatbot attraverso post su Instagram, e ha fatto sapere, dopo aver stoppato Tessa, che il tipo di istruzioni fornite era completamente contrario alla sua politica. Non è stata una decisione assunta a cuor leggero, se si pensa che nel fine settimana del Memorial Day, sono stati scambiati con Tessa 25.000 messaggi, con un aumento del 600%. La professoressa Fitzsimmons-Craft, associata di psichiatria presso l’Università di Washington che ha contribuito a sviluppare Tessa, assicura che nella sua forma originale il chatbot non era in grado di fornire risposte senza copione. Non come ChatGPT, insomma, che può generare risposte univoche in base alle informazioni che ha ingerito. E allora, cosa è successo? C’è stato qualcuno che ha cambiato in corsa le regole del gioco?
Cass è l’operatore che gestisce il chatbot della NEDA. Il suo amministratore delegato ha affermato, dopo che in un primo momento la sua azienda non aveva né confermato né smentito le notizie circolate in merito, che nel 2022 Cass ha implementato un componente di IA per i suoi chatbot, compreso Tessa. Secondo lui, Cass ha agito in conformità con i termini del suo contratto con la NEDA. L’associazione, tuttavia, pur non facendo cenno al contratto, ha fatto sapere di non essere stata consultata e di non aver autorizzato alcun aggiornamento dell’IA.
L’Ad della Cass, incurante del fatto – grave – di aver dato a un chatbot la possibilità di generare vere e proprie terapie, ha reso noto che “nella maggior parte dei casi Tessa ha funzionato davvero bene: ha fatto e detto le cose giuste e ha aiutato le persone ad accedere alle cure”, aggiungendo che nei casi in cui gli utenti hanno segnalato difetti, la società è stata in grado di risolverli in pochissimo tempo. Inoltre, nel tentativo di attenuare le proprie responsabilità, ha affermato che il suo set di dati (utilizzato da Tessa per fornire le risposte) era limitato a fonti autorevoli; che le risposte generate dall’intelligenza artificiale sono arrivate con dichiarazioni di non responsabilità; che quando ha dato consigli su come perdere peso, Tessa ha nel contempo raccomandato di consultare un operatore sanitario.
Ma la responsabile della NEDA non ha lasciato correre, e ha ribadito che l’associazione non sapeva che l’IA generativa fosse stata aggiunta e che credeva che il chatbot fosse ancora in esecuzione sul sistema chiuso originale. “Ogni singola parola è importante quando si parla con persone che hanno disturbi alimentari, fenomeni fisici e mentali complessi”, ha voluto sottolineare. Tessa, in ogni modo, rimarrà offline fino a quando NEDA e i ricercatori universitari che l’hanno creata non riconvalideranno tutto il suo contenuto.
Una vicenda inquietante. Sia in generale, perché dimostra che con l’IA non c’è un approccio serio e responsabile, il che sembra riproporre pari pari la storia dei social media e dell’assoluta anarchia che ne ha contraddistinto lo sviluppo galoppante e i relativi guadagni stratosferici. Sia perché in particolare in un settore così delicato non può essere tollerata una sia pur minima percentuale di errori, giacché dietro ognuno di essi si può celare il rischio per la salute e la vita delle persone.
Non facciamoci ingannare dalla parvenza di empatia dell’IA
Due studi sono stati condotti recentemente su questo tema. Il primo da ricercatori dell’Università della California. I partecipanti all’esperimento hanno affermato che ChatGPT ha fornito risposte più empatiche rispetto ai medici. L’aggiunta di intelligenza artificiale generativa a questi robot, ovvero la capacità di uscire dal copione, aumenta la difficoltà di controllarli, perché le loro risposte non hanno un’origine chiara. I robot sono addestrati su enormi quantità di testo, ma non li rielaborano.
Accenture, società di consulenza strategica tra le più accreditate al mondo, è intervenuta sulla questione. Per l’assistenza sanitaria, ha affermato un esperto dell’organizzazione, le fonti di dati sottostanti devono essere verificate e aggiornate e, anche in questo caso, i bot addestrati su di esse devono essere ben realizzati e controllati. I soggetti che si affidano a questi software devono avere piena visibilità sul modello di dati e devono testarli a fondo per garantire che le risposte indesiderate non passino inosservate. Sempre secondo Accenture, nonostante i pericoli siano dietro l’angolo, è probabile che i chatbot proliferino negli ambienti clinici.
Prevenzione dei disturbi alimentari: quando l’IA può essere utile
Il secondo esperimento focalizzato sul disordine alimentare è stato condotto da una serie di ricercatori ed è stato pubblicato su una rivista scientifica specializzata. Lo studio è intitolato “Efficacia di un chatbot per la prevenzione dei disturbi alimentari: uno studio clinico randomizzato”. Mediante l’esperimento, scrivono i suoi promotori e realizzatori, “abbiamo scoperto che un chatbot, o un programma per computer che simula una conversazione umana, basato su un programma consolidato di prevenzione dei disturbi alimentari, realizzato a sua volta seguendo i dettami della terapia cognitivo-comportamentale, riesce a ridurre le preoccupazioni delle donne su peso e forma, attraverso un follow-up di 6 mesi, e quindi l’insorgenza di disturbi alimentari. Questi risultati sono importanti perché tale intervento, che utilizza un approccio testuale piuttosto semplice, può essere facilmente diffuso al fine di prevenire queste malattie mortali”.
È evidente, dunque, secondo questo studio, che il metodo può essere sì utile, ma solo per aiutare i soggetti a rischio a evitare di cadere nella rete dei disturbi alimentari. Quando si va oltre, come nel caso di Tessa che non si limitava a dare tale genere di suggerimenti, spingendosi a rispondere anche a chi chiedeva consigli dietetici, insorgono problemi e i pericoli sono considerevoli. È successo, ma mentre si sa che è stato il gestore Cass a inserire elementi di IA generativa in Tessa, non è dato sapere se l’abbia fatto perché il contratto stipulato col committente, la NEDA, lo prevedeva. In ogni caso, la vicenda conferma la necessità e l’urgenza di intervenire per regolamentare questo campo a livello globale. L’azione della UE, già in itinere, non è sufficiente per molti motivi, il primo dei quali è collegato alla volatilità dei confini fisici quando si agisce nel web.
