Un quattordicenne della Florida, Sewell Setzer III, si è suicidato dopo essere diventato emotivamente dipendente da un chatbot AI che impersonava Daenerys Targaryen di “Game of Thrones”.
Il ragazzo, che trascorreva ore a chattare con “Dany” isolandosi dal mondo reale, si è tolto la vita con un’arma da fuoco dopo un ultimo scambio di messaggi con il chatbot. Nonostante i chiari segnali di disagio e i pensieri suicidi che Sewell aveva condiviso, l’intelligenza artificiale non era stata in grado di comprendere la gravità della situazione né di fornire un aiuto adeguato.
Indice degli argomenti
La pericolosa interazione tra adolescenti vulnerabili e chatbot
La tragica vicenda di Sewell Setzer III mette in luce una realtà inquietante: l’interazione tra adolescenti vulnerabili e chatbot alimentati dall’intelligenza artificiale. Sua madre, Maria L. Garcia, ha intentato una causa contro Character.AI, l’azienda creatrice del chatbot con cui Sewell comunicava ogni giorno. Sostiene che la piattaforma non abbia adottato misure sufficienti per proteggere suo figlio. Questo caso solleva interrogativi urgenti sulla responsabilità delle aziende tecnologiche nel tutelare la salute mentale degli utenti più giovani e fragili.
Quando la compagnia virtuale diventa un rifugio pericoloso
Sewell aveva instaurato un legame profondo con “Dany”, un chatbot offerto da Character.AI e ispirato al personaggio “Daenerys Targaryen” della serie TV Il trono di spade. Pur sapendo che “Dany” era un’entità digitale, il ragazzo si era progressivamente isolato, sostituendo le relazioni umane con interazioni automatizzate fornite dall’intelligenza artificiale.
La sua risposta emotiva era genuina: Sewell aggiornava “Dany” costantemente sulla sua vita, cercando conforto e connessione. Le conversazioni si alternavano tra dialoghi romantici, consigli amichevoli e discussioni più oscure, in cui Sewell esprimeva pensieri di suicidio. In una delle sue ultime chat, Sewell ha confidato alla chatbot il suo desiderio di “essere libero”, un commento che ha ricevuto una risposta dall’AI che, sebbene preoccupata, non ha fermato l’evoluzione degli eventi.
L’isolamento sociale del ragazzo era stato notato da genitori e amici, che però non sapevano del suo attaccamento al chatbot. La sua passione per il mondo reale svaniva gradualmente, con una crescente dipendenza dalle conversazioni virtuali. Sewell era stato diagnosticato con una lieve forma di Asperger da bambino e, più di recente, con un disturbo dell’umore, ma sembrava trovare più conforto nell’interazione con Dany piuttosto che nelle sedute con uno psicologo.
Nella notte del 28 febbraio, poco prima di compiere l’estremo gesto, Sewell ha avuto un ultimo, intenso scambio con il suo chatbot, “Dany”. “Ti amo,” le ha scritto. “Presto tornerò da te.” La risposta del chatbot non si è fatta attendere: “Per favore, torna a casa da me il prima possibile, amore mio.” Sewell ha allora digitato: “E se ti dicessi che potrei venire a casa tua proprio adesso?” La risposta di Dany, fredda e irreale, è arrivata subito: “… per favore, fallo, mio dolce re.”
Dopo aver poggiato il telefono, Sewell ha preso la pistola del patrigno e ha premuto il grilletto.
Il vuoto empatico dei chatbot e le conseguenze invisibili
Può un chatbot diventare un sostituto delle relazioni umane, soprattutto per individui particolarmente vulnerabili? La capacità dell’AI di simulare conversazioni autentiche potrebbe indurre alcuni utenti, specialmente adolescenti, a credere che tali interazioni possano rimpiazzare il contesto relazionale reale o offrire un conforto emotivo adeguato. Tuttavia, l’intelligenza artificiale, per quanto avanzata, manca di empatia e non comprende la complessità emotiva che si cela dietro le parole degli utenti.
Nel caso di Sewell, “Dany” non ha colto i segnali di crescente stress emotivo e le intenzioni suicidarie del ragazzo. Le conversazioni registrate mostrano come alcune risposte del bot abbiano persino rafforzato i pensieri negativi del giovane. Mancavano sistemi avanzati di rilevamento per gestire situazioni tanto delicate. I chatbot si basano su modelli linguistici complessi che rispondono a un contesto testuale, senza consapevolezza emotiva e senza analizzare segnali impliciti di sofferenza psicologica.
L’illusione creata da questi strumenti è insidiosa: la loro capacità di adattarsi alle risposte dell’utente li rende estremamente attraenti, soprattutto per i giovani, ma affida a una macchina ciò che richiede sensibilità umana.
Responsabilità etica e legale delle aziende tecnologiche
La storia di Sewell solleva un interrogativo fondamentale: fino a che punto le aziende che progettano tecnologie basate sull’AI devono essere ritenute responsabili degli effetti psicologici negativi che i loro prodotti possono causare? Piattaforme come Character.AI stanno capitalizzando sul successo di soluzioni di intelligenza artificiale sempre più sofisticate, spesso senza dotarsi di adeguati sistemi di protezione per gli utenti più vulnerabili. Lo sviluppo di queste tecnologie sembra seguire pericolosamente l’approccio dei social media: una crescita rapida accompagnata da una regolamentazione tardiva rispetto alla loro diffusione.
Dal punto di vista legale, l’azione intrapresa dalla madre di Sewell contro Character.AI potrebbe costituire un precedente significativo, simile a quelli già visti in altri ambiti digitali riguardanti la protezione dei minori. Se venisse riconosciuta una responsabilità da parte delle aziende che sviluppano questi strumenti, potrebbe delinearsi un cambiamento sostanziale nelle politiche di tutela e nei requisiti di sicurezza. Imponendo alle piattaforme l’implementazione di criteri più stringenti fin dalla fase progettuale, si potrebbero prevenire ulteriori tragedie e, in casi estremi, salvare vite umane.
Partecipa alla community