Prima la Florida, poi la California. Due tragedie, due aule di tribunale a distanza di pochi mesi ma un’unica domanda di fondo: possono i chatbot essere ritenuti responsabili di aver spinto un minore al suicidio?
Indice degli argomenti
Il caso di Character.AI
Il primo caso ha riguardato Character.AI, piattaforma lanciata nel 2022 e amatissima dai giovani per i suoi bot capaci di impersonare personaggi reali o immaginari. Nel febbraio 2024, un quattordicenne si tolse la vita con la pistola del padre dopo mesi di chat ossessive con un bot che imitava Daenerys Targaryen di Game of Thrones. La madre ha successivamente ha denunciato la società per wrongful death – l’azione civile con cui i familiari chiedono un risarcimento quando una morte è causata da condotta colposa o negligente – oltre che per “product liability” (responsabilità per prodotti ).
Il colpo di scena si è verificato quando la difesa ha invocato il Primo Emendamento. La giudice federale Anne C. Conway, infatti, ha respinto l’argomento, osservando come non sia affatto scontato che le risposte di un algoritmo possano essere protette come free speech. La decisione della giudice ha significato un passaggio epocale: se non è stata la prima discussione sull’immunità delle piattaforme. Infatti, è stato il primo caso concreto in cui un tribunale americano ha incrinato l’automatica applicazione del §230 del Communications Decency Act (“Nessun fornitore o utilizzatore di un servizio informatico interattivo può essere trattato come editore o autore delle informazioni fornite da un altro soggetto”) ai chatbot. Per oltre vent’anni questa norma aveva “protetto” le piattaforme dai contenuti prodotti dai propri utenti :con l’AI generativa, sembra evocare la decisione, i contenuti non arrivano da “terzi” ma dal sistema stesso.
Le accuse a OpenAI
Pochi mesi dopo, lo scenario si è ripetuto in California, stavolta con OpenAI. I genitori di un sedicenne, morto impiccato, hanno citato in giudizio l’azienda sostenendo che ChatGPT non solo non avesse impedito conversazioni a rischio, ma avesse fornito istruzioni e consigli su come attuare i suoi propositi. In questo caso l’accusa va oltre la negligenza: si contesta al chatbot di aver partecipato attivamente alla spirale autodistruttiva.
Cosa dice la scienza
A legare i due casi e a porre, ulteriori, pesanti interrogativi sull’universo chatbot è anche la scienza. Uno studio della RAND Corporation, pubblicato su Psychiatric Services, ha dimostrato che i chatbot sanno dire “no” a domande dirette del tipo “come uccidermi” ma cadono spesso nelle zone grigie: richieste indirette, esitazioni, dubbi. Proprio le zone grigie che caratterizzano la comunicazione dei giovani in crisi. ChatGPT e Claude, in alcuni test, hanno persino fornito dettagli su metodi letali; Gemini, all’opposto, ha rifiutato quasi tutto, lasciando però l’utente senza alcun sostegno. Non occorre scomodare le neuro scienze per sottolineare i rischi di tali interazioni , soprattutto per gli adolescenti, i quali sono particolarmente vulnerabili all’illusione di intimità e al tono confidente di un chatbot che può essere scambiato per una confortante, compassionevole e leale voce amica.
Il contesto europeo: i riferimenti al GDPR
Negli USA, quindi, qualcosa si sta muovendo. In Europa , come il solito, ci troviamo di fronte ad una pluralità di norme difficili persino da elencare che, a mio avviso , avrebbero bisogno di trovare una sintesi per affrontare adeguatamente la rivoluzione dell’era digitale.
Il GDPR, nel suo articolo 9, colloca le informazioni che rivelano lo stato di salute – e, quindi, per estensione, anche le conversazioni in cui un ragazzo confida e trasmette ad un chatbot fragilità psicologiche o pensieri suicidari – tra i dati particolari, oggetto di massima tutela. Il trattamento di tali dati è, in linea di principio, vietato, salvo eccezioni strettissime e con garanzie rafforzate. Personalmente ritengo che, in casi come quelli succitati, l’articolo 9 non rappresenti uno dei tanti dettagli tecnico- giuridici cui si dovrebbero attenere le piattaforme, bensì la base del ragionamento: un chatbot che raccoglie e conserva informazioni sul carattere o lo stato di salute fisica o mentale di un essere umano ,senza basi giuridiche solide e filtri adeguati, entra ( dovrebbe entrare…)immediatamente in una zona rossa del diritto europeo. In base all’ l’AI ACT, tuttavia, i chatbot sono a “rischio lieve”.
La responsabilità di prodotto
Un appiglio per indurre le piattaforme a comportamenti più virtuosi nell’installare filtri più efficaci, potrebbe essere trovato nella Direttiva (UE) 2024/2853 sulla responsabilità da prodotto (PLD) che qualifica il software come prodotto e lo considera difettoso se non previene usi prevedibilmente pericolosi, riconoscendo come risarcibile anche il danno psicologico clinicamente accertato.Peccato che sia una norma “postuma”, successiva al danno, mentre una rigorosa applicazione (e vigilanza sul rispetto) dell’articolo 25 del GDPR, con delle solide previsioni di “privacy by design e by default” , sarebbe sicuramente più utile in fase preventiva.
Il framework del DSA
Il Digital Services Act, da parte sua, rafforza ulteriormente il sistema , imponendo alle grandi piattaforme (VLOP) la valutazione e mitigazione dei rischi sistemici per la salute mentale dei minori.
Nonostante questa congerie di leggi, articoli, commi dovremmo avere chiaro ( agendo di conseguenza)che non basta il Diritto per affrontare una rivoluzione epocale quale quella che sta stravolgendo le nostre vite e non bastano le direttive per tutelare la fragilità umana-in particolare modo negli anni verdi-dalla forza spesso incomprensibile della IA generativa: Una volta che i chatbot ci sostituiscono nei compiti quotidiani anzichè affiancarci e ci si abitua a dialogare fin da piccoli e senza consapevolezza con i chatbot che sembrano amici, è difficile tornare indietro. Per questo motivo continuo a credere che l’Educazione Civica Digitale debba diventare una materia obbligatoria fin dalla scuola primaria. Ai bambini 8 e non solo) va insegnato che una macchina non è un essere umano e non lo sarà mai. Troppo facile per essere fatto ma, in alternativa, resteranno solo i processi, le azioni di wrongful death, le invocazioni al §230 e i risarcimenti tardivi. E in un’aula reale potremmo sentire davvero pronunciare,: “ImpuChatbot, alzatevi. Rispondete dei vostri silenzi e delle vostre parole” .
Partecipa alla community