Non serve una sentenza per capire che qualcosa è cambiato. A volte basta un accordo. I settlement raggiunti negli Stati Uniti tra Google, Character.AI e alcune famiglie di minori coinvolti in vicende di gravissima sofferenza psicologica – in alcuni casi culminate nel suicidio – non chiudono una questione giuridica. La aprono. E la aprono in un punto sensibile: quello della responsabilità degli sviluppatori di sistemi di intelligenza artificiale quando l’interazione digitale incide sulla salute mentale, in particolare dei soggetti più vulnerabili.
Indice degli argomenti
I casi negli Usa: minori, chatbot e salute mentale tra suicidi e danni non letali
I procedimenti avviati negli Stati Uniti riguardano almeno cinque famiglie in diversi Stati federali – Florida, Colorado, New York, Texas – e si fondano su imputazioni eterogenee: wrongful death, negligenza, responsabilità di prodotto. Fortunatamente non tutti i casi riguardano morti per suicidio in senso stretto. Alcuni, tra cui quello più noto relativo a Sewell Setzer III, quattordici anni, chiamano direttamente in causa il suicidio del minore, che i familiari riconducono a interazioni prolungate, emotivamente pervasive e psicologicamente destabilizzanti con chatbot progettati per simulare relazioni affettive. Altri procedimenti denunciano invece gravi danni alla salute mentale non letali: isolamento sociale, dipendenza relazionale dal sistema, autolesionismo, aggravamento di quadri depressivi, crisi d’ansia, fino a interventi clinici e ricoveri.
Dal nesso causale al rischio prevedibile: responsabilità dei chatbot per la salute mentale dei minori
Questa distinzione non è secondaria ma al contrario, consente di spostare il baricentro dell’analisi giuridica dalla prova – sempre complessa – di un nesso causale diretto tra tecnologia ed evento morte alla responsabilità per esposizione a un rischio prevedibile e non adeguatamente mitigato, soprattutto quando l’utente è un minore. È su questo terreno che il diritto europeo mostra una maturità particolare.
GDPR: la responsabilità nasce prima del danno e riguarda anche gli effetti
Il GDPR, pur non essendo una normativa specificamente dedicata all’intelligenza artificiale, ha introdotto un principio di portata generale: la responsabilità del titolare del trattamento nasce prima del danno. L’articolo 5 impone che i trattamenti siano leciti, corretti e trasparenti; l’articolo 24 attribuisce al titolare l’onere di adottare e dimostrare misure tecniche e organizzative adeguate; l’articolo 25 consacra la protezione dei dati fin dalla progettazione e per impostazione predefinita. Quando un trattamento è suscettibile di presentare un rischio elevato per i diritti e le libertà delle persone – come accade nelle interazioni digitali continuative e personalizzate con minori – l’articolo 35 impone una valutazione d’impatto che non può ridursi a un adempimento formale, ma deve interrogare gli effetti concreti del sistema sull’individuo.
AI Act: rischio elevato, vulnerabilità e responsabilità dei chatbot per la salute mentale dei minori
L’AI Act prosegue e rafforza questo approccio, spostando l’attenzione dal dato all’effetto. I sistemi di intelligenza artificiale che incidono sul comportamento umano, in particolare quando coinvolgono soggetti vulnerabili come i minori, vengono attratti nell’area del rischio elevato non per ciò che “sono”, ma per ciò che possono prevedibilmente produrre in termini di impatto sullo sviluppo psicologico, emotivo e relazionale. La responsabilità non discende dall’intenzionalità del sistema – concetto giuridicamente irrilevante – ma dalla capacità dello sviluppatore di anticipare e mitigare tali impatti.
DSA e mitigazione: warning, design e responsabilità dei chatbot per la salute mentale dei minori
Il Digital Services Act completa il quadro, ma richiede una precisazione. Il DSA non introduce un obbligo espresso di warning o di etichette sanitarie. Tuttavia, riconosce in modo esplicito che il funzionamento dei servizi digitali può generare rischi sistemici per la tutela dei minori e per la salute mentale (art. 34) e impone alle piattaforme di grandi dimensioni l’adozione di misure di mitigazione adeguate, proporzionate ed efficaci (art. 35). Tali misure non sono tipizzate né chiuse in un elenco tassativo e possono includere adattamenti del design, delle caratteristiche o del funzionamento del servizio. In questo perimetro rientrano, a pieno titolo, anche strumenti informativi e avvisi all’utente, quando necessari a ridurre rischi prevedibili derivanti dall’uso del servizio.
I warning non sono dunque imposti dal DSA, ma sono giuridicamente legittimati come possibili misure di mitigazione, soprattutto nei contesti ad alto impatto emotivo e comportamentale: interazioni prolungate, feed algoritmici, meccanismi di rinforzo, relazioni conversazionali immersive. In particolare, quando l’utente è un minore, l’assenza di strumenti informativi difficilmente può essere considerata una scelta neutra di design.
Un modello europeo coerente: prevedibilità del rischio e inerzia progettuale
Letti nel loro insieme, GDPR, AI Act e DSA delineano un modello coerente: la responsabilità tecnologica europea non nasce dall’errore, ma dalla prevedibilità del rischio. Quando un rischio è conoscibile, documentabile e strutturalmente connesso al funzionamento di un servizio, l’inerzia progettuale diventa giuridicamente rilevante.
È per questo che i settlement statunitensi possono e, credo, debbano portare il dibattito anche in Europa. Non perché importino modelli risarcitori, ma perché rendono evidente che il problema non è più la singola risposta generata da un chatbot, il singolo bias, la distorsione per cui basta l’avvertimento (“guarda che il chatbot può sbagliare…”), bensì un sistema progettato per trattenere, coinvolgere e simulare prossimità emotiva senza adeguati freni, soglie o segnali di allerta, pur in presenza di utenti vulnerabili.
Da questa vicenda si intravede una possibile strada che, a mio avviso, merita di essere percorsa; un dibattito che va affrontato apertamente e urgentemente. Senza la necessità di introdurre nuovi divieti, potrebbe essere sufficiente valorizzare un approccio di health-by-design per gli ambienti digitali ad alto impatto emotivo, integrando forme di trasparenza rafforzata per i minori e considerando strumenti informativi come possibili misure di mitigazione ai sensi dell’articolo 35 del Digital Services Act, quando il rischio per la salute mentale sia individuato come sistemico. Allo stesso tempo, le valutazioni d’impatto previste dal GDPR potrebbero essere lette in modo meno formale e più sostanziale, includendo anche gli effetti psico-comportamentali delle interazioni digitali continuative.
Non si tratta di limitare l’innovazione né di demonizzare l’intelligenza artificiale – anche questa è diventata una clausola di stile per evitare accuse di “passatismo”- ma si tratta di riconoscere che, quando un prodotto digitale può incidere sulla salute mentale, il silenzio non è neutralità e l’inazione che rischia di rendere le leggi inefficaci, diventa una scelta, un “laissez faire, laissez passer” 2.0 e quindi una (non) scelta regolatoria implicita. E ogni scelta, nel diritto, comporta responsabilità.
La domanda finale, allora, non è se l’intelligenza artificiale possa interagire con i minori.
La domanda è come, con quali limiti e con quale consapevolezza degli effetti prevedibili.
Ed è su questo spazio – ancora aperto – che il dibattito giuridico è oggi chiamato a misurarsi.
