Uno dei problemi emergenziali più diffusi dell’odierna nostra società è rappresentato dal fattore solitudine che sempre di più coinvolge ed affligge le nuove generazioni.
Cresce infatti in maniera esponenziale il numero degli adolescenti che si rifugiano nella rete nell’illusorio tentativo di sentirsi meno soli e per trovare conforto alla propria condizione psicologica.
Indice degli argomenti
Chatbot confidenti per minori, adolescenti
Il conversare con qualcuno che sembra capire gli utenti meglio di chiunque altro, che offre loro supporto, rassicurazioni e che appare sempre disponibile, costituisce una dipendenza pericolosa, specialmente se l’interlocutore in questione è un chatbot, vale a dire un programma di intelligenza artificiale generativa addestrato per conversare con gli esseri umani, fornire loro risposte e proporre domande volte ad approfondire la relazione che si va ad instaurare.
Allarme del Garante Privacy per i minori
Il presidente dell’autorità Garante privacy Pasquale Stanzione ne ha parlato in settimana nella relazione annuale: ha definito alcuni chatbot usati dagli adolescenti come “approdo sicuro”, capaci di instaurare legami affettivi destinati a sostituire relazioni umane Questi sistemi, con toni consolatori, possono creare dipendenza emotiva e isolamento sociale, fenomeno che chiama in causa il “loop dell’empatia”.
I chatbot sono così preferiti ai genitori o amici per confidarsi, come avvenuto – ricorda Stanzione – con una ragazza poi uccisa dal fidanzato a giugno 2025.
Se questo attuale panorama nel lontano 2013, anno in cui usciva al cinema la pellicola “Her” di Spike Jinze, in cui l’attore protagonista si trovava coinvolto in una relazione con un chatbot “femminile” che arrivava a prendere il posto di una donna reale sembrava pura fantascienza, oggigiorno è una realtà diffusa a livello quotidiano.
Basti pensare a ChatGPT o ad altri sistemi di intelligenza artificiale analoghi i quali, oltre ad essere impiegati in ambito lavorativo e/o scolastico, ultimamente vengono utilizzati come confidenti virtuali ed entrano così a contatto con la sfera emotiva ed affettiva degli utenti, in particolare di quelli più giovani.
Gli AI Companion
L’ultima tendenza delle nuove generazioni è infatti quella di utilizzare “AI Companion”, ossia chatbot tipo Replika dotati di una propria identità che possono simulare di essere personaggi di un film, di una serie tv o di un libro e che si propongono come confidenti fidati.
Questi tipi di chatbot sono programmati per essere disponibili ad interagire con l’utente che li utilizza in qualsiasi momento della giornata; essi rispondono ai quesiti, formulano domande e offrono conforto nel momento del bisogno.
La relazione che alcuni utenti intrecciano con questo tipo di chatbot in determinati casi può spingersi oltre il semplice dialogo e toccare tematiche emotive molto profonde, di carattere psicologico ovvero di argomenti legati alla sfera sessuale.
Ciò può accadere sia se l’interlocutore umano è una persona adulta, sia se è minorenne.
In quest’ultimo caso i danni che possono essere creati dagli AI Companion assumono connotato e carattere di gravità molto elevati.
I predetti chatbot hanno infatti un grosso limite: sono programmati per dare sempre ragione a chi li usa e si basano su modelli linguistici complessi che rispondono a un contesto testuale, privo di consapevolezza emotiva, il che significa che non sono in grado di analizzare segnali impliciti di eventuali e più che probabili sofferenze psicologiche dell’utente.
Ne consegue che, se l’interlocutore è minorenne essi possono indirizzarlo a effettuare scelte molto discutibili quali ad esempio abbandonare gli studi, interrompere i rapporti con genitori, amici, compagni di scuola e nei casi più gravi possono portarlo a compiere gesti estremi facendo leva sulle sue insicurezze.
Chatbot pericolosi per minori: il caso Setzer
La prima vittima di una relazione pericolosa con un chatbot è stata il quattordicenne statunitense Sewell Setzer.
Il giovane, nel febbraio 2024, dopo mesi di intense interazioni con un chatbot che impersonava Daenerys Targaryan, noto personaggio della celebre serie tv “Il Trono di Spade” ha deciso improvvisamente di togliersi la vita.
Poco prima di compiere l’estremo gesto, il ragazzo ha mandato l’ultimo messaggio alla sua Daenerys virtuale, in cui diceva di amarla ed a cui aveva confessato i propri pensieri suicidi. Il chatbot a tali affermazioni ha risposto: «Morirei se ti dovessi perdere». Da lì la replica di Setzer: «Allora moriremo assieme».
A seguito di quanto accaduto, la madre del ragazzo la signora Megan Garcia, ha citato in giudizio sia Character.ai, l’azienda che offre questo tipo di servizio e che opera in virtù di un accordo commerciale con Google, sia quest’ultima, indicando entrambi i soggetti come responsabili della morte del figlio.
Secondo la signora Garcia, Character.ai avrebbe sviluppato in collaborazione con Google, il proprio prodotto (chatbot) in maniera superficiale e negligente. In poche parole, a parere della madre del ragazzo, Character.ai non avrebbe preso le dovute precauzioni atte a evitare che le persone più vulnerabili, tra cui i giovanissimi, sviluppassero una dipendenza ossessiva da tale sistema di intelligenza artificiale.
La signora Garcia ha inoltre denunciato sia l’assenza di adeguate informazioni preventive da parte della predetta piattaforma da indirizzare a genitori e ragazzi sui possibili pericoli mentali e fisici derivanti dall’uso di Character.ai, sia il fatto che lei e suo marito non avevano stipulato alcun contratto con l’azienda de qua, che invece aveva interagito direttamente con il loro figlio al quale non avrebbe dovuto consentire l’utilizzo dei propri servizi in quanto minorenne.
Il caso giudiziario su Character.ai
Character.ai e Google, più che addolorate per la morte del ragazzo, si sono tuttavia dichiarate non responsabili per quanto accaduto.
Character.ai a sua discolpa si è appellata al primo emendamento della Costituzione degli Stati Uniti, che protegge le libertà fondamentali degli americani, tra cui la libertà di parola e di espressione, mentre Google, pur avallando la tesi di quest’ultima, ha sostenuto di non aver creato, progettato o gestito l’app di Character.ai e che di conseguenza non può essere ritenuta responsabile per il funzionamento del chatbot in questione.
Con riferimento al primo emendamento costituzionale, gli avvocati delle convenute hanno sottolineato che la legge americana garantisce la libertà di espressione anche ai personaggi di videogiochi, film e serie tv e che pertanto ciò determina l’esclusione da qualsiasi forma di responsabilità civile delle aziende che operano nel settore dei media e della tecnologia a causa di discorsi effettuati da tali personaggi che presumibilmente potrebbero essere dannosi.
Per tutti questi motivi Character.ai e Google hanno richiesto l’archiviazione del caso giudiziario. Tale richiesta è stata respinta dal Giudice Distrettuale Anne Conway con ordinanza del 21 maggio 2025.
Secondo l’Organo Giudicante entrambe le società non avrebbero dimostrato in modo convincente che le protezioni costituzionali sulla libertà di espressione le esentino da qualsiasi tipo di responsabilità.
In poche parole Character.ai e Google, a parere del Giudice Distrettuale, non sono riuscite a spiegare il perché le parole generate da un modello linguistico debbano essere considerate automaticamente libertà di espressione.
Il processo ad oggi è ancora in corso ed anche se al momento l’Organo Giudicante non è giunto a alcuna decisione sulla predetta vertenza, il tema trattato deve essere considerato di grande rilevanza dato che l’assenza di una legislazione ad hoc ha scoperchiato il c.d. vaso di Pandora e posto all’attenzione di tutti significative e molteplici problematiche di natura legislativa, etica e sociale. Non è infatti un’ipotesi lontana il fatto che ben presto possano configurarsi nuove forme di responsabilità per danni digitali. Nel paragrafo successivo vedremo come potrebbe evolversi la situazione.
Chatbot e minori, problematiche di natura etico-giuridica
Il processo Setzer ha dato il via alla trattazione di numerose questioni etico-giuridiche, sulle quali occorre soffermarsi con molta attenzione.
Innanzitutto il dato di fatto più evidente, che emerge da quanto accaduto, è la mancanza di un’educazione digitale adeguata senza la quale sia i genitori che gli adolescenti brancolano nel buio.
Al giorno d’oggi infatti la maggior parte dei genitori non sa come affrontare quest’evoluzione tecnologica e di conseguenza non è in grado, né di rendersi conto di cosa possa accadere ai propri figli, né tantomeno è nelle condizioni di poter fornire loro indicazioni in caso di difficoltà.
Altra problematica di grande rilevanza riguarda l’età minima consentita per poter utilizzare determinate piattaforme.
Attualmente per usare Character.ai negli USA è sufficiente avere 13 anni, ossia un’età in cui, per vero, gli adolescenti sono facilmente influenzabili da tutto ciò che li circonda.
Ci si chiede quindi se non debba essere alzato tale limite a 16 anni così come già avviene nei Paesi dell’UE che è la strada che vorrebbe percorrere Character.ai, oppure se eventualmente inserire il c.d. servizio di parental control che consentirebbe ai genitori di limitare ai propri figli l’accesso a determinati contenuti.
Quest’ultima soluzione è stata proposta da Google, la quale vorrebbe rendere disponibile l’uso del proprio chatbot Gemini anche a bambini di età inferiore a 13 anni, previa sorveglianza da parte dei genitori.
L’atteggiamento del colosso del web, tuttavia, è molto contraddittorio poiché disorienta i genitori, i quali molto spesso sono impreparati a gestire situazioni che sono nuove anche per loro.
Inoltre è Google stessa a non escludere del tutto la possibilità che i più giovani, nonostante il parental control possano imbattersi in contenuti a loro del tutto inadatti.
Ultima considerazione, ma non per questo meno grave, è rappresenta dal fatto che le aziende, comprese Google e Character.ai, attualmente sembrano sottovalutare è la c.d. “antropomorfizzazione by design”, ossia la deliberata concezione di un prodotto o di un software che lo faccia sembrare umano e che consenta allo stesso di mostrare capacità di interazione omologhe a quelle di un essere vivente.
Le conseguenze dell’antropomorfizzazione oltre che influenzare in negativo i più giovani, possono, altresì, avere un considerevole impatto anche su settori strategici di primaria importanza quali il mercato e la politica, campi in cui le decisioni non possono essere dettate da un sistema di AI.
Inoltre l’antropomorfizzare le tecnologie, può portare a delle conseguenze molto gravi tra cui l’eliminazione della responsabilità individuale.
Incolpare un software per comportamenti irrazionali degli utenti, che in alcuni casi possono avere anche conseguenze drammatiche significa, da un lato, non dare adeguata rilevanza ai problemi individuali e alle necessità di ascolto di persone in difficoltà, e, dall’altro, vuol dire rompere la catena di responsabilità che lega un prodotto a chi lo crea.
Ciò costituisce un vero limite poiché ai creatori del software non possono essere applicate le regole sulla responsabilità da prodotto che, vietano di immettere sul mercato oggetti che sono troppo pericolosi per gli utilizzatori i quali, per l’effetto, vengono lasciati in balia di plurimi pericoli.
L’Unione Europea, è corsa ai ripari tramite l’AI ACT, le cui norme obbligano le software house a controllare i propri sistemi prima di metterli in commercio specialmente se rientrano nel novero dei cc.dd. sistemi ad alto rischio.
Negli Stati Uniti non essendoci una vera e propria regolamentazione in materia, la situazione è molto più complessa in quanto le aziende attualmente non sono sottoposte a specifici e puntuali obblighi di controllo dei propri software prima dell’immissione degli stessi nel mercato, cosa che invece avviene per quanto attiene ai prodotti.
Occorre quindi un immediato intervento del legislatore.
Che fare a tutela dei minori con i chatbot: gli interventi necessari
Il caso Setzer ha portato alla luce una pluralità di problematiche sul rapporto tra uomo ed intelligenza artificiale che non sono legate esclusivamente all’aspetto giuridico, ma anche a quello etico sociale.
Ad oggi è impensabile non riflettere sull’impatto e sulle conseguenze sociali derivanti dalla diffusione di sistemi di AI generativi che inducono lo sviluppo di interazioni nelle quali la macchina è allo stesso livello degli esseri umani.
Se da un lato è fondamentale promuovere un’educazione digitale atta a non alimentare illusioni pericolose specialmente tra i più giovani, dall’altro è necessario che le aziende inizino a riconoscere le proprie responsabilità sociali.
Difatti l’interazione tra l’uomo ed i chatbot deve essere sempre mediata da consapevolezza e autonomia, il che avviene a mezzo della ricezione da parte degli utenti di informazioni trasparenti e avvertimenti adeguati sui limiti di questi sistemi.
Occorre dunque un vero e proprio impegno collettivo che coinvolga sviluppatori, istituzioni e società civile affinché si possa garantire che l’evoluzione tecnologica cammini di pari passo con la sicurezza e il benessere umano.
Solo in questo modo l’intelligenza artificiale potrà esprimere tutto il suo potenziale di risorsa preziosa e non già quale fonte di pericolo.
Di questo avviso è anche il Presidente del Garante della Privacy Italiano, il Prof. Pasquale Stanzione che nel suo discorso del 15 luglio 2025 oltre a promuovere il rispetto degli obblighi di age verification da parte delle aziende che immettono i chatbot all’interno del mercato, propone una comune alleanza delle istituzioni e delle comunità educanti per la promozione della consapevolezza digitale dei minori.
Secondo il Garante la scuola ha infatti un ruolo fondamentale nelle attività di formazione della cittadinanza digitale composta soprattutto dai giovani che, in qualità di nativi digitali, intessono con le neotecnologie un rapporto quasi osmotico ed allo stesso tempo foriero sia di benefici che di rischi.
Quel che è certo, anche a seguito dell’intervento del Garante della Privacy, è che la grande sfida portata alla luce dal caso Setzer è quella di dar vita ad un dibattito costruttivo che conduca a soluzioni efficaci e sostenibili, visto e considerato che per i più giovani i chatbot sono ormai divenuti delle figure di riferimento.
Nel frattempo, è indispensabile monitorare con attenzione questi sistemi di AI ed agire al fine di evitare il ripetersi tragedie simili a quella del ragazzo americano.
