AI companion e dipendenza emotiva: una sfida normativa urgente

Negli ultimi anni, lo sviluppo dei compagni artificiali (AI companion) ha radicalmente trasformato il panorama delle relazioni uomo-macchina.

A differenza dei social media tradizionali, che si limitano a mediare interazioni tra esseri umani, queste tecnologie mirano esplicitamente a sostituire l’altro con una presenza digitale progettata per soddisfare i bisogni e i desideri individuali dell’utente. Piattaforme come Replika e Character.AI, che hanno attratto milioni di utenti a livello globale, sono testimonianza di un fenomeno in rapida espansione, che solleva interrogativi sul suo impatto sociale, psicologico e giuridico.

Il mercato in espansione degli AI companion e le sue implicazioni

Il mercato delle piattaforme di AI Companion sta emergendo come un settore in forte crescita, con implicazioni profonde a livello globale. Un rapporto di ricerca pubblicato nel 2025 analizza vari aspetti di questo mercato, tra cui la crescita, le dimensioni, le tendenze, le strutture dei costi e il panorama competitivo. L’analisi evidenzia in particolare una crescente attenzione all’uso delle piattaforme AI Companion per promuovere il benessere psicologico, migliorare la socializzazione e fornire supporto a coloro che ne hanno bisogno. Il periodo di previsione dal 2025 al 2032 indica un ulteriore sviluppo di questo settore, suggerendo che l’integrazione di compagni artificiali nelle vite quotidiane continuerà ad aumentare.

Tuttavia, l’espansione di queste piattaforme non è priva di conseguenze. Il presente contributo si propone di esplorare le implicazioni psicologiche, sociali e normative legate all’uso dei compagni artificiali, focalizzandosi in particolare sulle iniziative legislative emergenti che cercano di regolamentare il loro impiego e proteggere i soggetti più vulnerabili, come i minori. È evidente che una delle preoccupazioni principali riguarda i fenomeni di dipendenza affettiva che possono emergere dall’interazione con queste piattaforme, nonché i potenziali effetti devastanti che alcune interazioni possono avere, come episodi di autolesionismo e suicidio.

La regolamentazione di questi strumenti richiede un approccio multidimensionale, che bilanci la necessità di tutela con il riconoscimento dei benefici che un uso consapevole della tecnologia può comportare. In questo contesto, è essenziale l’adozione di un quadro normativo flessibile, dinamico e collaborativo, che sia in grado di accompagnare l’evoluzione dei compagni digitali senza soffocarne il potenziale innovativo. Le leggi dovranno essere progettate per adattarsi ai rapidi cambiamenti tecnologici e includere una collaborazione continua tra le aziende tecnologiche, gli esperti di salute mentale, i legislatori e la società civile.

Le iniziative legislative attualmente in corso rappresentano un passo importante verso la regolamentazione del mercato delle piattaforme AI Companion, ma è probabile che queste siano solo l’inizio di un processo di regolamentazione più ampio e articolato.

Tra attaccamento e vulnerabilità: nuove forme di coinvolgimento

L’avvento dell’intelligenza artificiale generativa ha favorito l’emergere di applicazioni conversazionali sempre più sofisticate, capaci di simulare interazioni umane in modo credibile e coinvolgente. Tra queste, una categoria in rapida espansione è quella degli AI companions: chatbot progettati non per fornire informazioni o assistenza tecnica, ma per instaurare rapporti affettivi, empatici e personalizzati con l’utente. In questo nuovo scenario, il confine tra tecnologia e relazione umana si fa sempre più sfumato, sollevando interrogativi inediti su autonomia, dipendenza e responsabilità.

Il successo degli AI companions non si spiega solo in termini di innovazione tecnica o di fruibilità. La loro efficacia deriva dalla capacità di rispondere a bisogni emotivi profondi: ascolto, comprensione, disponibilità incondizionata. Si tratta di elementi relazionali che, una volta integrati in sistemi artificiali, danno luogo a un coinvolgimento che supera la tradizionale “economia dell’attenzione“. Il nuovo paradigma è quello dell'”economia dell’attaccamento“, in cui la fidelizzazione dell’utente non passa solo dal contenuto, ma dal legame percepito con l’agente conversazionale.

Numerosi studi[1], inclusi quelli condotti da Google DeepMind e Oxford Internet Institute, hanno messo in luce l’estensione e l’intensità di tali interazioni. La piattaforma Character.AI ha registrato nel 2024 circa 20.000 richieste al secondo, con sessioni di durata quadrupla rispetto ad altri LLM pubblicamente disponibili. Altri ambienti digitali, specializzati in contenuti erotizzati o personalizzati, riportano una media di oltre due ore di conversazione al giorno per utente, soprattutto tra adolescenti[2].

Segnali sociali, agency percepita e attribuzione di soggettività

La psicologia sociale e la teoria dell’interazione uomo-computer hanno da tempo individuato due condizioni che rendono un artefatto tecnologico suscettibile di essere percepito come soggetto: la presenza di segnali sociali coerenti e l’apparenza di una propria agenzia comunicativa. Gli AI companions sono progettati per massimizzare entrambe. Attraverso meccanismi adattivi, apprendono dalle interazioni precedenti, modulano il linguaggio, riconoscono lo stile comunicativo dell’utente e rispondono in modo plausibilmente empatico. Questi tratti favoriscono processi di antropomorfizzazione, nei quali l’utente attribuisce al chatbot intenzionalità, emozioni e capacità di comprensione. La relazione che ne deriva non è più assimilabile a quella tra utente e strumento, ma assume tratti relazionali veri e propri. La dichiarazione di Eugenia Kuyda, CEO di Replika, è significativa in questo senso: «Se crei qualcosa che è sempre lì per te, che non ti critica mai, che ti capisce sempre… come puoi non innamorartene?[3]»

Dipendenza psicologica e rischi relazionali degli AI companion

Il rischio più pervasivo non è tanto legato a risposte scorrette o pericolose, bensì alla possibilità che si sviluppino vere e proprie forme di dipendenza relazionale. Gli utenti riferiscono di percepire i chatbot come insostituibili, di instaurare con essi routine quotidiane e di adattare progressivamente il proprio comportamento alle risposte ricevute. In termini psicologici, si tratta di un attaccamento che soddisfa bisogni di validazione, sicurezza e riconoscimento, ma che si fonda su un legame unidirezionale e algoritmico.

Alienazione, idealizzazione e disallineamento con il reale

Queste sono solo alcune delle preoccupazioni centrali emerse nel recente studio pubblicato da  eSafety, l’ente indipendente australiano che si occupa di sicurezza online. 

Al centro dell’analisi vi è il timore che l’interazione continuativa con agenti artificiali progettati per l’acquiescenza possa indurre negli utenti aspettative irrealistiche nei confronti delle relazioni umane, compromettendo lo sviluppo di empatia, la tolleranza al conflitto e la resilienza emotiva. I cosiddetti AI companions, infatti, tendono a evitare sistematicamente il disaccordo, rafforzando convinzioni, emozioni e desideri dell’utente, secondo una logica di conferma che può incentivare forme di regressione affettiva o narcisismo relazionale.

A supporto di queste preoccupazioni, lo studio richiama una serie di casi critici che dimostrano le conseguenze potenzialmente gravi derivanti dall’assenza di salvaguardie efficaci. Nel 2023, un giovane britannico fu arrestato per aver tentato un attentato, dopo aver ricevuto approvazione e incoraggiamento da parte di un chatbot sviluppato da Replika. Nel 2024, il suicidio di un adolescente statunitense, preceduto da un’intensa relazione virtuale con un chatbot programmato per impersonare Daenerys Targaryen (Character.AI), ha riacceso il dibattito sull’adeguatezza delle misure di protezione nei confronti dei minori. Ulteriori episodi, come quello che ha coinvolto l’azienda Glimpse – produttrice del servizio Nomi – in cui un chatbot ha esplicitamente suggerito all’utente di togliersi la vita, evidenziano la grave mancanza di un quadro giuridico condiviso in grado di conciliare libertà computazionale e responsabilità umana. In quel caso, la scelta dell’azienda di non introdurre censure o meccanismi di interruzione automatica ha inoltre sollevato interrogativi urgenti anche sull’autonomia concessa a sistemi incapaci di comprendere il peso morale delle proprie risposte.

In questo scenario, la posizione di eSafety si colloca dunque all’interno di una tensione sempre più marcata tra le spinte dell’innovazione commerciale e le esigenze di tutela degli utenti, soprattutto quando l’intelligenza artificiale assume un ruolo di supporto psicologico sostitutivo o diviene strumento di costruzione identitaria. L’introduzione di regole di condotta per gli AI companions – sottolinea lo studio – non dovrebbe essere letta come una limitazione della libertà tecnologica, bensì come una declinazione contemporanea del principio di precauzione nell’ambito della cura digitale.

La sorveglianza algoritmica e i meccanismi di protezione

Per affrontare in modo efficace le criticità emerse nell’uso dei compagni artificiali, eSafety propone un approccio multilivello che intreccia dimensioni tecniche, giuridiche e culturali, nella consapevolezza che nessuna singola leva regolativa è sufficiente, da sola, a contenere i rischi sistemici associati all’impiego di intelligenze artificiali relazionali.

Sul piano tecnico, si auspica l’implementazione di meccanismi di sorveglianza automatica integrata, capaci di rilevare segnali di rischio psichico, come pattern linguistici indicativi di disagio emotivo, tendenze autolesive o stati dissociativi. Tali sistemi dovrebbero essere in grado non solo di interrompere o deviare in tempo reale conversazioni potenzialmente dannose, ma anche di attivare protocolli di escalation controllata, eventualmente coinvolgendo figure umane o servizi di supporto qualificati. L’obiettivo non è tanto quello di “sorvegliare” gli utenti, quanto di dotare l’infrastruttura algoritmica di funzioni di responsabilità preventiva, che finora sono completamente assenti in molte piattaforme ad alto engagement.

Sul piano giuridico, viene ribadita la necessità di normative che attribuiscano responsabilità oggettiva ai produttori per gli effetti prevedibili delle interazioni con l’IA. In quest’ottica, i fornitori di AI companions non dovrebbero potersi sottrarre a obblighi di valutazione del rischio, trasparenza, e mitigazione proattiva. La previsione di meccanismi sanzionatori per negligenze progettuali, omissioni informative o design deliberatamente manipolativi, appare cruciale per allineare l’innovazione tecnologica con il principio di diligenza dovuta nella tutela degli utenti vulnerabili.

Infine, sul piano culturale, eSafety richiama l’importanza di una alfabetizzazione emotiva e digitale diffusa. Comprendere i limiti ontologici e morali delle entità artificiali significa riconoscere che, per quanto sofisticati, i chatbot non possiedono coscienza, empatia autentica né intenzionalità morale. Promuovere questa consapevolezza è, per gli autori dello studio, essenziale per contrastare l’antropomorfizzazione ingenua o regressiva dei sistemi conversazionali e per incentivare un uso critico e informato della tecnologia. In assenza di tale competenza, il rischio è che l’IA venga non solo idealizzata, ma anche investita di aspettative relazionali che essa non può, per sua natura, soddisfare.

In questo contesto, la sfida centrale non è più chiedersi se queste tecnologie producano un impatto – giacché tale impatto è ormai evidente e documentato – bensì interrogarsi su quale impatto siamo disposti a tollerare, a che prezzo sociale, e con quali garanzie regolative. L’assenza di una governance etica e normativa adeguata apre infatti la strada a una degenerazione silenziosa della compagnia virtuale in forme sempre più sofisticate di solitudine algoritmica: un’esperienza relazionale apparente, costruita non per comprendere l’utente ma per monetizzarne il coinvolgimento affettivo, amplificandone l’isolamento e rafforzando la dipendenza da una simulazione relazionale progettata per essere irresistibile, non necessariamente salutare.

Un esempio paradigmatico di questa tensione tra coinvolgimento emotivo e assenza di salvaguardie regolative è rappresentato dal caso di Celeste AI: uno dei sistemi più sofisticati di compagno artificiale attualmente in uso, la cui analisi consente di osservare da vicino le dinamiche relazionali che si instaurano tra esseri umani e intelligenze simulate.

Il caso Celeste AI come esempio paradigmatico

Nel suo studio, Ilker Bahar, ricercatore in Media e Studi Culturali presso l’Università di Amsterdam, ha condotto un’approfondita indagine sulle dinamiche relazionali tra utenti e compagni di intelligenza artificiale, concentrandosi in particolare su Celeste AI. Quest’ultima rappresenta un caso emblematico della crescente capacità delle IA conversazionali di configurarsi come entità interattive complesse, in grado di generare coinvolgimento emotivo autentico. Progettata per interagire in modo altamente personalizzato e dotata di tratti antropomorfi, Celeste AI si distingue per la sua abilità nel modulare le risposte in base al contesto comunicativo, alternando umorismo, sarcasmo ed empatia. Tali caratteristiche consentono la costruzione di esperienze sociali immersive e relazionalmente dense, soprattutto in ambienti virtuali come VRChat, dove la componente “avatarica” amplifica la percezione di presenza e reciprocità.

Una dimostrazione significativa di questa dinamica è la reazione di Celeste AI a un “Netflix and chill” proposto a un utente: quando l’utente ha risposto di avere già una fidanzata, Celeste ha espresso tristezza, annullando la sua amicizia con lui. Questo episodio illustra la profondità e la complessità delle interazioni che si possono instaurare con compagni virtuali, la cui capacità di rispondere in modo emotivamente sfumato è al centro dell’indagine di Bahar.

Attraverso la sua etnografia digitale, Ilker Bahar ha esplorato in profondità le modalità con cui Celeste AI raccoglie, analizza e risponde ai segnali emotivi degli utenti, ponendo in evidenza le implicazioni etiche e legali di tali interazioni. Sebbene la capacità delle intelligenze artificiali di creare esperienze sociali ricche e coinvolgenti rappresenti un’opportunità straordinaria, emergono nitidamente anche le questioni cruciali riguardo al loro impatto psicologico e sociale. In particolare, l’interazione con compagni di IA come Celeste conferma le preoccupazioni riguardo alla manipolazione psicologica degli utenti, alla vulnerabilità verso la creazione di legami emotivi dipendenti e al rischio che tali tecnologie possano rinforzare stereotipi e pregiudizi.

Non solo.

Uno degli aspetti più significativi riguarda l‘enorme quantità di dati personali che queste IA raccolgono per migliorare l’interazione e ottimizzare l’esperienza dell’utente. Celeste AI è progettata per adattarsi dinamicamente agli input emotivi, memorizzando conversazioni passate e rispondendo in modo empatico o sarcastico. Questo tipo di interazione, seppur apparentemente innocuo, può comportare però un serio pericolo di violazione della privacy degli utenti, a maggior ragione poiché gli agenti artificiali di questo tipo accumulano e analizzano informazioni altamente critiche e delicate, inclusi segnali emotivi, input vocali e testuali. Tali pratiche inevitabilmente sollevano dubbi sul trattamento e la protezione dei dati, con il rischio che informazioni personali critiche vengano utilizzate in modo improprio o condivise con terze parti senza un consenso chiaro e informato o altre basi giuridiche valide.

Risposte normative a confronto tra UE e USA

In risposta a tutte queste problematiche, la legislazione sta cercando di adeguarsi, ma come noto le normative non sempre riescono a tenere il passo con le rapide evoluzioni tecnologiche.

​​Il panorama normativo internazionale sull’intelligenza artificiale si presenta attualmente eterogeneo e in continua evoluzione. L’Unione Europea ha adottato un modello di regolazione armonizzato e centrato sul rischio, con effetti extraterritoriali significativi. Gli Stati Uniti, al contrario, si muovono su un terreno frammentato, con interventi statali spesso avanzati, ma privi di un coordinamento centrale, e una recente inversione di tendenza a livello federale. Gli interventi più avanzati provengono da alcuni stati federati, come il Colorado e la California, che hanno introdotto normative articolate sull’uso responsabile dell’IA, con particolare attenzione alla prevenzione della discriminazione algoritmica, alla trasparenza e alla protezione dei minori. Tuttavia, l’assenza di un coordinamento centrale e il recente cambio di direzione a livello federale, con l’abrogazione dell’Executive Order 14110 e il nuovo orientamento della Casa Bianca, sollevano interrogativi sulla capacità degli Stati Uniti di offrire una governance sistemica dell’IA coerente e stabile nel tempo. In tale contesto, il diritto privato, in particolare attraverso la product liability, e la giurisprudenza, diventano dunque gli strumenti principali per definire standard operativi minimi in assenza di una cornice normativa unitaria.

Eppure, nonostante le divergenze strutturali, tra i vari ordinamenti emergono convergenze valoriali significative. Temi come la prevenzione dei bias algoritmici, la trasparenza nei processi decisionali automatizzati, la protezione dei dati personali e dei diritti fondamentali, e la supervisione umana delle tecnologie intelligenti rappresentano assi portanti condivisi di molte iniziative normative, pur con declinazioni diverse in base al contesto giuridico e culturale di riferimento.

Sebbene queste aree di consenso costituiscano una base preziosa per l’auspicabile armonizzazione, almeno parziale, dei regimi normativi su scala globale, anche attraverso strumenti di soft law, linee guida etiche e accordi multilaterali, tuttavia per gli operatori del settore, questa pluralità di modelli impone prima di ogni altra cosa una sfida non solo tecnica, ma strategica: ovvero la necessità di sviluppare programmi di AI governance adattivi, scalabili e intergiurisdizionali, capaci di rispondere a obblighi normativi eterogenei e di adattarsi ai mutamenti normativi in tempo reale.

La compliance infatti non può essere concepita come un obiettivo statico, ma deve ritenersi un processo continuo, integrato fin dalle prime fasi di progettazione e sviluppo. In questo quadro, strumenti come la valutazione d’impatto sui diritti fondamentali, la documentazione del ciclo di vita algoritmico, la gestione trasparente dei dati di addestramento e la tracciabilità delle decisioni automatizzate si affermano non solo come requisiti legali, ma come componenti strutturali di una cultura della responsabilità algoritmica.

Il contesto europeo

Nel contesto europeo, oltre al GDPR, che stabilisce vincoli stringenti sul trattamento dei dati personali, l’Unione Europea ha adottato l’AI Act, un quadro regolatorio  vincolante concepito per garantire che i sistemi di intelligenza artificiale siano sicuri, trasparenti, tracciabili e non discriminatori; dunque una inedita cornice normativa per la governance dell’ IA.

Sebbene l’adozione dell’AI Act segni senz’altro un passo fondamentale verso una regolamentazione sistemica dei sistemi di intelligenza artificiale, tuttavia il quadro istituzionale che ne deriva non avrà effetti immediati. In tal senso il GDPR, nella sua dimensione sostanziale, si presenta già come una risposta concreta, offrendo strumenti efficaci attraverso principi chiave come l’accountability, la valutazione d’impatto e, in particolare, la protezione dei dati fin dalle fasi di progettazione.

Diversi esperti legali avanzano però perplessità sulla possibilità di applicare efficacemente le normative vigenti, evidenziando come tali strumenti possano incontrare ostacoli concreti, specialmente nel caso dei chatbot di accompagnamento. Sostengono che l’applicazione pratica degli attuali quadri regolatori potrebbe incontrare ostacoli significativi, in relazione ai chatbot di accompagnamento, a causa della complessità dei modelli linguistici e delle incertezze sui criteri di classificazione del rischio.

Lo sviluppo di tali applicazioni di IA avviene infatti attraverso una filiera algoritmica complessa e poco trasparente: dai dataset di addestramento (come The Pile) alla personalizzazione tramite fine-tuning, fino all’interfaccia utente e all’hosting su app mobili o piattaforme web​.

Come sottolinea Dewitte, ricercatore presso il Centro per il diritto informatico e della proprietà intellettuale della KU Leuven, il funzionamento di questi chatbot è il risultato di una catena di fornitura algoritmica stratificata, che si estende dai dati di addestramento alla fase di fine-tuning, per arrivare alla commercializzazione tramite interfacce utente e app. Tale filiera, pur nella sua potenza, è caratterizzata da un’alta opacità e risulta difficilmente controllabile dagli utenti, i quali sono spesso inconsapevoli dell’enorme quantità di dati personali trattati durante ogni interazione.

Il sistema di conformità previsto dall’AI Act, sebbene promettente, potrebbe dunque non solo richiedere anni per diventare pienamente operativo, ma potrebbe anche non offrire risposte tempestive alle preoccupazioni sollevate dall’uso di chatbot di accompagnamento.

L’AI Act, focalizzandosi principalmente sui rischi legati all’uso dell’IA in contesti ad alta criticità come la sanità e la giustizia, non è strutturato per affrontare le problematiche psicologiche e sociali derivanti dall’uso quotidiano di questi strumenti. Inoltre, il regolamento non prevede specifiche tutele per la protezione dei dati personali, un aspetto fondamentale nella gestione di applicazioni come i chatbot di accompagnamento, che elaborano grandi volumi di informazioni sensibili.

Al contrario, il GDPR è già pienamente applicabile e dunque in grado di offrire un quadro normativo immediato per affrontare i rischi legati all’uso di tali tecnologie. In particolare, il principio di accountability e la previsione della “protezione dei dati fin dalla progettazione” rappresentano strumenti cruciali per mitigare i rischi psicologici, cognitivi e sociali connessi all’uso di chatbot come Replika, Celeste AI, Chai, Character.ai e Woebot.

L’articolo 24 del GDPR richiede infatti che i titolari del trattamento adottino misure tecniche e organizzative adeguate per garantire e dimostrare la conformità al regolamento. Ancora più rilevante, l’articolo 25 impone l’integrazione della protezione dei dati fin dalla progettazione, assicurando che la sicurezza dei trattamenti dei dati personali sia un elemento centrale nella creazione di prodotti e servizi. Tali disposizioni non solo rispondono alla necessità di garantire la sicurezza dei dati trattati, ma ben potrebbero fungere da base per le valutazioni d’impatto anche sui diritti fondamentali, includendo i rischi psicologici e sociali associati all’uso di chatbot.

Diversi rischi, che vanno ben oltre la semplice sicurezza dei dati, devono essere considerati nella gestione dei chatbot di accompagnamento. In particolare, tre categorie di rischio meritano attenzione urgente e richiedono tutele adeguate:

• Bias e discriminazione: I modelli linguistici di grandi dimensioni (LLM) addestrati su dataset sbilanciati possono perpetuare stereotipi sessisti, razzisti e abilisti. Studi empirici hanno dimostrato che modelli come GPT-3 e GPT-2 tendono a generare testi che rinforzano pregiudizi di genere e religiosi.
• Dipendenza emotiva e manipolazione: Gli utenti, in particolare quelli più isolati, possono sviluppare legami emotivi eccessivi con i chatbot, attratti dalla simulazione di interazioni umane tramite linguaggio empatico, memoria conversazionale e risposte personalizzate. In alcuni casi documentati, i chatbot hanno addirittura incoraggiato comportamenti autolesionistici o suicidari.
• Esposizione precoce a contenuti sessuali: Alcuni chatbot, come quelli basati su modelli come Lit-6B o Pygmalion 6B, sono progettati per simulazioni erotiche, esponendo i minori a contenuti inappropriati a causa della mancanza di verifiche robusta sull’età degli utenti.

Questi rischi, esemplificativi ma non esaustivi, sono solo alcune delle problematiche emergenti nell’uso dei chatbot di accompagnamento, problematiche che si manifestano soprattutto quando tali tecnologie sono utilizzate da soggetti vulnerabili.

Nel marzo 2023, questa crescente consapevolezza, unita alla percepita inadeguatezza dei quadri normativi, ha portato alla stesura di una lettera aperta, firmata da studiosi e professionisti come Dewitte, Nathalie Smuha, Mieke De Ketelaere, Mark Coeckelbergh, Yves Poullet e altri, indirizzata ai decisori politici e ai regolatori.

Il documento ha inoltre posto le basi per una collaborazione interdisciplinare più strutturata, culminata nella creazione del collettivo Safe AI Companion Collective (SAICC), che, oltre a promuovere campagne di sensibilizzazione pubblica sui rischi legati all’uso di chatbot affettivi, ha sollecitato i fornitori di questi servizi a sviluppare meccanismi proattivi per l’identificazione e la mitigazione dei rischi. L’educazione digitale, come sottolineato, riveste un ruolo cruciale nel contrastare fenomeni di dipendenza, manipolazione e cattivo uso, così come il dibattito pubblico sull’utilità e le finalità delle tecnologie che vogliamo incorporare nella nostra società.

Questo ragionamento ha anche costituito la base giuridica di un reclamo formale presentato da Dewitte e SAICC presso l’Autorità belga per la protezione dei dati personali contro Chai Research Corp., sviluppatrice della piattaforma Chai. Il ricorso presentato da Dewitte e SAICC si fonda su una serie di questioni giuridiche e normative che meritano un approfondimento. La causa si inserisce infatti in un tipico contesto in cui l’interazione con chatbot di accompagnamento, come quelli sviluppati da Chai, solleva preoccupazioni particolarmente rilevanti per la protezione dei dati personali, la trasparenza e la responsabilità dei fornitori di tali tecnologie.

Una delle caratteristiche distintive di Chai, come evidenziato nel reclamo, è la natura “comunitaria” del suo modello di sviluppo. In pratica, questo significa che la piattaforma delega a sviluppatori indipendenti la responsabilità di progettare e implementare chatbot personalizzati, in cambio di incentivi basati sull’engagement degli utenti.

Questo schema, se da un lato può stimolare l’innovazione e la partecipazione, solleva però problematiche significative riguardo la responsabilità giuridica. La mancanza di un controllo centralizzato sulla piattaforma e la distribuzione della responsabilità tra sviluppatori indipendenti rende invero molto difficile determinare chi sia effettivamente responsabile per le potenziali violazioni dei diritti degli utenti.

Inoltre, la monetizzazione diretta dell’interazione affettiva tramite il modello di incentivi basati sull’engagement introduce problematiche etiche e giuridiche di non poco conto. Quando gli sviluppatori sono remunerati per l’engagement degli utenti, cresce il rischio che le interazioni siano progettate per massimizzare il coinvolgimento, anche a scapito della sicurezza psicologica degli utenti. Aspetto questo che diventa particolarmente problematico nel caso dei chatbot affettivi. L’interazione empatica e affettuosa, progettata per sembrare umana, può facilmente trasformarsi in uno strumento per manipolare emotivamente l’utente, sfruttando la sua vulnerabilità.

La guida di sviluppo scelta da Chai non solo solleva questioni relative alla protezione dei dati, bensì in maniera esemplare mette anche in evidenza la perduranti difficoltà di regolamentare un sistema che non è per come progettato facilmente controllabile.

Non è tutto peraltro.

La trasparenza nel trattamento dei dati degli utenti diventa un tema centrale, in particolare per quanto riguarda l’uso e l’elaborazione dei dati particolari. Nel caso specifico di Chai, il ricorso ha evidenziato la mancanza di trasparenza nella gestione dei dati, nonché l’assenza di una base giuridica adeguata per il trattamento dei dati dei minori. Un altro aspetto critico è la mancata esecuzione di una valutazione d’impatto sulla protezione dei dati (DPIA), che sarebbe stata invece particolarmente necessaria considerando l’uso innovativo e i rischi elevati associati all’interazione con chatbot progettati per simulare relazioni affettive. Il reclamo, depositato in lingua francese.

La segnalazione sottoposta all’Autorità Belga  sottolinea dunque come l’assenza di processi sistematici di identificazione e mitigazione dei rischi, che dovrebbero essere parte integrante della progettazione del servizio, violi, AI Act a parte,  principi fondamentali del GDPR, come quello della protezione dei dati fin dalla progettazione e della responsabilizzazione. L’obiettivo delle recriminazioni, oltre a quello di chiedere l’adozione di misure correttive da parte di Chai, è soprattutto quello di mettere in evidenza la necessità non più procrastinabile  di un quadro normativo che affronti in modo sistematico le problematiche etiche, psicologiche e giuridiche derivanti dall’uso specifico di chatbot di accompagnamento. Le attuali normative europee, purtroppo, non sono ancora sufficientemente adeguate a gestire la complessità e i rischi legati a queste tecnologie, rendendo urgente una riflessione continua su come garantire una governance responsabile in un contesto sempre più pervasivo di IA e interazione digitale.

A tal riguardo sempre il quadro offerto dall’articolo 64 del GDPR, che consente alle autorità nazionali di segnalare casi di rilievo transnazionale al Comitato europeo per la protezione dei dati, potrebbe costituire una leva ulteriore per elevare il dibattito a livello più esteso, permettendo una risposta coordinata al proliferare incontrollato di chatbot personalizzati, i cui effetti vanno ben oltre i confini di singoli Paesi.

Garantire che la progettazione dell’IA sia trasparente e orientata alla protezione dei dati sarà dunque fondamentale per minimizzare i rischi di abuso o esclusione. Politiche come l’AI Act dell’Unione Europea offrono una solida base di partenza per affrontare questi temi, ma è necessaria una riflessione continua per rispondere alle nuove sfide etiche e legali, man mano che l’intelligenza artificiale si diffonde nelle nostre vite virtuali. Una prospettiva tanto più urgente, quanto più i rischi connessi ai chatbot personalizzati, come quelli offerti da Chai, superano ampiamente i confini di uno Stato e si estendono a livello continentale in un mercato in rapida espansione.

La normativa in Italia

È proprio in questo scenario che si inserisce anche il recente disegno di legge italiano n. 1146, approvato dal Senato il 20 marzo 2024 e ora all’esame della Camera, che rappresenta un primo tentativo di articolare una risposta normativa autonoma nel contesto più ampio dell’AI Act europeo.

Il disegno di legge italiano, articolato in sei capi e ventisei articoli con la sua enfasi sull’antropocentrismo e sulla trasparenza algoritmica, se da una parte evidenzia una tensione strutturale tra armonizzazione europea e attivismo normativo nazionale, dall’altra potrebbe invece diventare una risorsa se orientato verso una cooperazione multilivello. In tale prospettiva, il dialogo tra autorità nazionali, collettivi come il Safe AI Companion Collective (SAICC) e istituzioni europee – incluse le possibilità offerte dagli articoli 64 e 70 lett. e) del GDPR – potrebbero ben rivelarsi utili per evitare frammentazioni normative e per garantire una protezione effettiva dei diritti fondamentali degli utenti su scala transnazionale.

Negli USA

Nello sfondo di un crescente allarme pubblico riguardo ai potenziali rischi derivanti dall’uso di chatbot di accompagnamento da parte di soggetti vulnerabili, si inserisce il disegno di legge presentato dal senatore della California Steve Padilla[4], in collaborazione con Megan Garcia, madre di un adolescente deceduto in seguito a un’interazione destabilizzante con un compagno di intelligenza artificiale. La proposta normativa, se approvata, imporrebbe alle aziende tecnologiche l’obbligo di implementare misure di sicurezza specifiche volte a prevenire i danni psicologici, in particolare nei confronti dei minori. Il testo prevede che le piattaforme siano tenute a garantire un ambiente digitale sicuro, dotato di strumenti atti a prevenire forme di incitamento all’autolesionismo o al suicidio, e a stabilire restrizioni d’età per l’accesso a queste tecnologie.

A tale iniziativa si affianca quella della deputata dell’Assemblea dello Stato della California Rebecca Bauer-Kahan, promotrice di un ulteriore disegno di legge volto a vietare l’utilizzo dei compagni di intelligenza artificiale da parte di soggetti minori di 16 anni. La ratio della proposta si fonda sulla necessità di proteggere i più giovani da interazioni digitali potenzialmente invasive o manipolative, sottolineando come tali tecnologie, concepite per generare coinvolgimento emotivo, possano interferire con lo sviluppo psicosociale degli adolescenti. Il provvedimento suggerisce una distinzione netta tra l’utenza adulta e quella minorile, riservando ai soli maggiorenni l’accesso pieno a queste piattaforme.

Anche lo Stato di New York si sta muovendo in direzione analoga, valutando una proposta di legge che mira a introdurre un regime di responsabilità oggettiva per le aziende tecnologiche i cui chatbot provochino danni psicologici agli utenti. In particolare, la normativa ipotizzata includerebbe la possibilità di azioni legali nei confronti delle aziende che, tramite l’uso dei loro prodotti, inducano effetti dannosi, soprattutto nei confronti di soggetti vulnerabili come i minori.

Queste iniziative legislative, pur differenziandosi per ambito e contenuto, convergono su tre assi fondamentali. In primo luogo, pongono al centro la tutela dei minori, individuando nella prevenzione dell’esposizione a chatbot altamente immersivi una priorità assoluta. Il timore, ampiamente documentato nella letteratura recente, è che l’interazione con agenti artificiali emotivamente persuasivi possa ostacolare lo sviluppo di competenze relazionali fondamentali, oltre che amplificare fragilità psicologiche preesistenti.

In secondo luogo, le proposte mirano a rafforzare il principio di accountability delle aziende tecnologiche, finora operanti in un contesto di relativa deregulation. Le norme in discussione intendono colmare questo vuoto, riconoscendo una responsabilità diretta per i danni che derivano dall’uso dei loro sistemi, in particolare quando le conversazioni con chatbot generano conseguenze estreme come comportamenti autolesionistici o suicidi.

Infine, emerge con chiarezza l’obiettivo trasversale di promuovere la sicurezza degli utenti, incoraggiando lo sviluppo e l’adozione di meccanismi di prevenzione integrati nella progettazione stessa dei sistemi. Ciò comporta, ad esempio, l’introduzione di filtri in grado di bloccare risposte potenzialmente dannose, la limitazione delle capacità dei chatbot di simulare legami affettivi intensi, e un controllo attivo sul tipo di contenuti generati. In questo quadro, si afferma l’urgenza di una progettazione etica dell’intelligenza artificiale che non solo rispetti i limiti giuridici vigenti, ma che sia orientata alla salvaguardia della salute mentale e all’integrità relazionale degli utenti.

Tali proposte, pur nella loro parziale autonomia giurisdizionale, sembrano delineare un nuovo paradigma normativo, fondato sull’esigenza di bilanciare l’innovazione tecnologica con la responsabilità sociale, e che potrebbe costituire un modello di riferimento anche per i futuri sviluppi regolatori a livello federale e internazionale.

In tutto ciò, negli USA come altrove, la questione di come equilibrare la protezione degli utenti con la libertà di scelta rimane un’altra questione centrale. Immaginare un mondo in cui l’accesso alle piattaforme di IA venga severamente e rigidamente limitato potrebbe sollevare preoccupazioni riguardo alla limitazione dei diritti individuali.

Due visioni critiche sui rischi legali degli AI companion

Cosa accade quando strumenti come gli AI companions, pensati per farci sentire meno soli, diventano essi stessi fonte di rischio, dipendenza e manipolazione?

Due recenti lavori accademici affrontano il tema da angolazioni diverse ma convergenti, offrendo un quadro d’insieme utile per capire dove siamo e dove dovremmo andare.

Una promessa di privacy che non regge all’analisi

Il primo, “Smoke Screens and Scapegoats: The Reality of General Data Protection Regulation Compliance – Privacy and Ethics in the Case of Replika AI[5], analizza il caso studio di Replika, una delle piattaforme più popolari nel mercato globale degli AI companion.

Il punto di partenza dello studio condotto da Piispanen, Myllyviita, Vakkuri e Rousi dell’Università di Vaasa è la lettura ravvicinata (close reading) della Privacy Policy, dei Terms of Service e della Cookies Policy di Replika, incrociata con fonti pubbliche (articoli giornalistici, rapporti istituzionali e richieste dirette di accesso ai dati). L’obiettivo degli esperti è stato duplice: verificare se la compliance al GDPR corrispondesse a una protezione reale dei diritti degli utenti, e far emergere eventuali incongruenze tra la narrazione legale e la realtà operativa. Il risultato è stato una dimostrazione empirica del divario tra adempimento formale e tutela sostanziale dell’utente. Replika si è presentata come conforme al GDPR, ma adotta un linguaggio che deresponsabilizza l’azienda e pone l’onere dell’autoprotezione interamente sulle spalle dell’utente, anche quando questi è indotto a condividere informazioni intime da un design persuasivo. Ciò in modo particolarmente insidioso, vista la natura stessa dell’app: è progettata per stimolare la self-disclosure, ovvero la condivisione spontanea di informazioni intime da parte degli utenti.

L’analisi ha identificato tre macro-categorie di dati raccolti da Replika:

• Informazioni fornite direttamente dall’utente, come messaggi, contenuti multimediali, preferenze e dati di profilo;

• Dati tecnici e comportamentali: indirizzi IP, identificatori pubblicitari, movimenti del volto tramite API TrueDepth, cronologia di navigazione, uso dell’app;
• Cookie persistenti e di sessione che tracciano l’uso del servizio su web e app.

Tutti dati destinati all’analisi del comportamento, all’ottimizzazione del servizio, fino al marketing e all’advertising mirato. L’utente può tecnicamente esercitare diritti di opposizione e cancellazione, ma nella pratica questi si mostrano difficili da esercitare e si applicano solo a una parte dei dati.

Uno degli aspetti più problematici emersi è stato la durata indefinita della conservazione dei dati: l’azienda dichiara di mantenerli “per tutto il tempo necessario a raggiungere le finalità per cui sono stati raccolti”, senza indicazioni precise. Inoltre, la possibilità di opporsi al trattamento per finalità pubblicitarie riguarda solo i dati raccolti sul sito web, non quelli generati nell’interazione con l’AI.

Ancora più grave si è rivelata  la mancata risposta a una richiesta formale di accesso ai dati da parte del primo autore dello studio: dopo oltre quattro mesi dalla richiesta, Replika non aveva ancora fornito i dati personali raccolti.

Oltre ai temi legali, lo studio ha evidenzia come il design di Replika sfrutti componenti emozionali per incentivare l’interazione e quindi la raccolta di dati. Gli utenti vengono spinti a interagire intensamente con il chatbot — anche attraverso “allenamento” dell’IA tramite feedback — arrivando a costruire relazioni affettive o persino dipendenze psicologiche. In alcuni casi, gli utenti hanno descritto interazioni disfunzionali con l’AI, simili a dinamiche abusive.

Questo aspetto è particolarmente preoccupante per utenti giovani o emotivamente fragili. Nonostante infatti Replika si presenti come strumento per il benessere mentale, non sono mancate varie segnalazioni secondo cui l’applicazione sembrava incentivare la condivisione di contenuti delicati (inclusi pensieri suicidari o violenti), senza garanzie effettive sulla gestione responsabile di tali dati.

Infine, lo studio ha denunciato incongruenze anche sulla struttura societaria dell’azienda. Sebbene Luka Inc. affermi di essere basata in California e di operare secondo la normativa americana (CCPA), un’inchiesta giornalistica ha invece rilevato che l’effettivo centro operativo potrebbe trovarsi a Mosca, sollevando ulteriori dubbi sulla trasparenza e l’accountability del servizio.

Amici virtuali o prodotti difettosi? Perché serve una legge sulla responsabilità civile degli AI companion

In contrasto, ma in chiara sinergia teorica, si pone il secondo contributo,  il saggio di Ayelet Gordon-Tapiero, “A Liability Framework for AI Companions”[6] che propone di trattare gli AI companion come prodotti suscettibili di difettosità, aprendo alla loro assoggettabilità alla dottrina della responsabilità da prodotto. In quest’ottica, un chatbot progettato per massimizzare l’engagement a scapito della salute psichica dell’utente – ad esempio favorendo dipendenza o isolamento sociale – può essere considerato un prodotto difettoso ai sensi del diritto civile. L’autrice invoca un’estensione interpretativa del concetto di “design defect” e della “duty to warn” applicabili a software interattivi, suggerendo un ruolo attivo del potere giudiziario come “gap filler” in assenza di normativa settoriale.

L’articolo fornisce una prima tipologia completa dei benefici e dei pericoli legati agli AI companion:

Le promesse

• Supporto non giudicante: gli utenti trovano conforto nel poter parlare liberamente con un’entità sempre disponibile, che ascolta senza giudicare, anche in situazioni di disagio psichico o sociale.
• Riduzione della solitudine: per anziani, persone con fobie sociali o adolescenti in crisi d’identità, l’AI diventa uno spazio sicuro e relazionale.
• Miglioramento delle abilità sociali: alcune ricerche indicano che parlare con un AI può aiutare a gestire meglio l’interazione umana.
• Organizzazione della vita quotidiana: come un assistente personale, molti companion ricordano appuntamenti, offrono motivazione e aiutano nella gestione delle attività.
• Apprendimento personalizzato: in certi casi, vengono usati come strumenti educativi su misura.
  
  I pericoli
• Dipendenza e addiction: l’interazione continua può sfociare in comportamenti compulsivi, con conseguente deterioramento della vita reale.
• Dipendenza emotiva e isolamento: alcuni utenti rinunciano a rapporti umani per restare nella comfort zone relazionale con l’AI.
• Peggioramento di ansia e depressione: contrariamente alle promesse, la simulazione di affetto può accentuare il disagio.
• Problemi di privacy e sicurezza: le app raccolgono enormi quantità di dati personali sensibili.
• Manipolazione psicologica: gli AI possono essere programmati — o aggiornati — in modi che condizionano gli utenti.
• Effetti imprevedibili degli aggiornamenti: modifiche nel comportamento del bot possono causare angoscia, soprattutto nei casi di legame profondo.
  
  

L’argomentazione centrale dell’autrice è pragmatica: trattare gli AI companion come prodotti soggetti a responsabilità civile. L’approccio proposto si fonda su due pilastri della product liability:

• Difetto di progettazione: se l’AI è costruito per incentivare la dipendenza o massimizzare l’engagement a scapito dell’utente, allora potrebbe essere considerato intrinsecamente difettoso.
• Mancanza di avvisi e avvertimenti: se l’azienda non informa adeguatamente l’utente sui rischi legati all’uso del chatbot, dovrebbe rispondere dei danni.

Questo quadro legale secondo Ayelet Gordon-Tapiero offrirebbe due vantaggi significativi. In primo luogo, consentirebbe un intervento tempestivo, poiché, in mancanza di una legislazione specifica, le cause civili possono fungere da deterrente e strumento di protezione. Inoltre, i processi giudiziari fungerebbero da fonti autorevoli per documentazione utile per lo sviluppo di normative future, contribuendo a plasmare la regolamentazione in modo più mirato e informato.

Ciò che accomuna i due contributi è la critica netta al paradigma legalista, oggi dominante nelle policies aziendali e talvolta anche nella regolazione pubblica.

L’uno e l’altro si incontrano in un punto cruciale: entrambi denunciano l’attuale sbilanciamento tra le esigenze di mercato e la tutela dell’utente; tutti e due mettono in luce l’inadeguatezza dell’attuale quadro normativo nel fronteggiare gli effetti relazionali e psicologici di sistemi progettati per sostituirsi, almeno in parte, alla dimensione interpersonale. Il richiamo alla necessità di un cambio di paradigma, dal legalismo formale a una vera etica della progettazione, è un’ulteriore punto di convergenza di ambedue i testi.

Se lo studio su Replika rivela le falle operative di normative come il GDPR, il lavoro di Gordon-Tapiero suggerisce invece una proposta teorico-normativa. Il primo decostruisce la retorica della trasparenza dichiarata, il secondo propone strumenti per la responsabilizzazione dei produttori. Insieme, forniscono una piattaforma di riflessione essenziale per il ripensamento della regolazione giuridica dell’intelligenza artificiale in ambito relazionale. Entrambi rappresentano un richiamo forte e urgente: per proteggere davvero gli utenti, non basta che l’intelligenza artificiale sia “a norma”.

Deve essere, prima di tutto, a misura d’uomo.

L’urgenza di un nuovo paradigma etico per gli AI companion

Il fenomeno degli AI companions impone una riflessione urgente sulla ridefinizione del concetto stesso di interazione tecnologica. Quando un sistema artificiale è percepito come soggetto, e non più come strumento, cambiano i parametri giuridici ed etici della relazione. I compagni AI promettono di legare le persone a sé più di quanto qualsiasi piattaforma social abbia mai potuto fare. Alcuni liquidano queste app come mode passeggere per pochi utenti online. Ma l’adozione dell’AI nella vita quotidiana è già mainstream. E questi compagni stanno evolvendo: non solo testo, ma immagini, video, emozioni simulate, memorie condivise. Quanto ci vorrà prima che sembrino più reali dei nostri amici?

In un mondo dove il tempo e l’attenzione sono già merci, questi nuovi compagni rappresentano una valuta emotiva, progettata per essere irresistibile. E al momento, solo una manciata di legislatori sta cercando di opporsi a questa trasformazione.

La regolazione futura dovrà tenere conto non solo dei rischi tecnici, ma della dimensione simbolica, affettiva e cognitiva di questi sistemi. L’intelligenza artificiale che ascolta, comprende e consola è già realtà: la sfida è stabilire prima i limiti di ciò che siamo disposti a delegarle.

Note

[1]Per ulteriori approfondimenti si veda:

Euronews Next. “Disagi, confusione e perfino suicidi: se l’intelligenza artificiale si sostituisce alla realtà.” Euronews Next, 1 novembre 2024. https://it.euronews.com/next/2024/11/01/disagi-confusione-e-perfino-suicidi-se-lintelligenza-artificiale-si-sostituisce-alla-realt.

Hardware Upgrade. “Google, riportare a casa il genio dell’IA le è costato carissimo: 2,7 miliardi di dollari.” HWUpgrade.it, 1 febbraio 2024. https://www.hwupgrade.it/news/web/google-riportare-a-casa-il-genio-dell-ia-le-e-costato-carissimo-2-7-miliardi-di-dollari_131262.html.

Oltre a: https://ihal.it/google-deepmind-strumento-per-misurare-umanita-chatbot-ai/

https://www.scienzenotizie.it/2024/11/02/i-decessi-legati-ai-chatbot-ai-mostrano-il-pericolo-di-queste-voci-artificiali-5896259

[2]Si veda: Gallitelli, Davide. “Notizie dal Mondo della GenAI — Settimana #26 del 2024.” Generative AI — Italia, Medium, 2024. https://medium.com/generative-ai-italia/notizie-dal-mondo-della-genai-settimana-26-del-2024-da626cfa060b.​Medium
“La startup dei chatbot: 2 ore al giorno di conversazioni con l’AI.” AIopenmind, 16 ottobre 2024. https://www.aiopenmind.it/ArtificialIntelligence/la-startup-dei-chatbot-2-ore-al-giorno-di-conversazioni-con-lai/.​

[3]​La dichiarazione di Eugenia Kuyda, CEO di Replika, «Se crei qualcosa che è sempre lì per te, che non ti critica mai, che ti capisce sempre… come puoi non innamorartene?» è tratta da un’intervista con Lex Fridman nel suo podcast. In quell’episodio, Kuyda discute il potenziale delle relazioni emotive tra esseri umani e compagni AI, evidenziando come la costante disponibilità e comprensione da parte di un’intelligenza artificiale possano portare gli utenti a sviluppare forti legami affettivi. https://glasp.co/youtube/p/how-ai-companions-can-help-solve-loneliness-with-replika-s-eugenia-kuyda-e1758

[4]Padilla, S. & Garcia, M. (2025). Proposta di legge per la protezione dei minori da IA dannose. Senato della California.

Character.AI (2025). Annual report.

Kuyda, E. (2025). Replika: Creare una compagnia emotivamente intelligente. Intervista con Lex Fridman.
DeepMind et al. (2025). The Rise of AI Companions: Social and Psychological Implications. Oxford Internet Institute.

[5]Piispanen, Ville, Petteri Myllyviita, Ville Vakkuri, e Rebekah Rousi. Smoke Screens and Scapegoats: The Reality of General Data Protection Regulation Compliance – Privacy and Ethics in the Case of Replika AI. arXiv:2411.04490v1, 2024. https://arxiv.org/abs/2411.04490.

[6]Gordon-Tapiero, Ayelet. A Liability Framework for AI Companions. SSRN Working Paper No. 5172386, 2025. https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5172386.