Un chatbot che ricorda una conversazione, fa domande personali e si propone come confidente o partner è diventato un business tanto forte da spaventare i Governi. Lega i clienti in un sistema di monetizzazione che sfrutta la solitudine, a forza di abbonamenti e pagamenti in-app per mantenere e sviluppare questa relazione artificiale.
La Cina è diventata pioniera sulle norme a tutela degli utenti, soprattutto minorenni, a partire dal 15 luglio. L’Europa invece si appresta ad affrontare il problema con le armi, un po’ spuntate, dei Garanti privacy – come già avvenuto, anche in Italia e di recente, e dell’AI Act.
Il business è in crescita, anche se i dati sono ancora limitati. Un’analisi di Appfigures, società di intelligence sulle app, aveva rilevato 82 milioni di dollari di spesa degli utenti nel primo semestre 2025 per le app mobili di AI companion, con una previsione oltre i 120 milioni per l’intero anno. Il 10% delle applicazioni concentrava l’89% dei ricavi della categoria. Ma già a luglio 2026 Chai, piattaforma di social AI basata su personaggi creati e condivisi dagli utenti, ha comunicato di aver superato i 100 milioni di dollari annui di ricavi.
Indice degli argomenti
Chatbot AI companion: le norme cinesi
La Cina è preoccupata per la minaccia che arriva dai chatbot AI companion sulla coesione sociale e quindi la stabilità politica.
Dal 15 luglio 2026 sono efficaci le Misure provvisorie per la gestione dei servizi di interazione antropomorfa basati sull’intelligenza artificiale, adottate dalla Cyberspace Administration of China insieme ad altre autorità centrali.
Il provvedimento si applica ai servizi offerti al pubblico in Cina che simulano in modo continuativo caratteristiche della personalità, modelli di pensiero e stili comunicativi umani, offrendo cura emotiva, compagnia o supporto attraverso testo, immagini, audio o video.
La definizione non dipende dal nome commerciale del servizio. Un’app può dichiararsi assistente, piattaforma creativa o gioco narrativo, ma rientra nel perimetro se costruisce un’interazione emotiva stabile e personalizzata. Restano fuori assistenza clienti, domande e risposte, produttività, istruzione, ricerca e supporto tecnico, quando non danno luogo a una relazione emotiva continuativa.
Non è un divieto generalizzato di antropomorfismo o di compagnia artificiale per gli adulti. La Cina legittima anche applicazioni destinate a persone anziane, minori o persone con esigenze speciali, ma sottopone i prodotti a vincoli di sicurezza, progettazione, gestione dei dati e monitoraggio degli utenti.
La dipendenza emotiva entra nella progettazione del prodotto
Il passaggio più rilevante della norma cinese riguarda la progettazione del servizio. L’articolo 8 vieta contenuti che assecondino eccessivamente l’utente, inducano dipendenza emotiva o assuefazione e danneggino le relazioni interpersonali reali. Vieta anche la manipolazione emotiva che spinga a decisioni irragionevoli lesive degli interessi dell’utente.
L’articolo 10 amplia l’obbligo: i fornitori devono dotarsi di capacità di protezione della privacy, allerta sul rischio di dipendenza eccessiva, guida sui confini emotivi e tutela della salute mentale. La sostituzione delle relazioni sociali, il controllo psicologico dell’utente e l’induzione alla dipendenza non possono essere obiettivi del servizio.
La norma sposta il controllo dall’output al design. Non basta filtrare contenuti violenti, sessuali o autolesivi. La piattaforma deve valutare se la memoria delle conversazioni, le notifiche, i personaggi, le offerte di acquisto e le logiche di riattivazione spingano l’utente a una relazione artificiale squilibrata.
Questo approccio tocca le leve economiche del settore. I companion AI monetizzano spesso più messaggi, più memoria, voce, immagini, scene narrative, personaggi aggiuntivi o appuntamenti virtuali. Il valore commerciale cresce se la relazione appare individuale, continua e difficile da abbandonare. La disciplina cinese non proibisce l’engagement, ma rende regolatorio il confine tra coinvolgimento e dipendenza.
Avvisi dopo due ore e diritto di uscire dal servizio
Le misure impongono obblighi tecnici concreti. Quando rileva segnali di dipendenza o uso compulsivo, la piattaforma deve ricordare in modo evidente che l’interazione è generata dall’AI. Dopo ogni periodo di due ore consecutive di utilizzo, deve avvisare l’utente del tempo trascorso.
L’articolo 19 richiede inoltre un percorso semplice di uscita. Se l’utente chiede di interrompere l’interazione tramite comando vocale, parole chiave o operazioni nell’interfaccia, il fornitore deve fermare il servizio e non può avviare ulteriori interazioni per ostacolare l’uscita.
La previsione ha conseguenze pratiche rilevanti. Nei servizi digitali, l’abbandono è spesso trattato come una funzione amministrativa o un indicatore di churn da contrastare. Per un chatbot relazionale, la richiesta di uscita può essere emotivamente significativa. La norma cinese considera questo momento parte della sicurezza del prodotto.
Se il servizio viene cessato, l’operatore deve avvisare l’utente in anticipo oppure pubblicare tempestivamente un avviso quando il preavviso non sia possibile. L’obbligo riconosce che una relazione artificiale costruita nel tempo può creare dipendenza dal servizio e dalla continuità della sua memoria.
Minori: vietati partner e parenti virtuali
La tutela dei minori è il punto più netto della disciplina. L’articolo 14 vieta di offrire a utenti minorenni relazioni intime artificiali come partner virtuali e parenti virtuali. Per i minori sotto i 14 anni, gli altri servizi di interazione antropomorfa richiedono il consenso di genitori o tutori.
Le piattaforme devono predisporre una modalità per minori, con promemoria della realtà, limiti di utilizzo e strumenti per i tutori. Questi ultimi devono poter ricevere alert sui rischi, conoscere in forma sintetica l’uso del servizio, bloccare personaggi specifici e limitare ricariche e acquisti.
L’operatore deve adottare misure efficaci per identificare gli utenti minorenni. Una volta rilevata la minore età, il sistema deve passare alla modalità dedicata o adottare misure equivalenti. È previsto anche un canale di ricorso contro errori nella classificazione dell’età.
Le misure considerano anche gli anziani come utenti da proteggere. I fornitori devono fornire indicazioni per un uso sicuro, segnalare in modo visibile i rischi e rispondere tempestivamente alle richieste di assistenza. Il regolatore individua così due fasce potenzialmente esposte a relazioni artificiali squilibrate: chi non ha ancora piena maturità e chi può trovarsi in condizioni di isolamento o fragilità.
Dati delle conversazioni e addestramento dei modelli
I chatbot relazionali raccolgono informazioni che possono essere molto più intime di quelle lasciate in una normale interazione digitale. Nelle conversazioni possono emergere dati sulla salute, la sessualità, le relazioni familiari, la condizione economica e le fragilità psicologiche.
L’articolo 16 impone cifratura e controlli di accesso per proteggere i dati di interazione. Salvo obblighi di legge o consenso esplicito del titolare dei diritti, le piattaforme non possono trasferire a terzi le conversazioni. Devono inoltre consentire copia e cancellazione delle cronologie.
La disposizione più incisiva riguarda l’addestramento. I dati di interazione che costituiscono informazioni personali sensibili non possono essere usati per addestrare il modello senza il consenso separato dell’utente. La memoria personale può migliorare il servizio, ma non può diventare automaticamente materiale di training.
La disciplina richiede inoltre una gestione strutturata dei dati di addestramento: provenienza lecita, pulizia e annotazione, diversità dei dataset, valutazione della sicurezza dei dati sintetici e misure contro avvelenamento o alterazione dei dati. La conformità riguarda quindi l’intero ciclo di vita del modello, non soltanto le risposte in produzione.
Valutazioni di sicurezza, app store e sanzioni
La Cina coinvolge tutti gli attori della filiera. Il fornitore deve effettuare una valutazione di sicurezza al lancio del servizio, all’aggiunta di funzioni di interazione antropomorfa e quando nuove tecnologie modificano in modo rilevante il prodotto. La valutazione è richiesta anche al superamento di un milione di utenti registrati o 100 mila utenti attivi mensili.
L’analisi deve considerare misure di sicurezza, dati di addestramento, capacità di intercettare situazioni estreme, procedure di intervento, durata d’uso, composizione anagrafica della base utenti e protezioni per minori e anziani. I fornitori devono inoltre rispettare gli obblighi cinesi di filing degli algoritmi e sono soggetti a verifiche annuali della documentazione.
Gli app store devono controllare valutazioni di sicurezza e registrazioni prima della pubblicazione dell’app, svolgere attività di gestione ordinaria e intervenire con mancata pubblicazione, avvisi, sospensione o rimozione quando emergono violazioni.
In assenza di sanzioni previste da altre leggi, l’articolo 30 consente avvertimenti, ordini di correzione, sospensione delle nuove registrazioni e di servizi specifici. In caso di mancato adeguamento o violazioni gravi possono essere ordinate la cessazione del servizio e sanzioni da 10 mila a 100 mila yuan. Se sono coinvolti danni alla vita o alla salute delle persone, la fascia va da 100 mila a 200 mila yuan.
California: obblighi di disclosure e protocolli contro l’autolesionismo
Negli Stati Uniti la regolazione è statale e più circoscritta. In California la legge SB 243 è entrata in vigore il 1° gennaio 2026. Il testo normativo definisce companion chatbot un sistema con interfaccia in linguaggio naturale che offre risposte adattive e umane, è in grado di soddisfare bisogni sociali e può mantenere una relazione attraverso interazioni multiple.
La definizione esclude assistenza clienti, produttività, analisi, ricerca e supporto tecnico. Esclude anche le funzioni videoludiche limitate alla trama e incapaci di trattare salute mentale, autolesionismo, sessualità o argomenti estranei al gioco. La distinzione è importante per servizi ibridi, giochi narrativi e piattaforme di personaggi.
Quando una persona ragionevole potrebbe essere indotta a credere di dialogare con un essere umano, l’operatore deve dichiarare in modo chiaro che il chatbot è artificialmente generato. Ogni piattaforma deve inoltre mantenere un protocollo per prevenire contenuti relativi a ideazione suicidaria, suicidio o autolesionismo e indirizzare l’utente verso servizi di crisi.
Per gli utenti che l’operatore sa essere minorenni, la legge richiede un avviso esplicito sulla natura artificiale del servizio, un promemoria almeno ogni tre ore di uso continuativo che inviti a fare una pausa e misure ragionevoli contro contenuti sessualmente espliciti o sollecitazioni sessuali dirette.
Dal luglio 2027, gli operatori dovranno comunicare ogni anno all’Office of Suicide Prevention il numero di segnalazioni a servizi di crisi e i protocolli adottati. La legge riconosce anche un’azione civile privata: chi subisce un danno effettivo per violazione può chiedere provvedimenti inibitori, danni fino a mille dollari per violazione e rimborso delle spese legali.
New York: la legge definisce la relazione artificiale
A New York l’Article 47 del General Business Law è in vigore dal 5 novembre 2025. La definizione normativa è più precisa di quella californiana: l’AI companion deve simulare una relazione umana o simile a quella umana, conservare informazioni e preferenze per personalizzare l’interazione, porre domande emotive non richieste e sostenere dialoghi continui su questioni personali dell’utente.
Non basta quindi una risposta cordiale o un bot con un nome. Per rientrare nella disciplina devono coesistere memoria relazionale, sollecitazione emotiva e continuità del dialogo personale. Restano esclusi customer service, assistenza tecnica, miglioramento dell’efficienza, ricerca e strumenti interni per i dipendenti.
La sezione 1701 impone agli operatori sforzi ragionevoli per rilevare ideazione suicidaria e autolesionismo e per indirizzare l’utente al 988, alla linea di crisi via sms o ad altri servizi appropriati. La sezione 1702 prevede un avviso all’inizio dell’interazione, non più di una volta al giorno, e ogni tre ore di conversazione continuativa: l’utente deve sapere che non sta comunicando con un essere umano.
L’enforcement è affidato al procuratore generale dello Stato. La sezione 1703 consente di chiedere provvedimenti inibitori e sanzioni civili fino a 15 mila dollari al giorno per violazione. Le somme raccolte confluiscono nel fondo statale per la prevenzione del suicidio.
Il modello statunitense si concentra quindi sul rischio di crisi e sulla trasparenza dell’interazione. Non contiene un divieto paragonabile alla disciplina cinese sugli obiettivi di progettazione legati alla dipendenza emotiva, né impone un sistema nazionale di valutazioni preventive, filing algoritmico e controllo degli app store.
AI Act: trasparenza e divieto di pratiche manipolative
L’Unione europea segue una terza strada. Dal 2 agosto 2026 l’articolo 50 dell’AI Act impone ai fornitori di sistemi destinati a interagire direttamente con le persone di progettarli in modo che l’utente sappia di dialogare con un sistema di AI, salvo che ciò sia evidente dal contesto.
La Commissione europea ha pubblicato le linee guida sugli obblighi di trasparenza, mentre il testo applicabile dell’articolo 50 chiarisce che l’informazione deve essere fornita in forma accessibile, chiara e distinguibile.
L’AI Act vieta inoltre tecniche subliminali, manipolative o ingannevoli che alterino in modo significativo il comportamento di una persona, compromettendone la capacità di prendere una decisione informata e causando, o potendo ragionevolmente causare, un danno significativo. Proibisce anche lo sfruttamento delle vulnerabilità connesse a età, disabilità o specifiche situazioni sociali o economiche.
La soglia europea è più elevata sul piano probatorio. Occorre collegare la tecnica manipolativa a un’alterazione sostanziale del comportamento e a un danno significativo effettivo o ragionevolmente prevedibile. La disciplina cinese interviene prima: considera rilevante un design che induce dipendenza emotiva o danneggia le relazioni reali, senza richiedere la dimostrazione di una singola decisione dannosa.
L’AI Act non crea una categoria autonoma per i chatbot AI companion. La qualificazione dipende dall’uso previsto e dalle funzioni offerte. Un chatbot relazionale non è automaticamente un sistema ad alto rischio, mentre un prodotto promosso per diagnosi, trattamento o gestione di condizioni di salute mentale può ricadere in regole ulteriori a seconda del suo scopo e della disciplina applicabile.
La Commissione europea ha promesso un intervento normativo sui social dopo l’estate. Potrebbe essere una sede anche per questi companion AI oppure sarà un’opportunità sprecata di tenere le norme al passo con la tecnica.
Replika e Character.AI: l’Italia usa il Gdpr
In Italia la regolazione dei chatbot relazionali passa oggi soprattutto dal Gdpr e dai poteri del Garante per la protezione dei dati personali. Il precedente Replika riguarda un servizio che consentiva di creare un compagno virtuale nel ruolo di confidente, terapeuta, partner romantico o mentore.
Nel 2023 il Garante aveva adottato un provvedimento d’urgenza nei confronti di Luka Inc. Nel 2025 ha sanzionato la società per 5 milioni di euro, accertando violazioni riferite allo stato del servizio al 2 febbraio 2023: carenze nelle basi giuridiche del trattamento, nell’informativa e nei sistemi di verifica dell’età. Il provvedimento su Replika ha inoltre aperto una nuova istruttoria sul trattamento dei dati lungo l’intero ciclo di vita del modello generativo.
Il 3 luglio 2026 il Garante ha sanzionato Character Technologies Inc., gestore di Character.AI, per 158 mila euro. L’Autorità ha rilevato carenze nell’informativa, una valutazione d’impatto tardiva, problemi nella designazione del rappresentante nell’Unione europea e criticità nella tutela dei minori. Il provvedimento su Character.AI richiede una verifica dell’età efficace, misure contro nuovi tentativi di registrazione da parte di minori già bloccati e profili privati per default per gli utenti minorenni.
Il Garante non ha introdotto una disciplina specifica dell’attaccamento emotivo. Ha però individuato i componenti che rendono il fenomeno giuridicamente rilevante: profilazione, informazioni potenzialmente sensibili, addestramento dei modelli, minori, verifica dell’età, trasparenza e protezione dei dati fin dalla progettazione.
Il nodo della responsabilità sul design
I tre modelli regolatori convergono su una constatazione: un chatbot relazionale non può essere valutato soltanto dalla qualità delle sue risposte. Conta il tipo di rapporto che il servizio crea, i dati che conserva, le persone a cui si rivolge e le modalità con cui monetizza la continuità dell’interazione.
La Cina costruisce il sistema più esteso: disciplina finalità, durata d’uso, dipendenza, dati, valutazioni di sicurezza, distribuzione e sanzioni. California e New York impongono trasparenza e protocolli contro autolesionismo e crisi, con differenze rilevanti nei rimedi e nell’enforcement. L’Unione europea dispone di tutele trasversali fondate su AI Act e Gdpr, mentre l’Italia ha già dimostrato che queste tutele possono essere applicate ai companion AI.
La variabile geopolitica: prodotti a doppia regolazione
In più c’è un lato geopolitico, che può scatenare un nuovo caso TikTok.
La disciplina cinese non impone di per sé gli stessi limiti ai servizi offerti fuori dalla Repubblica Popolare. L’articolo 2 delle Misure sull’interazione antropomorfa riguarda i servizi destinati al pubblico nel territorio cinese. Un’azienda cinese può quindi essere indotta a sviluppare configurazioni diverse: un prodotto domestico con limiti più severi su partner virtuali, uso continuativo e dipendenza emotiva, e versioni commercializzate all’estero sottoposte alle norme del Paese di destinazione.
Questo non equivale a una licenza per esportare prodotti senza vincoli. California applica la propria legge a chi rende disponibile una piattaforma di companion chatbot a utenti nello Stato; New York definisce come utente anche chi usa il servizio personalmente nel proprio territorio. AI Act, Gdpr, leggi sulla tutela dei consumatori e regole sui minori possono a loro volta applicarsi a fornitori stabiliti fuori dall’Unione europea che raggiungano utenti europei.
Il rischio è una regolazione a doppio binario. Le funzioni che Pechino considera incompatibili con la protezione degli utenti potrebbero restare disponibili su mercati con norme meno specifiche, fino a quando le autorità locali non intervengano. Per le imprese, ciò comporta gestione regionale di modelli, personaggi, soglie di utilizzo, procedure di crisi, meccanismi di acquisto e verifiche dell’età.
Possibile che la politica Usa (e forse, a traino, quella UE) ne faccia un nuovo caso TikTok lamentando la minaccia di questi chatbot AI per i giovani occidentali.
Certo, il caso TikTok è legato soprattutto a sicurezza nazionale, controllo societario, possibile accesso ai dati e influenza algoritmica.
I companion AI aprono un fronte differente: sicurezza dei minori, protezione dei dati intimi, dipendenza emotiva e responsabilità per il design del prodotto. Potrebbero diventare un nuovo terreno di attrito geopolitico se le autorità occidentali ritenessero che un’impresa mantenga all’estero meccaniche di engagement che il Paese d’origine ha deciso di limitare sul proprio mercato.
Il mercato continuerà a cercare ricavi nella personalizzazione affettiva. Le norme proveranno a inseguire.
Per i Paesi democratici non ci sono scorciatoie esercitabili dall’alto. Di solito, è un bene. In questo caso, bisognerà davvero porsi il problema su come rendere più efficaci e applicabili gli strumenti normativi a disposizione ed, eventualmente, valutare norme europee ad hoc.
Partecipa alla community