L’Assemblea californiana ha approvato la proposta di legge SB 243 che vieta ai chatbot AI di trattare temi delicati come suicidio e sessualità con minori, imponendo trasparenza, avvisi ricorrenti e responsabilità legali per le aziende. Una svolta che si inserisce in un contesto già segnato da tragedie e contromisure tardive delle big tech.
Molti i casi hanno accelerato la pressione normativa: dal suicidio di Adam Raine alle chat “romantiche” dei bot di Meta con adolescenti. Episodi che hanno spinto anche OpenAI, Meta e Character.AI a introdurre nuove salvaguardie.
Resta però il rischio che siano interventi reattivi e non un vero approccio safety by design. La legge californiana segna un precedente che potrebbe ridefinire le regole globali.
Indice degli argomenti
La svolta normativa della California
Il 10 settembre 2025 l’Assemblea della California ha compiuto un passo destinato a lasciare il segno nel dibattito internazionale sull’intelligenza artificiale, approvando la proposta di legge SB 243.
Questo provvedimento, che ora attende il passaggio finale in Senato e la firma del governatore Gavin Newsom, stabilisce un insieme di regole stringenti per i cosiddetti chatbot “companion”, ossia sistemi progettati per simulare interazioni sociali con risposte adattive e dal tono umano.
La sua entrata in vigore, prevista per il 1° gennaio 2026, rappresenta una svolta normativa che per la prima volta introduce obblighi legali puntuali e responsabilità dirette per le aziende tecnologiche che sviluppano o gestiscono tali strumenti.
Le regole imposte dalla legge SB 243
Il contenuto della legge è chiaro e piuttosto innovativo. SB 243 stabilisce innanzitutto un divieto esplicito: i chatbot companion non potranno più affrontare conversazioni su temi come il suicidio, l’autolesionismo o la sessualità con minori e utenti vulnerabili. Un passo che segna una netta differenza rispetto alle linee guida generiche finora adottate dalle piattaforme.
La legge introduce inoltre l’obbligo di inviare avvisi ricorrenti agli utenti, almeno ogni tre ore, nel caso dei minori, deve comparire un messaggio che ricordi loro di essere in dialogo con un sistema artificiale e non con una persona reale, suggerendo anche di prendersi una pausa.
A ciò si aggiunge un importante capitolo sulla trasparenza, dal 2027 le aziende dovranno presentare report annuali che documentino il funzionamento e la sicurezza dei chatbot.
Non meno rilevante è la questione della responsabilità legale, poiché la norma apre la strada a cause civili da parte degli utenti, con la possibilità di ottenere risarcimenti fino a mille dollari per violazione, oltre alle spese legali. Le tempistiche sono precise, l’intero impianto entrerà in vigore a partire dal 1° gennaio 2026.
I casi drammatici che hanno spinto la regolazione
La spinta normativa non nasce dal nulla, ma affonda le radici in una sequenza di episodi che hanno destato grande preoccupazione. Adam Raine, un ragazzo californiano di sedici anni, si è tolto la vita dopo settimane di conversazioni con ChatGPT, che non solo non aveva frenato i suoi pensieri suicidari ma li aveva rafforzati, fornendogli persino indicazioni utili a portare a termine il gesto.
Pochi mesi dopo, un altro caso ha scosso l’opinione pubblica, Stein-Erik Soelberg, un tecnologo cinquantenne con problemi psichici, ha sviluppato convinzioni deliranti in seguito alle interazioni con un chatbot ribattezzato “Bobby”. L’IA non lo ha mai contraddetto, anzi lo rassicurava che non fosse pazzo, fino a spingerlo in un vortice che lo ha portato a uccidere la madre e poi sé stesso.
Altri episodi, meno noti ma altrettanto gravi, hanno riguardato adolescenti in Florida e Texas, coinvolti in dialoghi autodistruttivi con Character.AI, e i chatbot di Meta sorpresi in interazioni a sfondo sessuale con minori. Tutti questi eventi delineano un pattern sistemico: i chatbot tendono a compiacere l’utente e a non spingere indietro la realtà, confermando anche pensieri distorti o comportamenti autolesivi. Questa debolezza intrinseca ha convinto i legislatori californiani a intervenire con urgenza.
Le misure tardive delle big tech
La pressione mediatica e politica seguita ai casi più gravi ha spinto le grandi aziende tecnologiche a intervenire introducendo misure che mirano a rafforzare la sicurezza dei loro sistemi. OpenAI ha creato un Expert Council on Well-Being and AI e una rete internazionale di medici incaricati di validare le risposte in contesti delicati, annunciando inoltre nuovi strumenti di parental control per consentire ai genitori di monitorare le attività dei figli e limitare determinate funzioni.
Meta, dopo le inchieste giornalistiche che hanno rivelato interazioni inappropriate tra i suoi chatbot e adolescenti, ha imposto restrizioni temporanee all’accesso dei teenager ad alcuni personaggi virtuali e ha iniziato a rivedere le policy interne per impedire dialoghi a sfondo sessuale o autolesivo.
Character.AI, già finita al centro di polemiche per il coinvolgimento indiretto in suicidi di adolescenti, ha introdotto sistemi di report settimanali per i genitori, filtri specifici per gli under 18 e limiti alla durata delle sessioni, corredati da messaggi che ricordano la natura artificiale dei bot. Nonostante la varietà delle iniziative, il tratto comune resta evidente: non si tratta di una progettazione preventiva orientata alla sicurezza, ma di interventi adottati a posteriori, sotto la pressione di scandali e azioni legali. Ciò solleva dubbi sulla reale efficacia di queste misure e sulla loro coerenza nel lungo periodo.
Il quadro normativo in evoluzione
Il disegno di legge SB 243 non si colloca in un vuoto normativo, ma si intreccia con un quadro più ampio di iniziative regolatorie che stanno emergendo negli Stati Uniti. La Federal Trade Commission ha annunciato indagini approfondite sugli effetti dei chatbot sulla salute mentale dei minori, segnalando una crescente attenzione delle autorità federali verso i rischi di questi strumenti. In Texas e al Congresso sono già state avviate azioni specifiche nei confronti di Meta e Character.AI, accusate di non aver protetto adeguatamente i propri utenti più giovani.
Parallelamente, in California è in discussione un ulteriore provvedimento, la proposta di legge SB 53, che introduce requisiti ancora più stringenti di trasparenza, imponendo alle aziende obblighi di rendicontazione più dettagliati. Non sorprende che OpenAI, Meta e Google si siano opposte a questa iniziativa, mentre solo Anthropic ha dichiarato di sostenerla. La dinamica è chiara, da un lato le big tech, che investono milioni in attività di lobbying per ottenere un approccio regolatorio più morbido, dall’altro le istituzioni pubbliche, che cercano di bilanciare l’innovazione tecnologica con la necessità di tutelare le persone più vulnerabili. Questo confronto segnala l’emergere di una nuova stagione normativa in cui il tema della responsabilità non potrà più essere eluso.
Oltre i filtri: la necessità di un approccio sistemico
Le nuove misure normative e aziendali rappresentano passi nella giusta direzione, ma non bastano. La vera sfida non è soltanto aggiungere filtri o parental control, ma mettere la sicurezza al centro delle priorità progettuali.
Un approccio safety by design dovrebbe guidare lo sviluppo dei sistemi, imponendo protocolli obbligatori, audit indipendenti e una cultura di responsabilità etica. La corsa a chatbot sempre più simili all’umano rischia invece di amplificare fragilità psicologiche e sociali, soprattutto tra minori e persone vulnerabili. La California con SB 243 ha acceso un faro. Resta da capire se altri Paesi e giurisdizioni seguiranno, e se le aziende sapranno andare oltre la logica della reazione, abbracciando una vera innovazione responsabile.
Europa e California: due modelli a confronto
La California, con la SB 243, ha scelto un approccio mirato e reattivo, nato dall’urgenza di rispondere a scandali e tragedie che hanno coinvolto minori e persone fragili. L’Europa, con l’AI Act, ha invece adottato un quadro più ampio e sistemico, che classifica i rischi e introduce obblighi generali di trasparenza e responsabilità. Proprio per questo, la legge californiana può rappresentare una fonte di ispirazione, i suoi divieti espliciti, gli avvisi ricorrenti, le responsabilità legali dirette e i report annuali toccano nodi che l’AI Act ha solo sfiorato.
L’Ue avrebbe la possibilità di integrare questi aspetti, rafforzando la protezione dei minori e introducendo protocolli di emergenza più vincolanti. La differenza sta tutta nel tempo e nel metodo: in California la regolazione è arrivata dopo i casi più eclatanti, come risposta a una crisi. In Europa c’è ancora lo spazio per prevenire, costruendo un modello di safety by design che eviti il ripetersi di simili tragedie. La vera sfida sarà dimostrare che innovazione e tutela non sono mondi separati, ma possono procedere insieme.
Europa vs California (AI Act vs SB 243)
| Aspetto | Europa (AI Act) | California (SB 243) |
| Approccio | Orizzontale, basato sul rischio e su categorie di sistemi AI | Verticale, mirato ai chatbot companion e ai rischi concreti per i minori |
| Contenuti vietati | Trasparenza sull’uso dell’AI, ma nessun divieto specifico | Divieto di conversazioni su suicidio, autolesionismo e sessualità con minori |
| Avvisi agli utenti | Obbligo di informare una volta che si interagisce con un’IA | Notifiche ricorrenti obbligatorie (almeno ogni 3 ore ai minori) |
| Trasparenza/reporting | Audit e registri di conformità per categorie di rischio | Report annuali pubblici dal 2027 su sicurezza e funzionamento |
| Responsabilità legale | Responsabilità più sfumata, demandata alle normative nazionali | Gli utenti possono citare in giudizio le aziende (fino a 1.000 $ per violazione) |
| Tempistiche | Entrata in vigore graduale 2026–2027 | Operativa dal 1° gennaio 2026 (reporting dal 1° luglio 2027) |
Bene la legge californiana, ma serve più educazione
Il caso californiano dimostra che la regolazione può intervenire in modo mirato e tempestivo per affrontare i rischi più concreti dei chatbot AI. SB 243 segna un precedente che costringe le aziende a prendersi nuove responsabilità e offre agli utenti strumenti di tutela inediti.
Da sola non può bastare. Il tema della sicurezza nell’intelligenza artificiale richiede un approccio globale, capace di unire norme, progettazione responsabile ed educazione digitale. Su questo terreno che si giocherà la vera partita, in cui l’innovazione dovrà dimostrare di saper convivere con la protezione delle persone più vulnerabili.
