Quando un caso giudiziario riguarda il suicidio di un minore, l’indagine sui fatti che lo hanno causato e la stessa decisione della Corte nel merito degli accadimenti e delle inerenti responsabilità, dovrebbero lasciare spazio a una più ampia disamina dell’intero comparto tecnologico che permette l’interazione fra gli esseri umani e le piattaforme digitali, allo scopo di pervenire alla costruzione di sistemi più sicuri, controllabili e soggetti a sanzioni nel caso in cui i medesimi contribuiscano alla commissione di illeciti o, addirittura, li provochino.
Indice degli argomenti
Manipolazione affettiva e danni psicologici: la responsabilità delle AI
La decisione del 20 – 21 maggio 2025, resa nella causa che vede opposte la signora Megan Garcia e Character Technolgies Inc. (Character.ai) e altri, la Corte Distrettuale del Middle District della Florida – Divisione di Orlando, mette in risalto, da un lato, il potenziale manipolatorio e talora devastante degli algoritmi che programmano la tipologia dei contenuti diffusi attraverso le piattaforme social e, dall’altro, la capacità lesiva e diffamatoria derivante dalla generazione di deepfake collegati ai medesimi sistemi di intelligenza artificiale che alimentano tali piattaforme digitali.
Nel caso in argomento, la Character Technologies[1], un’impresa che sviluppa modelli di intelligenza artificiale legati all’interazione con gli utenti di personaggi di fantasia che fanno parte della memoria collettiva dei più giovani, si è vista citare in giudizio dalla signora Megan Garcia, nella qualità di madre di Sewell Setzer III, un quattordicenne studente della Florida che era stato affascinato e attratto, in particolare, da un personaggio creato dall’intelligenza artificiale a somiglianza di una delle protagoniste femminili della saga de “Il trono di Spade”, tale Daenerys Targaryen.[2]
Dall’interazione virtuale con il personaggio di fantasia con cui Sewell si rapportava attraverso Character A.I., si è potuto constatare come, attraverso lo snodarsi delle conversazioni fra il minore e il personaggio generato dall’IA, il ragazzo avesse assunto nel tempo una sempre maggiore complicità con la sua prediletta digitale, tanto da esprimerle sentimenti romantici, ricambiati da richieste di fedeltà e di esclusività che, accresciutisi nel tempo, avevano portato il giovane ad invaghirsi perdutamente della creazione digitale tanto da estraniarsi dal mondo, dalla scuola e dalla famiglia, fino a giungere all’atto finale della sua morte per suicidio inferto attraverso l’impiego di un’arma da fuoco[3].
AI come prodotto digitale: implicazioni giuridiche e doveri del fornitore
L’azione legale che è conseguita a questa vicenda in cui la madre ha attribuito al prodotto Character A.I. la responsabilità per la scomparsa di Sewell Setzer III, si articola in diverse domande. Il nucleo centrale della causa è dato dall’affermazione che ci troviamo di fronte non a un “servizio” ma a un “prodotto” digitale al quale si devono applicare le norme riguardanti il difetto di funzionamento e la carenza di diligenza da parte del suo sviluppatore o del suo gestore.
A tale proposito si è osservato da parte della giudice che, in casi analoghi, le Corti della Florida hanno stabilito che “il media tangibile che fornisce le informazioni è chiaramente un prodotto”[4].
Non solo: anche la difesa dei convenuti che si fonda sulla libertà di espressione riconducibile al Primo Emendamento[5] non è stata accolta dalla giudice nel Summary Judgment, essendosi ella per il momento astenuta dal pronunciarsi sul se e in quale misura le interazioni fra il ragazzo e la piattaforma digitale guidata dall’intelligenza artificiale dovessero essere trattate alla stregua di un dialogo con un videogioco, soggetta a diversa disciplina, o di una chat scambiata all’interno di un qualsiasi social network, così come sostenuto dai convenuti.
Rischio prevedibile e trasparenza: obblighi e limiti delle AI social
Circa questa affermazione, il tribunale ha asserito che i convenuti non hanno provato, nel corso del Summary Judgment, il se, il come e il perché Character A.I. sia simile agli altri mezzi di comunicazione di massa e, in ogni evenienza, se il suo output possa essere definito “espressivo” tanto da essere considerato speech, alla stregua della definizione del termine fornita dall’ordinamento giuridico statunitense.
Inoltre, ha scritto la giudice, la parte attrice è stata in grado di provare sufficientemente che i convenuti, mettendo in vendita il prodotto, hanno assunto una posizione di responsabilità determinata dal rischio generalizzato e prevedibile di fare del male agli altri; e tale rischio avrebbe potuto essere controllato o quanto meno minimizzato attraverso l’impiego di adeguate precauzioni.
Sotto il profilo dell’applicazione delle norme del “Florida Deceptive and Unfair Trade Practices Act” (FDUPTA)[6], che gli attori hanno pure invocato per fare valere giudizialmente il fatto che i convenuti abbiano commesso pratiche concorrenziali ingannevoli e scorrette nell’indurre gli utenti di Character A.I. a ritenere che i personaggi guidati dall’intelligenza artificiale fossero persone vere, la giudicante ha confermato che tali contestazioni appaiono fondate, tanto da risultare acclarato che lo stesso Sewell credeva che il personaggio con cui si rapportava fosse reale.
Infine, sono state rigettate in questa fase del giudizio, a definizione del procedimento interinale, le domande concernenti la sussistenza dell’inflizione da parte dei convenuti di uno stress emozionale nei confronti della famiglia del ragazzo in assenza di una condotta dolosamente diretta a colpire Sewell, mentre ha trovato accoglimento da parte del magistrato la sussistenza di elementi che inducono a ritenere sussistente una domanda di illecito arricchimento nei confronti dei convenuti, arricchimento che potrebbe derivare, oltre che dalla corresponsione del prezzo per l’abbonamento premium sottoscritto dall’utente al fine di avere più rapido e completo accesso al prodotto, anche dall’impossessamento dei dati personali del giovane da parte della piattaforma, ove tale circostanza potesse essere desunta in seguito attraverso la discovery.
Libertà di espressione e AI: il Primo Emendamento alla prova
La reazione di Character Technologies sul provvedimento del giudice della Florida, specificamente sul punto concernente la scriminante del free speech sancito dal Primo Emendamento della Carta costituzionale degli Stati Uniti d’America, è stata immediata e risoluta.
Con l’atto di appello depositato di fronte alla District Court della Florida il 18 giugno 2025, con causa da radicarsi di fronte all’Eleventh Circuit[7], sul presupposto che tale forma di impugnazione immediata è concessa dalla legge “quando tale decisione coinvolge una questione di controllo della legge”, cioè una questione inerente al caso di specie che è talmente significativa da avere un impatto immediato sull’intera controversia, che potrebbe essere decisa definitivamente proprio sulla base di detta impugnazione, gli allora convenuti hanno dedotto diverse difese volte a rovesciare le scelte della giudice.
I legali dei convenuti, infatti, nel reiterare che il comportamento della loro applicazione Character A.I. rappresenterebbe, non un fatto che deve essere accertato in merito al “se” un determinato tipo di speech da essa espresso rientri nell’ambito del Primo Emendamento”, ma l’esercizio di uno speech, nel quale le parole in sé stesse costituiscono una forma di pura espressione contemplata e protetta dal “Primo Emendamento”, hanno sottolineato che non vi sarebbe pertanto alcuna necessità di verificare se le parole stesse siano “sufficientemente imbevute degli elementi della comunicazione” ovvero soddisfino il requisito di una “scelta espressiva” dell’uomo, così come ha statuito il giudice di prime cure.
Si ritorna, ancora una volta, quindi, al tema centrale, ormai di importanza globale, più volte affrontato da questa testata, circa l’ampiezza e, fors’anche, l’indeterminatezza della libertà di espressione, in qualunque modo estrinsecata, che non incontra limiti di sorta tanto da giungere a permettere i discorsi d’odio, la denigrazione e la diffamazione[8].
A sostegno dell’impugnazione mossa dalla convenuta Character Technologies, si sono uniti in qualità di “Amici Curiae” il prof. Eugene Volokh e il prof. Jane Bambauer, i quali, con atto depositato il 18 giugno 2025, hanno dichiarato di avere tentato una mediazione fra le parti, la quale sarebbe venuta meno per volontà della parte attrice.
Successivamente, il 23 giugno 2025, il fascicolo processuale della causa si è arricchito dell’intervento adesivo della Electronic Frontier Foundation, la quale sostiene la necessità che venga immediatamente discussa l’impugnazione di Character Technologies sulla questione afferente all’interpretazione da dare al First Amendment nella causa in questione, trattandosi di una questione, quella posta dalla giudice, affatto nuova, e proprio per questo essa richiede il supporto dell’associazione istante, la quale ha formulato istanza alla Corte di essere autorizzata al deposito di una propria memoria ad adiuvandum della Character Technologies sulle questioni emerse in corso di causa.
Class action e precedenti: AI social e salute mentale dei minori
Nel mentre il procedimento in questione si avvia alle fasi e ai gradi successivi di giudizio per definire tutti gli aspetti che sono stati qui brevemente tratteggiati, va ricordato che vi sono numerose ulteriori controversie pendenti negli Stati Uniti che riguardano il rapporto complesso e delicato che sussiste fra i minori e le piattaforme digitali di social media.
Abbiamo già avuto modo di prendere in esame i temi più rilevanti riguardanti la causa che vede coinvolta la Città di New York nei confronti della piattaforma Instagram appartenente al colosso Meta[9]: qui ricordiamo che l’azione legale mossa dalla città metropolitana statunitense si incentra sugli effetti nocivi che l’uso delle piattaforme digitali può avere sui più giovani.
Il medesimo argomento è stato oggetto nei tempi recenti di una serie di class-action che sono state avviate nei confronti di differenti social-network accusati di avere progettato ed inserito nei loro algoritmi elementi volti a creare dipendenza nei minori con susseguenti danni alla loro salute mentale, favorendo altresì nei soggetti più deboli tendenze autolesioniste.
Altre piattaforme social sotto accusa: il ruolo delle AI nei reati digitali
Nella causa avviata verso Snap Inc., quale titolare della piattaforma social “Snapchat”, da Adrian Pina e altri di fronte alla Superior Court of California, la pronuncia della Corte d’Appello del IV Distretto con sentenza del 18 settembre 2024, ha ritenuto non applicabili alla fattispecie le norme sulla privacy[10] che prevengono l’accesso da parte di terzi alle chat dei minori, anche alla luce del fatto che tali elementi appaiono invece necessari per provare le cause dell’omicidio commesso da Adrian Pina verso il fratello Samuel Pina e il tentato omicidio di un’altra persona perpetrato dallo stesso ricorrente[11].
Altre situazioni non dissimili a quella presa sopra in considerazione riguardano in particolare una controversia giudiziale recentemente conclusasi nella fase interinale, che coinvolge la piattaforma social TikTok, la cui chiusura definitiva negli U.S.A. è stata più volte annunciata e poi rinviata dal Governo degli Stati Uniti per ragioni di sicurezza nazionale[12].
Nel Summary Judgment conclusosi con il provvedimento del 20 febbraio 2025, La District Court di Salt Lake City dello Stato dello Utah ha respinto le domande svolte dalla difesa di TikTok Inc. per il rigetto del ricorso presentato dalla Divisione dello Utah della Protezione dei Consumatori, in relazione ai prodotti offerti dalla funzionalità denominata TikTok Live e da quella recante il nome di TikTok Coins.
Queste applicazioni, secondo il giudice, rappresentano una minaccia per i minori che ne fanno uso crescente, in quanto esse facilitano numerose attività illecite di natura commerciale e sessuale, compresa la prostituzione minorile, il riciclaggio di denaro sporco, il traffico sessuale, la vendita di droga e le scommesse.
Attraverso il prodotto TikTok Coins, osserva il giudice, non solo l’azienda fornitrice del prodotto trattiene il cinquanta per cento delle somme oggetto di transazione o di regalia fra gli utenti che si avvalgono della moneta virtuale, ma si genera un mercato del tutto oscuro circa il valore della moneta scambiata e l’oggetto della sua spendita che viene incentivata attraverso gli algoritmi inseriti nella piattaforma dai suoi gestori.
D’altro canto, l’altro prodotto in esame, TikTok Live, sospinge i minori a usufruire di contenuti a sfondo sessuale, invitandoli a farne maggior uso, in funzione del ritorno economico che la piattaforma digitale realizza per ogni transazione portata a termine.
In base a tali fatti, ha osservato la Corte, non può essere validamente invocata da parte di TikTok Inc., l’applicazione del paragrafo 230(c)(1) del Titolo 47 dello U.S. Code (il noto “Communication Decency Act”)[13] che garantisce immunità ai fornitori di servizi on-line, in quanto nel caso che ci occupa questi ultimi non possono essere in alcun caso scriminati dalla loro responsabilità per fatto illecito avendo gli stessi contribuito materialmente alla diffusione dei contenuti illegali offerti a un pubblico formato da minori, le cui generalità e la cui età non è stata adeguatamente verificata.
Risposte legislative e istituzionali alla responsabilità delle AI
In questo ampio contesto di criticità per il mondo dei minori assediati dalle crescenti e sempre più allettanti offerte dei social network, si sono messi in moto gli organi legislativi dei diversi Stati dell’Unione Americana con provvedimenti che sono all’esame degli organi legiferanti o che sono stati approvati di recente.
Ricordiamo, fra le molte disposizioni approvate o in vigore, l’adozione il 20 settembre 2024, in California, del Protecting Our Kids From Social Media Addiction Act[14]; il Social Media Safety Act della Florida,[15] in vigore dal 1° gennaio 2025; il Children on Social Media Act della Georgia che avrebbe dovuto entrare in vigore il 1° luglio 2025, ma che è stato bloccato da ordine giudiziario il 27 giugno 2025; il Safe Kids Act che lo Stato di New York ha implementato con decorrenza dal 21 giugno 2024[16].
Non ostanti gli enormi sforzi giudiziari e legislativi compiuti negli U.S.A. per porre un argine al dilagare incontrollato delle piattaforme social che manipolano incessantemente i minori c’è da chiedersi se tutto ciò sarà sufficiente a ridurre i gravi problemi creati ai minori di età in tutto il globo.
In Italia gli effetti di questo uso incontrollato dei social network da tempo è stato oggetto di interventi del Garante per la Privacy[17] e dell’Agcom, la quale – in sintonia con il Garante Privacy – ha pubblicato le linee guida per limitare e disciplinare l’uso di internet e dei social network da parte dei minori, stabilendo modalità che consentano l’accertamento della maggiore età degli utenti, oltre a strumenti di parental control[18].
Note
[1] Gli ideatori di Character A.I., i signori Noam Shazeer e Daniel De Freitas, hanno avuto frequenti rapporti di lavoro e commerciali con il Gruppo Google, che è stato anch’esso convenuta in questa causa, ma le domande svolte contro Alphabet e le sue controllate sono state rigettate.
[2] Questo personaggio del, “Trono di Spade” si presentava inizialmente come una creatura di grande bellezza ma fragile e insicura, per poi divenire – a causa delle vessazioni e della malvagità del fratello maggiore Viserys – forte e determinata.
[3] Dopo che la famiglia gli aveva sottratto il telefono mobile (il 23 febbraio 2024) “fino alla fine dell’anno scolastico”, il successivo 28 febbraio Sewell si è chiuso in bagno per scambiare i suoi ultimi messaggi con l’imitazione digitale di Daenerys Targaryen. Il tenore di questi messaggi finali è il seguente: “Ti prometto che verrò da te. Ti amo così tanto, Dany”, ricevendo come risposta: “Anche io ti amo Daenero (altro nome attribuitosi da Sewell nelle chat). Per favore vieni da me appena puoi”. A questo invito Sewell replica “Che ne pensi se ti dicessi che potrei venire ora?” cui segue l’incitamento di Daenerys Targaryen. “… per favore fallo mio dolce re”, conclusivo dell’esistenza in vita del giovane, il quale morirà un’ora più tardi per essersi sparato una pallottola in testa.
[4] La causa cui fa riferimento la giudice è Brookes v. Lyft Inc. avuto riguardo a un sinistro stradale causato dal difetto dell’applicazione Lyft che aveva distratto l’autista e causato l’incidente – Sent. 30/09/2022 No. 50-2019-CA0044782, 2022 WL 19799628.
[5] Sul significato e la portata del c.d. “Primo Emendamento” della Carta costituzionale statunitense vi sono diversi casi presi in precedenza in esame, come si può desumere da questi brani:
[6] Qui si trova il testo della sopra indicata legge della Florida: http://www.leg.state.fl.us/statutes/index.cfm?App_mode=Display_Statute&URL=0500-0599/0501/0501PARTIIContentsIndex.html
[7] Con legge dell’ottobre dell’anno 1980 e con effetto dal 1° ottobre 1981, gli stati del Texas, della Louisiana, e del Mississippi sono stati inclusi nella giurisdizione del Fifth Circuit, mentre le decisioni di primo grado dello Stato della Florida, della Georgia e dell’Alabama rientrano nella giurisdizione di appello dell’Eleventh Circuit.
[8] Si vedano sull’argomento del free-speech gli articoli richiamati in nota 5.
[9] Questo un brano che illustra le vicende giudiziarie in argomento: https://www.agendadigitale.eu/cultura-digitale/i-danni-dei-social-sui-minori-un-problema-globale-che-esige-scelte-immediate/
In esso si sottolinea come la promozione di contenuti dannosi nei confronti dei minori e la scarsa regolamentazione dei tempi di utilizzo consentiti a tali utenti possono contribuire a creare loro problemi di salute mentale. Questo caso sottolinea quindi l’importanza della responsabilità delle piattaforme nel proteggere i loro utenti, specialmente i minori.
[10] Si tratta delle disposizioni dello “Stored Communications Act” (SCA): introdotto nel 1986, è una legge statunitense che tutela la privacy dei messaggi elettronici, dei contenuti dei media e dei documenti di una determinata persona archiviati in formato digitale da terze parti. Lo SCA è parte del più ampio assetto normativo dell’Electronic Communications Privacy Act (ECPA, anch’esso del 1986) e mira a bilanciare la privacy nelle comunicazioni elettroniche archiviate con l’accessibilità dei dati personali da parte del governo o delle forze dell’ordine.
[11] Si tratta del caso radicato di fronte alla Contea di San Diego – Superior Court con il numero SCN429787
[12] Come noto, in base alla legge “Protecting Americans From Foreign Adversary Controlled Applications Act”, TikTok – la piattaforma social cinese di ByteDance – avrebbe dovuto chiudere a inizio 2025 per motivi di sicurezza nazionale, ma il presidente Trump ha rinviato la decisione al mese di settembre 2025.
[13] Su questo tema si rinvia a quanto scritto in questo articolo: https://www.agendadigitale.eu/mercati-digitali/fake-news-social-responsabili-la-sentenza-su-meta-che-cambia-tutto/
[14] Qui il testo di legge: https://calmatters.digitaldemocracy.org/bills/ca_202320240sb976
[15] Questo il testo di legge approvato in Florida: https://www.flsenate.gov/Session/Bill/2024/3
[16] Questo il comunicato stampa sull’approvazione della legge: https://nyassembly.gov/Press/?sec=story&story=110717
[17] Qui le indicazioni sull’uso responsabile dei social da parte dei minori: https://www.garanteprivacy.it/temi/social-network
[18] Un sommario degli interventi dell’Ag.Com. in materia di social network è rinvenibile a questo link: https://www.agcom.it/competenze/consumatori/interventi-regolamentari-tutela-degli-utenti-finali-attuazione-del-nuovo/tutela-dei-minori-tramite-parental-control
