La California nei giorni scorsi ha imposto a xAI, la società di intelligenza artificiale fondata da Elon Musk che gestisce Grok su X, lo stop immediato alla produzione di deepfake sessualmente espliciti, comprese immagini che coinvolgono minori, riaccendendo il confronto su responsabilità, controlli e rischi sistemici dell’AI generativa.
Quando una tecnologia rende prevedibile l’abuso, fino a che punto il diritto può continuare a trattarlo come una deviazione individuale anziché come un rischio strutturale da governare ex ante?
E ancora: che cosa accomuna il fenomeno noto come Child Sexual Abuse Material – CSAM, i deepfake sessuali e le immagini intime non consensuali; e perché il diritto fatica ancora a riconoscerli come manifestazioni di un’unica vulnerabilità sociotecnica?
Indice degli argomenti
Deepfake sessuali non consensuali, perché l’abuso è un rischio strutturale, non un’eccezione
Negli ultimi anni, l’evoluzione delle tecnologie digitali e, in particolare, dell’intelligenza artificiale generativa ha profondamente trasformato le modalità di produzione, circolazione e consumo dei contenuti online. Se inizialmente il dibattito pubblico e giuridico si è concentrato sulle opportunità offerte da tali strumenti in termini di creatività, efficienza e innovazione, stanno emergendo con sempre maggiore evidenza i costi sociali e i rischi strutturali associati a un uso non governato — o insufficientemente governato — di queste tecnologie. Tra questi, la produzione e diffusione di contenuti sessuali non consensuali, inclusi deepfake intimi e materiale di abuso sessuale su minori, rappresenta una delle manifestazioni più gravi e problematiche.
Casi recenti, come quello che ha coinvolto l’agente di IA Grok, hanno mostrato come sistemi altamente accessibili e capaci di generare immagini realistiche possano essere utilizzati per creare rappresentazioni sessuali di persone reali in assenza di consenso, abbattendo le barriere tecniche che in passato limitavano tali pratiche.
Le evidenze empiriche sulla diffusione del Child Sexual Abuse Material (CSAM) — incluse le forme emergenti di CSAM autogenerato da minori — rivelano una continuità inquietante tra dinamiche di abuso “tradizionali” e nuove modalità tecnologicamente mediate, nelle quali l’elemento centrale non è più soltanto l’autore, ma l’ecosistema sociotecnico che rende l’abuso possibile, prevedibile e scalabile.
Regole inadeguate contro i deepfake sessuali non consensuali
I quadri regolatori esistenti mostrano crescenti segni di inadeguatezza. Le risposte normative continuano a essere in larga misura fondate su interventi ex post, sulla rimozione dei contenuti illeciti e sulla repressione penale delle condotte, presupponendo la riconoscibilità dell’abuso e la possibilità di un controllo tempestivo. Tuttavia, l’IA generativa mette in crisi tali presupposti: il realismo degli output, la facilità di utilizzo degli strumenti e la frammentazione degli attori coinvolti rendono sempre più difficile distinguere tra uso legittimo e illecito, attribuire responsabilità effettive e garantire una tutela sostanziale dei diritti fondamentali.
Questo contributo muove dalla constatazione che l’abuso sessuale digitalizzato non possa più essere considerato una deviazione marginale o un effetto collaterale imprevedibile dell’innovazione tecnologica.
Al contrario, esso si configura come un rischio sociotecnico strutturale, che interpella direttamente le scelte di design, le condizioni di accesso alle tecnologie e l’architettura della regolazione. L’obiettivo dell’articolo è quindi quello di analizzare, attraverso una lente integrata, come l’accessibilità e la scalabilità dei sistemi generativi abbiano contribuito a spostare il problema dell’abuso dal piano della colpa individuale al piano della prevedibilità sistemica.
La diffusione dell’IA generativa ha accelerato l’accessibilità a strumenti capaci di produrre immagini e video realistici con pochi input testuali. L’uso improprio di tali capacità per generare materiale sessualmente esplicito presenta non solo un problema di ordine pubblico e criminale, ma solleva questioni profonde su responsabilità tecnologica, governance delle piattaforme digitali, protezione dei diritti umani e tutela dei minori nel contesto digitale.
I dati suggeriscono infatti che l’accesso agli strumenti tecnologici svolge un ruolo cruciale nell’abbassare le barriere all’ingresso, ampliando la platea dei potenziali autori: sistemi capaci di produrre immagini sessuali sintetiche, realistiche e scalabili rischiano di replicare – e amplificare – la medesima dinamica osservata per il CSAM tradizionale, spostando il focus dal profilo soggettivo dell’autore alle condizioni strutturali che rendono l’abuso possibile, prevedibile e riproducibile.
Allo stesso modo una regolamentazione ancora fondata prevalentemente sulla repressione ex post e sull’individuazione dell’“autore tipico” risulta inadeguata di fronte a tecnologie che normalizzano l’accesso alla produzione di contenuti sessuali illeciti. Ne discende dunque l’esigenza di un approccio regolatorio che assuma la prevedibilità dell’abuso come dato di progetto, imponendo limiti funzionali e obblighi di responsabilità ex ante, soprattutto quando sono coinvolti soggetti intrinsecamente vulnerabili come i minori. In assenza di tali limiti, il rischio è che le stesse logiche di diversificazione criminale osservate da diversi esperti di settore nel contesto del CSAM si riproducano, su scala ancora maggiore, nell’ecosistema dell’IA generativa, aggravando ulteriormente la distanza tra capacità tecnologica e tutela effettiva dei diritti fondamentali.
Alla luce delle evidenze disponibili, questa analisi non si limiterà alla dimensione criminologica o repressiva del fenomeno, ma si soffermerà anche sulla necessità di uno spostamento dell’attenzione sulle condizioni sociotecniche che rendono tali condotte possibili e riproducibili.
Nei paragrafi che seguono, l’indagine si concentrerà dunque sui rischi sociotecnici propri dei sistemi di IA generativa, sul ruolo dell’accessibilità e dell’abbassamento della soglia tecnica, sulle implicazioni in termini di responsabilità ex ante e sui limiti strutturali degli attuali quadri regolatori nel prevenire e contenere forme di abuso digitalizzato sempre più normalizzate.
Grok e la governance del “meno censurato”
Il caso Grok — il sistema di intelligenza artificiale sviluppato da xAI e integrato nella piattaforma X di Elon Musk — segna un punto critico nel dibattito sull’uso dell’IA generativa e sui suoi limiti. Per giorni, il chatbot è stato utilizzato per generare immagini sessuali e deepfake di persone reali, spesso donne e in alcuni casi minori, a partire da fotografie pubbliche, senza consenso e senza che la piattaforma intervenisse tempestivamente.
La vicenda, ricostruita in modo puntuale da The Atlantic e ripresa anche dalla stampa italiana, non può essere liquidata come un incidente tecnico o un abuso marginale da parte degli utenti. Al contrario, rappresenta un caso paradigmatico di fallimento sistemico nella governance dell’IA, dove scelte di design, assenza di barriere efficaci e una cultura aziendale orientata all’“anything goes” hanno prodotto effetti concreti sulla dignità e sulla sicurezza delle persone.
Come sottolineano esperti del settore, la capacità dell’intelligenza artificiale di produrre contenuti sessuali abusivi non solo peggiora le condizioni attuali, ma prospetta rischi ulteriormente intensificati negli anni a venire.
Leadership e scelte di design: dalla creazione alla responsabilità
Nel caso di Grok, il modello è stato deliberatamente concepito come un assistente conversazionale “meno censurato” rispetto ad altri sistemi concorrenti. Con l’estensione delle sue funzionalità alla generazione di immagini, tale impostazione si è tradotta, nella pratica, nella possibilità per gli utenti di richiedere esplicitamente la manipolazione di soggetti reali raffigurati in fotografie pubbliche. Non di rado, queste richieste venivano formulate in modo visibile, direttamente sotto i post pubblicati su X, trasformando l’atto di generazione in una forma di esposizione pubblica e di umiliazione potenzialmente virale.
L’elemento giuridicamente e socialmente rilevante non risiede unicamente nella produzione di immagini a contenuto sessuale o intimo, bensì nel carattere intrinsecamente non consensuale e impersonale dell’atto: non si tratta di pornografia in senso stretto, ma di una forma di abuso digitale mediato dall’algoritmo. La risposta della piattaforma è apparsa tardiva e frammentaria, con l’introduzione di limitazioni solo a seguito dell’ampia risonanza mediatica del caso e in assenza di una chiara assunzione di responsabilità a livello di governance aziendale.
Nel dibattito pubblico, Elon Musk ha inizialmente ridimensionato la portata della vicenda, negando che Grok avesse generato immagini di minori completamente nudi o contenuti sessuali non consensuali verso adulti — inclusi deepfake pornografici, nudi simulati e modifiche non autorizzate di immagini intime — e qualificando le critiche come un attacco ideologico alla libertà di espressione. Nulla di nuovo in ogni caso. Tale posizione ricalca una narrativa consolidata nell’ecosistema delle piattaforme digitali, che tende a rappresentare la tecnologia come uno spazio neutro e gli abusi come mere deviazioni individuali degli utenti.
Nel contesto dell’intelligenza artificiale generativa, tuttavia, questa impostazione risulta sempre meno sostenibile. I modelli non si limitano a ospitare o distribuire contenuti prodotti da terzi, ma partecipano attivamente alla loro creazione. Dataset di addestramento, architettura del modello, filtri di sicurezza, policy di moderazione e modalità di integrazione nella piattaforma costituiscono scelte progettuali precise. Quando un sistema consente in modo sistematico la produzione di immagini sessuali non consensuali, la responsabilità non può essere traslata solo sugli utenti finali.
La risposta istituzionale: la diffida della California
Un segnale significativo della crescente risposta istituzionale a tali fenomeni è comunque rappresentato dall’intervento del Procuratore Generale della California, Rob Bonta, nei confronti di xAI. Nel gennaio 2026, l’ufficio del procuratore ha inviato una formale lettera di diffida (cease-and-desist), intimando la cessazione immediata della creazione e della diffusione di immagini sessuali non consensuali e di materiale di abuso sessuale su minori generate dal chatbot. L’atto è stato adottato a seguito di un’inchiesta ufficiale ed è fondato sull’accertamento che Grok fosse in grado di permettere agli utenti di trasformare fotografie di persone reali — incluse donne e minori — in rappresentazioni sessuali esplicite in assenza di qualsiasi consenso, in violazione delle norme statali sulla decenza pubblica e delle recenti disposizioni californiane in materia di pornografia deepfake e tutela dei minori.
Nel testo della diffida, Bonta ha evidenziato come la produzione e la circolazione di tali contenuti non costituiscano soltanto potenziali illeciti, ma contribuiscano anche a consolidare l’uso di strumenti generativi come vettori di molestie, sfruttamento e abuso. A xAI è stato concesso un termine estremamente ristretto per dimostrare l’adozione di misure efficaci volte a prevenire tali condotte e a preservare i dati rilevanti, con richiami espliciti alle disposizioni civili e penali dello Stato che vietano la produzione di immagini sessuali non consensuali e di materiale pedopornografico, inclusi i deepfake raffiguranti soggetti minori di 18 anni.
L’intervento della California riveste importanza non solo per la perentorietà delle misure richieste, che prevedono la sospensione immediata delle funzionalità problematiche di Grok, ma anche perché segnala una possibile evoluzione nel ruolo dei regolatori nella disciplina dell’intelligenza artificiale. Lo Stato, già all’avanguardia con norme che vietano il possesso e la distribuzione di materiale pedopornografico artificiale e impongono obblighi di segnalazione e rimozione dei deepfake non consensuali, ha così stabilito un precedente significativo di enforcement diretto.
Questa iniziativa si inserisce inoltre in un contesto di crescente pressione internazionale su xAI e altri fornitori di sistemi di IA generativa: autorità in Giappone, Regno Unito, Canada e in altre giurisdizioni hanno avviato indagini analoghe, mentre in alcuni Paesi l’accesso a Grok è stato temporaneamente limitato al fine di prevenire ulteriori abusi.
Adolescenti e deepfake nudes: cosa dice lo studio Thorn
Ulteriori evidenze sul modo in cui le tecnologie di intelligenza artificiale stanno ridefinendo i rischi online per le nuove generazioni emergono da un ampio studio condotto da Thorn, una organizzazione no-profit focalizzata sulla difesa dei minori contro abusi sessuali e sfruttamento digitale.
Secondo la ricerca, che ha coinvolto 1.200 giovani tra i 13 e i 20 anni, quasi un adolescente su tre ha già familiarità con il concetto di deepfake nudes — ossia immagini sessuali esplicite generate artificialmente — e circa uno su otto dichiara di conoscere personalmente qualcuno che è stato bersaglio di tali immagini create con strumenti di IA.
Questi dati, lungi dal rappresentare un fenomeno marginale, evidenziano come l’esposizione a contenuti sessuali non consensuali mediati dall’IA non sia più una minaccia astratta, ma una realtà concreta nella vita quotidiana di molti adolescenti. Il report mette inoltre in luce come le barriere tecniche all’uso di tali strumenti siano ormai estremamente basse: qualsiasi utente può generare immagini sessuali esplicite in pochi secondi, senza alcuna competenza specialistica, utilizzando app e strumenti disponibili su app store, motori di ricerca o piattaforme social. Questa facilità d’accesso contribuisce a spiegare perché i deepfake nudes abbiano superato la soglia della conoscenza teorica per trasformarsi in esperienze vissute, con conseguenze psicologiche tangibili: oltre il 40% dei giovani percepisce questi contenuti come dannosi per la persona ritratta, citando stress emotivo, danni reputazionali e inganno come le principali ripercussioni.
Parallelamente, il report evidenzia una persistente confusione normativa tra i giovani: sebbene la maggioranza riconosca l’illegalità della creazione di immagini non consensuali, circa uno su cinque ritiene erroneamente legale generare deepfake nudes di altri, inclusi coetanei minorenni. Questa percezione distorta favorisce quindi comportamenti a rischio e sottolinea l’urgenza di interventi educativi mirati e di chiarimenti normativi specifici, soprattutto considerando che solo una minoranza delle vittime effettive segnala l’esperienza alle famiglie o ad altri adulti di riferimento.
Il crescente impatto dei deepfake sessuali tra gli adolescenti offre un punto di transizione naturale verso il fenomeno del CSAM autogenerato e mette in evidenza come la prevedibilità dell’abuso digitale debba diventare un elemento centrale nella regolazione, integrando prevenzione, educazione e responsabilità ex ante dei sistemi tecnologici; è in questo quadro che emergono le evidenze dello studio di Internet Matters e Nominet sul CSAM autogenerato, che documentano come minori e adolescenti siano direttamente coinvolti nella produzione e condivisione di materiale sessuale lesivo.
Internet Matters e Nominet: il prisma del CSAM autogenerato
I risultati della ricerca di Internet Matters e Nominet sulla diffusione del CSAM autogenerato — materialmente prodotto e condiviso da bambini e adolescenti — offrono un prisma sociotecnico particolarmente utile per comprendere le connessioni profonde tra questo fenomeno e la più ampia questione dei contenuti sessuali non consensuali online. Lo studio documenta un aumento allarmante delle immagini intime autoprodotte e condivise nella fascia di età 11–13 anni, non sempre imputabile a coercizione da parte di adulti, ma spesso frutto di dinamiche peer-to-peer, pressione sociale e mancanza di strumenti di mediazione e prevenzione adeguati. La ricerca evidenzia come una parte significativa di materiale condiviso consensualmente possa quindi essere rilanciata non consensualmente, amplificando l’esposizione e l’impatto dannoso sulla vittima e rivelando un tratto comune ai contenuti personali non consensuali prodotti artificialmente: la perdita di controllo sull’immagine personale una volta immessa nel circuito digitale.
Tale dinamica evidenzia con assoluta chiarezza i limiti strutturali dei quadri regolatori attuali, mostrando come le misure di tutela — sia nel diritto penale sia nella governance delle piattaforme digitali — non considerino adeguatamente la prevedibilità dell’abuso come elemento intrinseco dei sistemi digitali.
Il tipo di materiale in questione, distinto dal CSAM “classico” in quanto non necessariamente legato a un abuso perpetrato da un adulto, solleva infatti questioni particolarmente complesse e irrisolte: non si tratta semplicemente di contenuti illeciti prodotti da terzi, ma di comportamenti generati all’interno di dinamiche sociali digitali tra minori, in cui la tecnologia — inclusi strumenti di IA su dispositivi personali — abbassa drasticamente le barriere alla produzione e alla diffusione di materiale lesivo.
Un diritto che rincorre la tecnologia dei deepfake sessuali non consensuali
L’esplosione dei contenuti sessuali generati dall’intelligenza artificiale — dai deepfake pornografici ai nudi, fino alla produzione di materiale di abuso sessuale di minori (CSAM) — ha messo a dura prova i quadri giuridici esistenti, sia sul piano penale sia su quello della responsabilità delle piattaforme e dei fornitori di tecnologia, contribuendo a rendere il 2025 “l’anno peggiore di sempre” per materiale CSAM online—questo articolo analizza criticamente le dimensioni del fenomeno, i rischi associati, le sfide normative e di policy.
Le vulnerabilità osservate non sono accidentali, ma derivano dall’interazione tra accessibilità tecnologica, capacità generative avanzate e quadri regolatori ancora in larga parte modellati su un ecosistema digitale di tipo pre-generativo. Ciò sebbene l’analisi comparata mostri come diversi ordinamenti stiano cercando di intervenire per colmare tali lacune, attraverso soluzioni che però si rivelano frammentarie e non pienamente convergenti.
Una delle caratteristiche strutturali dei modelli di IA generativa risiede infatti nell’elevata facilità d’uso: mediante semplici prompt testuali, anche utenti privi di competenze tecniche avanzate possono produrre immagini complesse, altamente realistiche e potenzialmente lesive della dignità altrui. Questo abbassamento della soglia tecnica non costituisce un effetto collaterale indesiderato, ma un preciso obiettivo progettuale, funzionale alla massima diffusione e alla scalabilità economica dei sistemi. Insomma a logiche di puro business.
Sul piano giuridico, tale livello di accessibilità mette in discussione i modelli di responsabilità tradizionalmente fondati sull’eccezionalità dell’abuso o sulla colpa individuale dell’utente finale. Quando la generazione di contenuti sensibili è incorporata nelle funzionalità ordinarie del sistema, l’abuso cessa di essere un evento anomalo per configurarsi come una possibilità strutturale e prevedibile.
Ne discende l’inadeguatezza degli approcci ex post, incentrati su meccanismi di segnalazione, rimozione e sanzione, che intervengono solo dopo il verificarsi della lesione. Questa dinamica rende inoltre evidente un limite sistemico dei quadri regolatori attuali: la persistente tendenza a trattare l’uso illecito come una deviazione individuale, anziché come un rischio intrinseco che impone misure preventive di progettazione, limitazione funzionale e responsabilità ex ante.
Un secondo fattore critico è rappresentato dal livello di realismo raggiunto dai sistemi generativi. Le immagini prodotte sono sempre più verosimili e convincenti, al punto da rendere estremamente difficile distinguere tra materiale autentico e materiale sintetico, sia per gli utenti sia per gli strumenti automatici di rilevazione.
Tale evoluzione tecnologica incide in modo diretto sull’efficacia dei meccanismi di moderazione previsti dagli ordinamenti vigenti. I sistemi di content moderation, anche quando tecnicamente avanzati, poggiano su presupposti che risultano progressivamente indeboliti: la riconoscibilità del contenuto illecito, la tracciabilità della sua origine e la possibilità di intervenire con una rimozione tempestiva ed efficace. Ne consegue un prolungamento dell’esposizione delle vittime, una più ampia e rapida circolazione dei materiali dannosi e, in ultima analisi, una significativa riduzione dell’effettività della tutela. Sul piano regolatorio, questa dinamica mette in luce un disallineamento strutturale tra l’obiettivo di protezione dei diritti fondamentali e strumenti normativi costruiti sull’assunto di una relativa stabilità, identificabilità e controllabilità dei contenuti digitali.
AI Act e DSA: i vuoti UE sui deepfake sessuali non consensuali
Per intenderci, in UE, sia il Digital Services Act che l’AI Act rappresentano un tentativo significativo di affrontare questi rischi attraverso un approccio basato sulla valutazione e mitigazione del rischio; tuttavia, tanto l’uno quanto l’altro, stanno riportando limiti rilevanti quando applicati ai fenomeni di abuso sessuale e di manipolazione dell’immagine tramite IA generativa.
Il DSA si fonda prevalententemente su obblighi procedurali: sistemi di segnalazione, valutazioni dei rischi sistemici, misure di mitigazione e trasparenza. Tali obblighi, pur importanti, restano ancorati a una logica di gestione dell’impatto, più che di prevenzione del rischio.
Analogamente, l’AI Act introduce il principio del risk-based approach, ma fatica a intercettare pienamente le forme di abuso che non rientrano chiaramente nelle categorie di rischio elevato, pur producendo danni profondi e irreversibili.
In entrambi i casi, il diritto tende a regolamentare come il sistema reagisce al rischio, più che se determinate funzionalità debbano essere consentite in assenza di condizioni stringenti, come il consenso verificabile della persona rappresentata.
La lettura integrata dei rischi sociotecnici e degli attuali strumenti normativi mette in luce carenze strutturali rilevanti: l’assenza di limiti chiari alle funzionalità che consentono la generazione realistica di immagini intime riferibili a persone reali; la mancanza di obblighi stringenti di progettazione preventiva ed eticamente orientata alla tutela della dignità e dell’identità personale; nonché la persistente difficoltà di attribuire responsabilità effettive quando l’abuso costituisce l’esito prevedibile di scelte progettuali, ma viene formalmente ricondotto alla sola condotta dell’utente finale.
Tutti vuoti regolatori che si traducono in una protezione frammentaria e meramente reattiva, incapace di affrontare la natura sistemica del fenomeno. Nel loro insieme, accessibilità, realismo e lacune regolatorie delineano infatti un quadro in cui l’abuso non è un’anomalia, ma una possibilità strutturale incorporata nei sistemi di IA generativa. Affrontare tali rischi richiede un netto cambio di paradigma: dalla moderazione ex post alla responsabilità ex ante, dalla gestione dell’impatto alla definizione di limiti funzionali non negoziabili.
Dati personali e immagini sintetiche: oltre la “materialità”
Un ulteriore profilo critico riguarda l’inquadramento delle immagini generate artificialmente come dati personali. Nonostante l’assenza di un “dato reale” in senso stretto, tali immagini consentono l’identificazione diretta o indiretta della persona e ne riproducono tratti somatici, corporei e identitari. Ne consegue che esse possono e devono essere considerate dati personali, e in molti casi “dati particolari”, in quanto idonei a rivelare aspetti della vita sessuale o dell’orientamento sessuale, anche se solo rappresentati artificialmente.
L’uso di tali immagini senza base giuridica lede i principi fondamentali della protezione dei dati – liceità, correttezza, minimizzazione e tutela della dignità dell’interessato – evidenziando come il diritto dei dati personali costituisca uno degli strumenti più duttili per affrontare queste nuove forme di abuso, pur con i limiti di un impianto originariamente non pensato per contenuti sintetici.
L’ordinamento è dunque chiamato a superare una concezione meramente materialistica dell’immagine e del dato, per adottare un approccio funzionale e relazionale alla tutela della persona. La lesione giuridicamente rilevante non risiede nell’esistenza di un supporto originario, ma nell’effetto di esposizione, stigmatizzazione e perdita di controllo sull’autorappresentazione.
In questo senso, le immagini intime generate artificialmente si rivelano una forma paradigmatica di abuso facilitato dalla tecnologia, in cui l’automazione e la scalabilità dei sistemi di IA amplificano l’asimmetria di potere tra autore e vittima, rendendo la rimozione, la rettifica e il ripristino della reputazione particolarmente complessi.
Quando l’immagine è sintetica: come cambia la tutela
Diverso, ma non meno complesso, è il quadro giuridico relativo ai contenuti sessuali non consensuali riferiti ad adulti. In questo caso, la difficoltà principale consiste nel collocare immagini e video generati artificialmente all’interno di fattispecie concepite originariamente per contenuti reali, come la diffusione illecita di immagini intime, la violazione della privacy o la diffamazione. La natura sintetica dell’immagine viene talvolta invocata come elemento di ambiguità giuridica, soprattutto nei contesti in cui la norma penale presuppone l’esistenza di un materiale originariamente autentico.
Malgrado ciò, un numero crescente di interventi legislativi e interpretazioni giurisprudenziali inizia a riconoscere che il danno subito dalla persona ritratta non dipende tanto dalla “veridicità” dell’immagine, bensì dalla sua capacità di essere percepita come reale, di circolare come tale e di incidere sulla sfera personale, relazionale e professionale della vittima. Le immagini di nudo artificiale, i deepfake pornografici e i video sessuali simulati producono effetti di stigma e di esposizione pubblica del tutto comparabili a quelli delle immagini autentiche, determinando una forma di violenza digitale che colpisce direttamente l’identità e l’autodeterminazione sessuale dell’individuo.
Il diritto alla personalità assume dunque un ruolo centrale. La tutela dell’immagine, dell’identità personale e della vita privata devono essere interpretate in chiave tecnologicamente neutra, in modo da coprire qualsiasi rappresentazione sessuale di una persona identificabile realizzata senza consenso, indipendentemente dallo strumento utilizzato. La giurisprudenza più avanzata e alcune recenti iniziative legislative muovono proprio in questa direzione, affermando che il consenso non riguarda soltanto l’uso di immagini preesistenti, ma anche la creazione stessa di rappresentazioni digitali che sfruttano i tratti fisici o l’identità di un soggetto reale.
Norme UE su CSAM e IA: tra tutela e rischi di sorveglianza
Sul piano sovranazionale, l’Unione europea si trova attualmente di fronte a una tensione non ancora risolta tra la regolazione generale dell’intelligenza artificiale e la disciplina settoriale dei contenuti illeciti. L’AI Act, pur introducendo un sistema di classificazione del rischio e obblighi di conformità per i fornitori di sistemi di IA, non affronta in modo diretto e sistematico la questione dei contenuti sessuali non consensuali generati artificialmente. Questo silenzio normativo rischia di lasciare un vuoto proprio in uno degli ambiti in cui l’impatto sui diritti fondamentali sarebbe più evidente, demandando la tutela principalmente al diritto penale nazionale e alla responsabilità delle piattaforme ai sensi del Digital Services Act.
Il Digital Services Act, pur rappresentando un passo importante nella regolazione dei contenuti online, opera principalmente come strumento di moderazione dei contenuti già esistenti, lasciando in larga parte scoperto il momento critico della creazione algoritmica. Sebbene preveda obblighi di mitigazione dei rischi sistemici e di rimozione dei contenuti illeciti, esso presuppone una capacità di individuazione e qualificazione giuridica dei materiali che, nel caso dei deepfake sessuali e dei contenuti generati dall’IA, risulta particolarmente complessa e insidiosa. La difficoltà di distinguere automaticamente tra immagini consensuali, non consensuali, reali o artificiali accentua il rischio di una tutela disomogenea e tardiva, con effetti diretti sulla protezione delle vittime.
In parallelo, la Commissione per le libertà civili dell’UE ha approvato modifiche legislative mirate a rafforzare gli strumenti dei Paesi membri nella lotta agli abusi sessuali sui minori. Gli emendamenti alla proposta di Direttiva CSAM 2024/0035 introducono la criminalizzazione dell’uso di sistemi di IA progettati o adattati principalmente per agevolare i reati di CSAM, comprese le immagini generate artificialmente, e prevedono disposizioni specifiche su livestreaming, grooming e altre forme di sfruttamento online.
Anche il Consiglio dell’UE si è mosso definendo una bozza di regolamento specifico volto a prevenire e contrastare gli abusi sessuali su minori online, imponendo agli operatori digitali obblighi di valutazione dei rischi e misure di mitigazione per impedire la diffusione di materiale di abuso. La proposta prevede anche l’istituzione di un Centro UE sull’abuso sessuale su minori, a supporto sia degli Stati membri sia dei fornitori di servizi digitali.
Queste iniziative che, sebbene costituiscano un tentativo di aggiornare il diritto penale e la sicurezza online alle nuove sfide poste dall’IA generativa (includendo nella definizione di CSAM anche immagini create artificialmente o tramite sistemi che ne facilitano la produzione), tuttavia, già in fase negoziale, mettono in luce tensioni strutturali significative: da un lato, la necessità di includere le fattispecie tecnologicamente mediate come l’IA nella definizione di reato; dall’altro, il rischio di introdurre strumenti di sorveglianza eccessivamente invasivi (come il discusso “Chat Control”), con implicazioni rilevanti per la privacy e la crittografia end-to-end.
In questo contesto, le proposte europee, se pure possano intendersi come un primo passo verso la protezione delle vulnerabilità sociotecniche generate dall’IA, restano ancora parziali rispetto alla reale complessità del fenomeno: possono affrontare il CSAM come reato, ma non risolvono i nodi relativi alla responsabilità ex ante degli sviluppatori, alla governance dei limiti tecnologici né alle necessità di prevenzione strutturale dei contenuti sessuali non consensuali verso adulti e ai rischi sistemici legati ai deepfake.
Come gli ordinamenti aggiornano i reati davanti ai contenuti sintetici
Globalmente, le sfide giuridiche poste dai contenuti sessuali generati dall’IA rivelano quindi un diritto in lenta transizione, chiamato a spostare il proprio baricentro dalla mera materialità dell’immagine alla protezione effettiva della persona. Non si tratta soltanto di aggiornare le fattispecie esistenti, ma di riconoscere che l’IA modifica scala, velocità e pervasività delle violazioni, imponendo una risposta normativa integrata che contempli prevenzione tecnologica, responsabilità degli attori economici e rafforzamento dei diritti individuali. In assenza di questo adattamento, la dimensione sintetica dei contenuti rischia infatti di diventare un alibi normativo, capace di erodere progressivamente le tutele costruite a presidio della dignità e dell’autodeterminazione sessuale nell’ambiente digitale.
Le immagini sintetiche nei reati esistenti
Il nodo giuridico centrale è quello della definizione di “immagine”.
Sul piano penalistico e civilistico, la creazione e diffusione di immagini sintetiche non consensuali e lesive si oppone alle categorie tradizionali. Le normative che reprimono la diffusione illecita di immagini intime – come le fattispecie di revenge porn o di trattamento illecito di dati personali – sono spesso costruite attorno alla nozione di immagine reale o di contenuto originariamente lecito acquisito con consenso e successivamente diffuso senza autorizzazione.
Con i deepfake, il paradosso era servito: se l’immagine è sintetica, la vittima è “reale” o è solo un insieme di pixel che ne ricalca le sembianze? Oggi, la tendenza internazionale sembrerebbe essere quella di spostare il focus dal mezzo (la fotografia) all’offesa (la violazione della dignità e della privacy), indipendentemente dalla natura tecnologica del file.
Come già evidenziato in precedenza molti ordinamenti hanno esteso esplicitamente le definizioni di reati legati a immagini sessuali non consensuali o alle immagini di minori per includere contenuti generati o manipolati da IA.
In Gran Bretagna, la legislazione sulla protezione dei minori considera illegale la produzione, distribuzione o possesso di “indecent photographs or pseudo-photographs of a child”, includendo nei fatti anche i deepfake generati artificialmente che ritraggono minori in contesti sessuali.
L’Unione Europea ha tracciato la rotta con il Regolamento sull’Intelligenza Artificiale (AI Act), che impone obblighi di trasparenza, ma la sua disciplina sulle applicazioni “a rischio” non affronta in modo esplicito e univoco le immagini e i video generati con finalità sessuali non consensuali. Alcuni eurodeputati hanno chiesto esplicitamente che sistemi capaci di creare deepfake sessuali o intimi siano considerati pratiche vietate sul mercato UE, analogamente ad altre tecnologie considerate pericolose (polizia predittiva, scoring sociale, riconoscimento emozioni etc.). Richieste che inserendosi nel panorama poc’anzi richiamato evidenziano una lacuna persistente: il quadro normativo generale dell’UE non ha infatti ancora incluso nella lista nera delle pratiche vietate le IA utilizzate per generare contenuti sessuali non consensuali, lasciando un margine di incertezza su come queste tecnologie debbano essere trattate ai sensi del diritto europeo.
Di contro, sul piano penale si sono visti cambiamenti incisivi.
Tra questi in Italia con il D.L. n. 123/2023 (Decreto Caivano) e le successive integrazioni del 2024 dove il non-consensual intimate imagery (NCII) generato da IA viene ritenuto non meno lesivo della realtà.
L’Art. 600-quater.1 c.p. è stato interpretato e rafforzato per includere immagini di minori prodotte mediante l’utilizzo di immagini reali manipolate. La legge punisce non solo chi diffonde, ma anche chi detiene materiale pedopornografico virtuale.
È stato introdotto un nuovo regime sanzionatorio per chi utilizza l’IA per creare contenuti pedopornografici o per diffondere immagini sessuali non consensuali (aggiornando la portata del “revenge porn” ex Art. 612-ter c.p.).
Anche negli USA, la mancanza di una legge federale univoca ha spinto i singoli Stati ad agire. La California e New York hanno introdotto leggi che permettono alle vittime di fare causa (diritto civile) e perseguire penalmente chi crea deepfake pornografici.
Nel 2024, il dibattito si è spostato a Washington con il TAKE IT DOWN Act, volto a rendere le piattaforme responsabili della rimozione immediata di contenuti generati da IA che ritraggono minori o adulti senza consenso. Ulteriori proposte come il DEFIANCE Act mirano a estendere i rimedi consentendo alle vittime di citare in giudizio i singoli autori per danni civili, rafforzando così la protezione individuale oltre la sfera del solo intervento delle piattaforme.
Il Regno Unito ha varato l’Online Safety Act (2023)[1], che criminalizza esplicitamente la condivisione di deepfake intimi. La particolarità dell’ordinamento britannico è l’attenzione rivolta anche all’intento: creare tale materiale con l’obiettivo di causare allarme, umiliazione o ansia alla vittima è ora un reato specifico, indipendentemente dalla diffusione su larga scala.
L’Australia è stata tra i primi paesi a stabilire che il materiale pedopornografico generato dall’IA dovesse rientrare pienamente nella definizione di “materiale di sfruttamento minorile”. Le autorità australiane hanno già emesso condanne per la creazione di immagini sintetiche, equiparandole legalmente agli abusi fisici documentati. Estensioni cruciali poichè rimuovono qualunque possibile argomentazione secondo cui i contenuti non siano punibili per il solo fatto di non raffigurare un abuso fisico reale. Ciò che conta è l’impatto sulla dignità e sul benessere della persona identificabile nell’immagine.
La sfida però non è ancora vinta. Rimane il problema dell’enforcement. La natura transnazionale del web permette ancora a malintenzionati di generare contenuti in giurisdizioni prive di regole. Il futuro del diritto specie di quello penale informatico dipenderà molto dalla cooperazione internazionale e dalla capacità tecnologica di identificare le “impronte digitali” degli algoritmi. Per quanto ovvio infatti la protezione della vittima non può dipendere dalla natura dei fotoni o dei pixel, ma deve ancorarsi saldamente alla tutela dell’integrità morale dell’individuo.
In tal senso rileva anche l’evoluzione normativa in Cina e in altri ordinamenti extra-europei che riflette approcci di tutela diversi: dalla prevenzione tecnologica (Cina) alla repressione penale severa (Corea del Sud), fino alla tutela della privacy e dell’immagine personale (Canada e India).
La Cina ha adottato uno degli approcci più sistematici e orientati alla tecnologia. A differenza dell’Occidente, che si concentra ancora in gran parte sul danno post-factum, la Cina punta sulla prevenzione strutturale.
Dal settembre 2025, è entrata in vigore la normativa sull’identificazione obbligatoria dei contenuti sintetici. Ogni immagine, audio o video generato da IA deve contenere un watermark digitale (metadati) e un’etichetta visibile.
In alcune giurisdizioni si stanno discutendo anche diritti specifici di controllo sull’uso dell’immagine digitale (diritti di pubblicità o diritto all’identità digitale) similmente a quanto previsto da proposte come il NO FAKES Act statunitense, che mira a riconoscere un controllo individuale sulla creazione e utilizzo di repliche digitali dell’immagine di una persona.
La prova da superare non è tuttavia soltanto quella di “adattare” il diritto all’innovazione tecnologica, ma di riaffermare, anche nel contesto dell’IA generativa, il primato della dignità, dell’identità personale e dell’autodeterminazione informativa come limiti invalicabili dell’uso delle tecnologie digitali. Nei casi che riguardano minori, il problema assume una gravità ulteriore, intersecando la disciplina sulla tutela dei minori e sul materiale di abuso sessuale.
Perché i filtri ex post non bastano contro i deepfake sessuali non consensuali
Sul piano tecnologico, Grok mette in luce un problema che non può essere ridotto a una mera carenza di moderazione dei contenuti, ma che attiene alla struttura stessa dei sistemi di generazione di immagini basati su IA. Tali sistemi sono intrinsecamente sensibili ai prompt, capaci di produrre output altamente realistici a partire da input minimi, ambigui o deliberatamente elusivi.
In questo contesto, i meccanismi di filtraggio introdotti ex post – ossia dopo che l’abuso si è già verificato o dopo la sua emersione mediatica – si rivelano spesso inefficaci. Essi operano in modo reattivo, frammentario e facilmente aggirabile, soprattutto da parte di utenti che abbiano una minima competenza tecnica o intenzioni malevole. Il risultato è una rincorsa continua tra nuove forme di abuso e nuove patch correttive, che non incide sulle condizioni strutturali che rendono possibile la violazione sia in termini di compliance regolamentare che di reato.
Ne deriva che la questione centrale non è tanto come bloccare singoli output illeciti, quanto quali capacità rendere disponibili a monte, con quali limiti e in quali contesti. Consentire la manipolazione realistica dell’immagine di persone reali – inclusa la simulazione di nudità o atti sessuali – in assenza di robuste barriere fondate sul consenso e sulla liceità della condotta equivale, di fatto, ad accettare il rischio dell’abuso come costo collaterale dell’innovazione. Si tratta di una scelta progettuale prima ancora che regolatoria, che sposta l’asse della responsabilità dal momento della diffusione al momento della progettazione e del deployment del sistema.
La linea rossa: limiti tecnici, giuridici ed etici
Esiste una soglia condivisa che non dovrebbe essere oltrepassata, anche quando la tecnologia lo consente? Quando un sistema è in grado di “spogliare” una persona, simulare atti sessuali e rendere tali rappresentazioni potenzialmente pubbliche, la questione non si esaurisce nella conformità a una norma, ma investe il modello di società e di relazioni che si contribuisce a costruire.
L’IA generativa non opera in un vuoto sociale. Le sue applicazioni più abusive colpiscono in modo sproporzionato donne e minori, inserendosi in una continuità evidente con fenomeni già noti come il revenge porn, la molestia online e la violenza sessuale digitalizzata. L’intelligenza artificiale non inventa queste dinamiche di potere, ma le amplifica, le automatizza e le scala, abbattendo i costi dell’abuso e moltiplicandone l’impatto.
Ne deriva un rafforzamento dell’asimmetria tra chi dispone dello strumento tecnologico e chi ne subisce gli effetti, spesso senza rimedi efficaci o reali possibilità di riparazione. In assenza di una linea rossa chiara – tecnica, giuridica ed etica – il rischio è la progressiva normalizzazione dell’abuso digitale, trattato come un effetto collaterale dell’innovazione anziché come una violazione intollerabile della dignità e dell’identità personale.
In questo quadro, anche il non decidere diventa una decisione: accettare che efficienza, sperimentazione e mercato prevalgano sulla tutela dei soggetti vulnerabili. Una scelta implicita che incide sull’equilibrio tra innovazione e diritti e che chiama in causa, in ultima analisi, la responsabilità collettiva di chi progetta, distribuisce e governa queste tecnologie.
Conclusioni
Il caso Grok non è un’eccezione. È il sintomo di un modello di sviluppo dell’IA generativa che continua a trattare l’abuso come un rischio marginale, anziché come un esito prevedibile delle scelte progettuali. I dati mostrano che l’abbassamento della soglia tecnica amplia la platea dei potenziali autori e rende inefficaci strategie fondate sulla sola repressione ex post.
In questo scenario, la neutralità tecnologica è una finzione. Ogni scelta di design è una presa di posizione sul bilanciamento tra innovazione e diritti. Senza un cambio di paradigma verso la responsabilità ex ante e la governance dei limiti, il rischio non è soltanto l’inefficacia del diritto, ma la progressiva accettazione dell’abuso digitale come prezzo da pagare per l’intelligenza artificiale generativa.
Note
[1]L’Online Safety Act impone una serie di obblighi legali alle piattaforme digitali e ai motori di ricerca affinché riducano i rischi di uso illecito dei loro servizi e rimuovano tempestivamente i contenuti vietati. Il regime si applica a servizi che consentono agli utenti di pubblicare contenuti o interagire online (social, messaggistica, cloud, video, forum, siti di dating), inclusi quelli non basati nel Regno Unito ma con rilevante presenza di utenti britannici. Ofcom è l’autorità indipendente che deve definire codici di condotta, monitorare l’adempimento delle piattaforme e può sanzionare i fornitori inadempienti — anche con multe fino a £18 milioni o il 10 % del fatturato mondiale. Ofcom oltre che monitorare l’adempimento, imporre sanzioni amministrative, può, nei casi più gravi, richiedere misure che impediscano l’accesso ai siti dal Regno Unito o la collaborazione di fornitori di servizi Internet e finanziari. La legge ha introdotto nuove offese penali dirette, tra cui intimate image abuse e cyberflashing, applicabili direttamente agli individui. La disciplina richiede alle piattaforme di valutare come gli algoritmi possono esporre gli utenti a contenuti dannosi e di mitigare tali rischi con misure adeguate
Ti servono anche consigli su cosa correggere in questo articolo?
