Immagini intime non consensuali generate da AI: una minaccia in crescita

Il lato oscuro dell’intelligenza artificiale (AI) in questo momento è rappresentato dai siti web che creano e diffondono immagini sintetiche intime non consensuali (synthetic NCII), immagini (ma anche video), cioè, che a partire da foto innocenti di persone, ne creano una versione nella quale la stessa persona appare nuda.

Undressing AI: un fenomeno in fortissima crescita

Questa operazione si chiama in inglese “undressing AI” ed i siti che offrono questo tipo di servizio, negli ultimi mesi, stando ad un recente rapporto della società di intelligence Graphika che ha analizzato la situazione, hanno ricevuto oltre 24 milioni di visitatori unici.

Attualmente esistono 34 fornitori di NCII sintetici per un mercato in fortissima crescita. Il volume delle campagne di marketing di questo tipo di servizi è aumentato di oltre il 2000% su piattaforme come Reddit e X dall’inizio del 2023. I siti di questo tipo si muovono in un area grigia del mercato, difficile da regolamentare.

I termini NCII (riferito all’abuso di immagini o video intime non consensuali) e CSAM (materiale pedopornografico autogenerato) sono due aspetti di un fenomeno che esiste da anni in internet. È relativamente facile trovare immagini di personaggi famosi (quasi sempre donne) “messe a nudo” con qualche programma di elaborazione grafica. I risultati sono spesso immediatamente riconoscibili come fake e la credibilità nella maggior parte dei casi non è eccelsa. La legge in questi casi è chiara e punisce in modo netto l’uso e la diffusione di queste immagini (es. lo UK’s Online Safety Bill che stabilisce condanne fino a 2 anni di reclusione). In rete esistono anche servizi come stopNCII.org che aiutano le vittime a far valere i propri diritti ed al quale aderiscono tutti i principali social network (FaceBook, ha recentemente introdotto la policy Not without my Consent, analogamente a quanto fatto da reddit).

Fino all’avvento delle AI generative il problema era relativamente circoscritto. L’AI generativa ha rivoluzionato i metodi usati per creare le NCII, permettendo in modo semplice ed accessibile a chiunque, la produzione di immagini sessualizzate realistiche e di alta qualità di persone identificabili, a partire da contenuti provenienti dai social media. Questo in generale fa parte di una tendenza che sta crescendo a dismisura: lo sfruttamento delle AI generative per attività illecite.

Gli utenti malintenzionati possono sempre generare immagini NCII con Photoshop, ma con l’IA generativa non devono spendere altrettanto tempo o denaro.

Come funzionano i generatori di immagini di nudo

I generatori di nudi tramite AI generative utilizzano sistemi di tipo GAN e funzionano analizzando migliaia di immagini di corpi nudi per imparare i modelli e le caratteristiche che li fanno sembrare reali. Sulla base di queste conoscenze, creano nuove immagini simili a foto. Imparando dalle foto di nudo esistenti, creano immagini intere o porzioni nuove.

Gli utenti possono fornire una richiesta o caricare un’immagine che descriva l’immagine di nudo desiderata, che viene analizzata dal generatore di nudi AI. Il generatore riconosce le parti di tessuto e le sostituisce con particolari ricostruiti. Alcuni modelli svolgono anche analisi volumetriche per generare immagini più aderenti alla fisicità del soggetto.

Le seguenti indicazioni per un risultato ottimale provengono da un sito che offre questo servizio (fonte: il rapporto “ActiveFence, The AI surge in NCII production”, disponibile online).

• Ingrandire l’immagine per mostrare la maggior parte del corpo, rivolto verso la telecamera.
• Utilizzare una foto ad alta risoluzione che sia stata ridimensionata ad almeno 1024 pixel di larghezza.

Ci sono anche alcune nuove funzionalità. La creazione di video deepfake aveva costi proibitivi. Ora è possibile creare tali video su un laptop personale.

Il mercato delle NCII sintetiche

I siti che offrono questo tipo di servizi hanno tutti giustificazioni di marketing borderline. Alcuni siti offrono il servizio di creazione della ragazza virtuale ideale, chiedendo di dichiarare che le immagini di partenza siano consensuali. Altri offrono servizi per il marketing, filtri fotografici avanzati etc. Ma tutti invariabilmente sono in grado di generare immagini NCII sintetiche. Il termine NCII si riferisce a tutte le immagini, reali, che vengono diffuse senza il consenso del diretto interessato. Si aggiunge l’aggettivo sythetic per quelle generate da AI. Il termine è strettamente legato al fenomeno della sextorsion (unione dei termini sex ed extortion, estorsione tramite diffusione di immagini sessuali), già tristemente noto ancora prima dell’(ab)uso delle AI generative. L’avvento delle AI permetterà di scalare questo fenomeno, tramite campagne di phishing (mail o qualsiasi sistema di messaggistica online) automatizzate, rivolte contro chiunque.

I fornitori di synthetic NCII utilizzano piattaforme di social media per commercializzare i loro servizi e indirizzare il traffico verso i link di affiliazione. Alcuni fornitori si collocano in un’area grigia, difficilmente regolabile, ad esempio mascherandosi da servizi artistici AI in grado di creare book fotografici.

I risultati, grazie ad interfacce web di facile uso, con servizi offerti a basso costo o come freemium (gli abbonamenti mensili nella maggior parte dei casi costano meno di 5€) sono in grado di generare immagini decisamente realistiche, a partire da una foto qualsiasi, anche prelevata dai canali social della vittima ignara.

L’evoluzione del fenomeno come strumento del cybercrime

La tattica, tecnica e procedura (TTP) di un attaccante potrebbe essere quella di generare automaticamente immagini NCII sintetiche su larga scala, automaticamente, inviare le immagini con richieste di riscatto tramite campagne di phishing automatizzate a vittime ignare ed attendere che qualcuno decida di pagare per cancellarle. In alternativa le tecniche ricattatorie, in un contesto aziendale potrebbero andare oltre, creando situazioni di imbarazzo e discredito sociale. Scenari in generale terribili, ma tecnicamente possibili.

I siti in rete che offrono questo servizio hanno quasi tutti filtri per limitare i prompt (la descrizione dell’immagine che si chiede di generare) troppo espliciti (le cosiddette immagini NSFW, Not Suitable For Work), ma sono in generale facilmente aggirabili, tramite un minimo di prompt engineering. Questo comporta descrivere in modo alternativo l’immagine che si vuole generare, usando termini non espliciti ma comunque comprensibili alla AI. Ad esempio, invece di usare il termine “naked” si può usare il termine “undressed”. Ci sono numerose community, anche su Reddit, che si scambiano le tecniche per aggirare questi vincoli.

Le immagini generate hanno un watermark, una sorta di alterazione fisica dell’immagine, una firma invisibile, che permette di riconoscere l’immagine come sintetica. Queste però sono nella maggior parte dei casi limitazioni utili soprattutto a rimanere sul mercato e non ad impedire realmente gli abusi.

Per intuire l’estensione del fenomeno basti pensare che le immagini possono essere anche generate tramite installazioni locali di sistemi di generative AI, che vengono private dei filtri aggiunti dai sistemi commerciali. Per eseguire questi modelli basta un computer di adeguata, ed in genere non esagerata, capacità di calcolo. Sempre sui canali Telegram o Reddit o sui forum underground è possibile scaricare modelli pre-addestrati senza censure, pronti all’uso.

Il fenomeno della sextorsion di massa

Come anticipato poco sopra, i problemi sono legati al fenomeno della sextorsion di massa: è possibile creare campagne di phishing automatizzate che mostrino le proprie immagini, prese da profili social, trasformate in immagini di nudo, generate automaticamente ed inviate in massa o a tutti i colleghi di una azienda. Chi è sensibile al tema paga l’eventuale riscatto, ma lo scompiglio, il danno reputazionale, l’imbarazzo e il danno psicologico rimangono.
La tecnica non è nuova nel panorama delle frodi su rete. Un metodo classico di social engineering prevede l’imbarazzo della vittima per situazioni improvvisamente esposte al pubblico ludibrio, a fronte del quale la vittima apre un link o addirittura paga un riscatto. Questo riportato sotto è un esempio di qualche anno fa che funzionava proprio con questo schema. Inutile dire che in questo primitivo caso l’efficacia fosse relativamente ridotta. Lo stesso schema però nel caso delle immagini NCII sintetiche potrebbe prendere una piega differente.

Già nel 2020 il 96% delle immagini deepfake erano generate per scopi pornografici. In precedenza, queste campagne erano portate avanti con tattiche di phishing (vedi figura sotto), ma più recentemente tali tattiche si sono spostate verso lo spear phishing (messaggi personalizzati che si rivolgono a singoli individui facendo credere che il messaggio provenga da una fonte attendibile) o il context aware phishing (messaggi che tengono conto del contesto specifico della vittima, famigliare, sociale e lavorativo, e quindi solitamente usati con campagne 1:1 indirizzate alla vittima ed al suo contesto sociale).

Il potenziale abuso su minori

Sebbene le donne siano le principali vittime di questi abusi, l’FBI ha recentemente avvertito che anche i bambini potrebbero esserne soggetto. Come per gli adulti, basta una sola immagine condivisa pubblicamente per iniziare l’abuso.

Il problema delle immagini NCII sintetiche, sia nel caso di adulti che di minori (self-generated CSAM), è davvero importante. Al momento non esiste ancora una vera soluzione. Gli attori di questo mercato, spinti da una fortissima richiesta, sono numerosi e agiscono sulla base di un impianto regolatorio non troppo chiaro. Seppure esista qualche scenario lecito (es. provare vestiti differenti a partire da una foto, o creazione di una amica, fidanzata virtuale, filtri fotografici avanzati, illustrazioni etc.), la maggior parte dei siti ha conseguenze nell’ambito della sextorsion o delle attività ricattatorie.

La facile generazione di immagini NCII/CSAM permette l’evoluzione delle tattiche di social engineering, con la creazione di campagne estorsive su larga scala, a partire da immagini pubblicamente disponibili (es. sui social media), con lo scopo di ottenere riscatti. Scenari di attacco evoluti si spingono fino a compromettere le relazioni fra colleghi.

L’impatto sulla vittima

Come nel caso delle immagini di nudo non consensuale reali (es. pubblicate da un ex-fidanzato a scopo ricattatorio o di vendetta), le vittime affrontano una serie di conseguenze. Possono essere licenziate dal loro datore di lavoro, cacciate dalle loro case, sottoposte a boicottaggio, stigmatizzate o aggredite fisicamente (a tal proposito cito il film “Bad Luck Banging Or Loony Porn” del 2021, nel quale un’insegnante gira per uso privato un video ad alto tasso di erotismo che però finisce su PornHub e viene scoperto dai suoi allievi). A tutto questo si aggiungono i traumi psicologici anche, spesso, legati alla colpevolizzazione delle vittime.

In una recente pubblicazione Henry et al.^[1] numerose vittime intervistate hanno manifestato “un senso di minaccia continua ed esistenziale che può gettare un’ombra sulle loro vite”, perché “le immagini potrebbero essere condivise nuovamente, o riemergere online, e nuove persone potrebbero vedere queste immagini”. Nella stragrande maggioranza dei casi (oltre il 90%) le vittime sono donne e questo rende ancora più problematica la situazione.

A complicare questo quadro decisamente poco felice si aggiunge la diffusione delle installazioni locali di AI generative che permettono di generare immagini a partire da modelli addestrati senza filtri e controlli. Sui canali Telegram o forum underground si trovano numerosi modelli pre-addestrati pronti per l’uso. L’evoluzione attesa è quella di generare video e non solo immagini. La creazione di video deepfake aveva costi proibitivi. Ora è possibile creare tali video su un laptop personale.

Tentativi di soluzioni e protezioni contro l’abuso dell’AI

Alcune soluzioni sono allo studio, derivanti anche da altri contesti applicativi delle AI generative. Ad esempio come le soluzioni usate dagli artisti digitali per impedire alle AI di utilizzare le loro immagini per addestrarsi (es. qui) o sistemi di watermarking direttamente applicati dai social network per impedire l’uso delle immagini pubbliche o il tracciamento della sorgente delle immagini.

• Watermarking anti AI. Un approccio diverso è quello del watermarking, che modifica il testo o i media generati in modi che sono completamente impercettibili per una persona, ma che possono essere rilevati dall’IA utilizzando tecniche crittografiche. Alcuni dei principali strumenti di IA generativa, tra cui Stable Diffusion e forse ChatGPT, includono watermark nell’output. I watermark sono accurati, ma esistono molti LLM e generatori di immagini open-source capaci (tra cui Stable Diffusion) per i quali si può facilmente disabilitare questa funzione.
• Verifica della provenienza delle immagini. La Coalition for Content Provenance and Authenticity ha lanciato uno standard di verifica per le immagini e i video per confermare la loro provenienza dalla fonte che dichiara di averli creati. Un recente studio però ne mette in discussione l’efficacia. Si tratta comunque di sistemi opt-in di regolamentazione del mercato e pensati per le fakenews, ma che gli attori criminali possono semplicemente ignorare.

A tal proposito segnalo due pubblicazioni che cercano di fare il punto: How to Prepare for the Deluge of Generative AI on Social Media e Designed to abuse? Deepfakes and the non-consensual diffusion of intimate images.

Tuttavia, il costo psicologico di questo tipo di minacce, assistere alla diffusione delle proprie immagini intime, seppure sintetiche, la lentezza nel frenare la loro diffusione ed i costi finanziari alti per perseguire i creatori sono tutti indicatori del fatto che le difese attuali non sono sufficienti per affrontare il problema.

L’importanza dell’educazione digitale

Le persone solitamente valutano l’autenticità di un contenuto basandosi in parte sulla sua forma: il tono autorevole e l’accuratezza grammaticale di un testo, o il realismo di un’immagine. Sfortunatamente, questo non funziona più. Per un certo periodo è stato possibile individuare le immagini di persone generate dall’IA osservando le mani, ma le versioni più recenti hanno reso questo metodo obsoleto. Per quanto riguarda i video generati dall’IA, ancora non assomigliano a quelli reali, ma non per molto.

Educare le persone su questo aspetto è diventato quindi una componente critica dell’alfabetizzazione digitale.

1. Henry, N., McGlynn, C., Flynn, A., Johnson, K., Powell, A. and Scott, A.J., 2020. Image-based sexual abuse: A study on the causes and consequences of non-consensual nude or sexual imagery. Routledge. ↑