Un recente rapporto del Counter Extremism Project (CEP) evidenzia un fenomeno inquietante emerso all’interno di un gruppo di supporto online di matrice pro-ISIS su una piattaforma di chat decentralizzata: un utente ha condiviso quella che è stata descritta come una “conversazione presumibilmente generata da un’IA” in cui si discuteva della quantità di esplosivo necessaria per distruggere un grattacielo negli Stati Uniti.
Tale episodio — oltre a essere di per sé preoccupante sul piano criminale — pone una serie di interrogativi centrali sul rapporto tra tecnologie di generazione automatica di contenuti (generative AI) e l’uso di queste tecnologie da parte di attori estremisti per la ricerca di informazioni operative, la propaganda e la radicalizzazione.
Indice degli argomenti
Il caso CEP: tra RocketChat, “IA non censurata” e intenti criminali
Nel report, i ricercatori del CEP hanno individuato una conversazione in un canale pro-ISIS su RocketChat, piattaforma di messaggistica decentralizzata che consente la creazione di server e comunità private o semiprivate.
Un utente ha affermato di aver utilizzato una versione di un sistema di IA — descritto come “Uncensored AI” e pagato con criptovaluta — ponendo domande molto specifiche su: la quantità di esplosivo TATP necessaria per distruggere un edificio specifico negli USA; la combinazione di esplosivi secondari; il numero di bombole di gas richieste per massimizzare l’effetto distruttivo.
Il post includeva tecnicismi, menzioni di composizione strutturale dell’edificio e concetti di onde d’urto e frammentazione dovute all’esplosione.
L’utente sosteneva inoltre che la versione a pagamento dell’IA potesse fornire istruzioni di fabbricazione di esplosivi “a richiesta” — affermazione che i ricercatori del CEP non sono riusciti a verificare, provando la versione gratuita del sistema.
Questo episodio è significativo per almeno tre motivi, poiché coinvolge un attore estremista esplicitamente legato alla propaganda jihadista (ISIS/pro-ISIS), rivela il tentativo di sfruttare un sistema di intelligenza artificiale per ottenere informazioni sensibili o pericolose e pone interrogativi sulle capacità reali delle IA generative di produrre contenuti operativi quando non adeguatamente moderate.
Spazi estremisti decentralizzati e resilienza digitale
Piattaforme come RocketChat, Element, SimpleX e altre soluzioni decentralizzate hanno attirato l’attenzione delle organizzazioni estremiste negli ultimi anni per la loro capacità di eludere la moderazione centralizzata delle piattaforme mainstream (es. Facebook, X, Instagram, TikTok, Telegram con moderazione più intensa).
Molteplici studi precedenti indicano che gruppi affiliati all’ISIS hanno sperimentato proprio questo tipo di infrastrutture in risposta ai blocchi e alle rimozioni su piattaforme più grandi.
La decentralizzazione riduce il controllo centralizzato e aumenta la resilienza dei network estremisti, ma crea anche ecosistemi più difficili da monitorare per le forze dell’ordine e per i provider di sicurezza digitale.
Ciò spinge le agenzie e gli analisti a utilizzare strumenti di social media intelligence (SOCMINT) avanzata, crawling di chat room, analisi di traffico criptato e tecniche simili per rintracciare contenuti pericolosi.
Il caso CEP non è isolato nel segnalare un legame — anche potenziale — tra strumenti basati su IA e attività estremiste. Negli ultimi anni: sono emersi casi in cui gruppi neo-nazisti e jihadisti utilizzavano piattaforme AI per generare contenuti propagandistici o deepfake credibili, incluso voice-cloning di figure ideologiche per creare materiale audio/video persuasivo o commemorativo.
Diverse comunità di ricerca ha documentato iniziative estremiste che sfruttano AI per tradurre contenuti terroristici in lingue diverse, ampliando potenzialmente la portata della propaganda.
Alcune analisi accademiche e report istituzionali indicano che strumenti di traduzione, generazione di testi e sintesi vocale possono essere trasformati in “acceleratori cognitivi” dell’estremismo, consentendo la produzione di narrativa ideologica personalizzata, modernizzata e adattata a diversi contesti culturali.
Queste dinamiche devono essere comprese nel più ampio contesto del rapido avanzamento delle tecnologie AI generative, che oggi consentono a chiunque — con competenze tecniche minime — di generare testi, immagini, audio e persino video con qualità professionale.
Implicazioni per la radicalizzazione online e l’eco-camera digitale
La presenza di IA non solo come strumento per estrarre informazioni tecniche, ma anche come potenziale attore nei processi cognitivi che guidano la radicalizzazione, non può essere sottovalutata.
La letteratura sul tema dell’“algorithmic radicalization” mostra come i sistemi di raccomandazione sui social media possano, attraverso dinamiche di engagement, spingere utenti vulnerabili verso contenuti sempre più estremi.
Sulla base di queste evidenze, risulta comprensibile come il tentativo di ottenere istruzioni su esplosivi da un’IA possa essere considerato come un’estensione di questo fenomeno: non più soltanto un utente radicalizzato che si espone a contenuti violenti, ma un attore che cerca di estrarre e sintetizzare conoscenza tecnica illegale tramite uno strumento digitale generativo.
Tale dinamica si inserisce in un continuum che lega, attraverso un unico filo conduttore, il consumo di propaganda violenta, la partecipazione a chat private estremiste, fino al tentativo di utilizzare strumenti automatizzati per ottenere informazioni operative.
Ciò presuppone un incremento del rischio di trasformazione del processo che nasce dalla radicalizzazione e termina alla pianificazione operativa, soprattutto se consideriamo che determinate istanze di IA — se male configurate o senza adeguate protezioni — possono allentare le barriere informative che tradizionalmente separano la teoria jihadista dalla pratica terroristica.
Moderazione e sicurezza dei modelli: doppio livello di rischio
Sul piano tecnologico, gestire questi rischi significa: la moderazione dei contenuti generati dall’utente, ovvero monitorare e rimuovere messaggi estremisti o istruzioni, e la moderazione dei contenuti generati dall’IA, cioè garantire che i modelli non producano risposte pericolose quando interrogati su temi sensibili.
Il tentativo di chiedere a un’IA “quanti kg di TATP servono per distruggere un edificio” rappresenta precisamente il tipo di prompt malevolo che i sistemi moderni di content moderation e di AI safety dovrebbero intercettare e bloccare.
Va evidenziato che la maggior parte dei principali fornitori di modelli generativi implementa meccanismi per: rilevare e rifiutare richieste che coinvolgono attività illegali o violente; ridurre la generazione di contenuti potenzialmente dannosi; indirizzare l’utente verso spiegazioni generali sul perché non sia etico né legale rispondere a tali richieste.
Tuttavia, questi meccanismi non sono perfetti e, soprattutto, non tutti i modelli disponibili online sono sottoposti agli stessi rigidi standard di sicurezza. Alcuni provider “uncensored”, “open source” o alimentati da comunità possono essere configurati senza limitazioni, creando un rischio intrinseco.
Ripensare policy e governance digitale
Per affrontare il problema alla radice è essenziale promuovere normative che richiedano standard minimi di sicurezza e moderazione per modelli AI commerciali, obblighi di trasparenza per i provider su come vengono gestiti dati sensibili e richieste pericolose, e meccanismi di supervisione e audit per verificare l’efficacia delle barriere anti-abuso.
In Europa, il Regolamento sull’IA (Artificial Intelligence Act) è un tentativo di codificare criteri di rischio basati sull’applicazione delle tecnologie, tuttavia, la dimensione specifica dell’uso di IA generative da parte di gruppi estremisti richiede criteri di rischio specializzati, che vadano oltre le categorie generiche di “alto rischio” fino a includere scenari di abuso intenzionale da parte di attori malevoli.
La lotta ai contenuti estremisti online richiede altresì una cooperazione strutturata tra piattaforme tecnologiche, governi e società civile che possano basarsi su alcune tecniche e metodologie, come la condivisione di indicators of compromise (IoC) e la creazione di task force dedicate all’analisi di conversazioni estremiste mediante l’utilizzo di strumenti di intelligenza artificiale utilizzati anche per fini di contrasto.
Conclusione
Il report del Counter Extremism Project racconta più di un caso isolato: indica una tendenza che richiede attenzione immediata da parte delle istituzioni, dei provider tecnologici e della comunità internazionale.
La convergenza fra spazi di comunicazione decentralizzati, propaganda estremista e strumenti automatizzati avanzati non è una minaccia futura, ma una realtà contingente che sta già alterando i contorni della sicurezza, della policy digitale e dell’ordine pubblico.
Contrastare efficacemente questa minaccia richiede risposte multilivello, che vadano dalla regolazione delle tecnologie alla cooperazione internazionale, passando per la ricerca interdisciplinare su algoritmi, radicalizzazione e dinamiche sociali. Solo così sarà possibile contenere l’uso improprio delle tecnologie più promettenti prima che diventino strumenti potenti nelle mani di chi vuole seminare violenza.
