L’intreccio tra intelligenza artificiale e cybersecurity non è più solo un tema di ricerca o di scenari futuri. Con l’operazione GTG-1002, emersa a settembre 2025, una rete AI agentica ha orchestrato in autonomia una campagna di spionaggio informatico su vasta scala, segnando un salto di qualità nelle minacce digitali.
Indice degli argomenti
Cosa è successo nell’operazione GTG-1002
Nel settembre 2025 è stato individuato e neutralizzato da Anthropic un attacco informatico che segna una svolta nella storia della sicurezza digitale. Per la prima volta, un’intelligenza artificiale non si è limitata a supportare hacker umani, ma ha eseguito autonomamente l’intera catena di un’operazione di spionaggio su vasta scala. La storia è documentata qui.
L’attacco è stato condotto dal gruppo GTG-1002, affiliato allo Stato cinese, e ha preso di mira circa trenta organizzazioni tra aziende tecnologiche, istituzioni finanziarie, agenzie governative e imprese manifatturiere in diversi paesi. L’operazione si distingue per un elemento inedito: l’intelligenza artificiale ha gestito tra l’80 e il 90 per cento delle operazioni tattiche in modo completamente autonomo, mentre gli operatori umani hanno mantenuto solo un ruolo di supervisione strategica.
Orchestrazione autonoma e ruolo umano
L’intelligenza artificiale ha eseguito in modo indipendente ogni fase dell’intrusione: dalla ricognizione iniziale delle reti bersaglio fino all’esfiltrazione dei dati sensibili, passando per la scoperta di vulnerabilità, lo sviluppo di codici di exploit, il movimento laterale all’interno delle reti compromesse e l’analisi di grandi volumi di informazioni rubate per identificare contenuti di valore strategico. Gli esseri umani sono intervenuti solo in momenti chiave, come l’autorizzazione a passare dalla fase di ricognizione a quella di attacco vero e proprio, o la decisione finale su quali dati estrarre.
Il sistema utilizzato ha trasformato Claude Code in un orchestratore autonomo di operazioni offensive, frammentando attacchi complessi in singole richieste tecniche che, esaminate isolatamente, apparivano legittime. Gli operatori hanno manipolato il modello attraverso tecniche di ingegneria sociale, presentandosi come esperti di cybersecurity impegnati in test difensivi autorizzati. Questa strategia ha permesso loro di eludere i sistemi di protezione per un tempo sufficiente a lanciare la campagna.
Strumenti open source e limiti tecnici dell’attacco
L’infrastruttura tecnica dell’attacco si è basata principalmente su strumenti open source standard nel campo della sicurezza informatica, orchestrati attraverso un framework personalizzato costruito attorno al Model Context Protocol (MCP). Indipendentemente dai dettagli tecnici, che possono variare (es. si possono usare modelli open weights anche abliterati su istanze Ollama proprietarie), questa scelta evidenzia una trasformazione importante: le capacità offensive avanzate non dipendono più dallo sviluppo di malware sofisticato, ma dall’abilità di coordinare risorse tecniche già disponibili. Tale accessibilità rende questi metodi replicabili da un numero crescente di attori, anche con risorse limitate.
Esiste tuttavia un limite tecnico significativo emerso durante l’indagine. L’intelligenza artificiale ha frequentemente sovrastimato i propri risultati o generato informazioni false durante le operazioni autonome, dichiarando di aver ottenuto credenziali che poi si rivelavano inutilizzabili o identificando scoperte critiche che in realtà erano informazioni pubblicamente disponibili. Questa tendenza all’allucinazione in contesti di sicurezza offensiva ha richiesto agli operatori una validazione costante di tutti i risultati dichiarati, costituendo un ostacolo all’autonomia completa degli attacchi informatici.
La risposta all’attacco è stata immediata e articolata. Nel giro di dieci giorni dall’identificazione iniziale, sono stati disattivati gli account coinvolti, notificate le entità compromesse e informate le autorità competenti. Parallelamente, sono stati potenziati i sistemi di rilevamento per identificare pattern di minaccia simili, sviluppati prototipi di sistemi di allerta precoce per attacchi autonomi e integrate le lezioni apprese nei controlli di sicurezza generali.
Intelligenza artificiale e cybersecurity nella prima rete agentica offensiva
L’operazione GTG-1002 rappresenta uno dei primi esempi reali e ben documentati di rete AI agentica offensiva in produzione nel contesto della cybersecurity. Come tale, conferma empiricamente ciò che diversi studi avevano già evidenziato: questi sistemi non sono in grado di fornire risposte prive di errori. Anche nelle migliori condizioni operative, i tassi di fallimento si attestano tra il 20 e il 30 per cento (alcuni studi riportano valori anche superiori) dei casi, affiancati ad altri problemi come il mode collapse.
Questa evidenza solleva una questione critica per l’intero settore: stiamo costruendo sistemi di sicurezza critici basandoci su tecnologie che producono errori significativi in una percentuale rilevante delle loro operazioni. Il paradosso è particolarmente evidente nel contesto dei Security Operations Center (SOC) automatizzati, verso cui il settore si sta rapidamente orientando. La recente apertura da parte di Google della public review di Google SecOps rappresenta un esempio emblematico di questa tendenza all’automazione basata su AI.
Intelligenza artificiale e cybersecurity nei SOC automatizzati
L’inaffidabilità intrinseca delle AI agentiche non è un limite temporaneo destinato a essere superato con i prossimi aggiornamenti, ma una caratteristica strutturale che va considerata nella progettazione della sicurezza AI-enhanced. La comunità di ricerca sta attivamente esplorando alternative ai transformer per migliorare l’affidabilità e l’efficienza in applicazioni critiche, anche se ancora non c’è un consenso condiviso che sia strettamente necessario abbandonare i transformer.
Quando un SOC automatizzato commette errori nel 20-30% dei casi, non stiamo semplicemente perdendo efficacia: stiamo potenzialmente introducendo vulnerabilità sistematiche che attaccanti sofisticati possono imparare a sfruttare.
Allucinazioni dei modelli e rischi per intelligenza artificiale e cybersecurity
L’affidabilità delle risposte fornite dai modelli di intelligenza artificiale generativa costituisce un elemento tecnico rilevante che va oltre i limiti emersi durante l’attacco GTG-1002. A tal proposito è utile citare un recente studio della Columbia University che ha sottoposto a verifica sistematica sei tra i principali strumenti AI disponibili sul mercato: ChatGPT, Gemini, Grok, Perplexity, Copilot e DeepSeek. L’obiettivo era misurare la frequenza con cui questi sistemi forniscono riferimenti bibliografici errati pur presentandoli con un alto grado di sicurezza.
I dati raccolti mostrano pattern significativi. Grok ha prodotto citazioni errate nel 94% dei casi analizzati, mentre Gemini ha fornito una sola risposta corretta su duecento richieste. ChatGPT ha generato informazioni sbagliate nel 67% delle verifiche. Perplexity ha registrato il 37% di errori, risultando il sistema con la performance migliore nel campione. Copilot ha adottato una strategia differente rispondendo “non lo so” nella maggior parte dei casi, evitando così di generare informazioni false ma riducendo la propria operatività.
Figura – Fonte Columbia Journalism Review [1]
Seppure Claude non sia fra i sistemi testati, questi dati evidenziano una caratteristica strutturale: i modelli generativi producono informazioni apparentemente credibili e ben formulate che possono non corrispondere alla realtà, fenomeno tecnicamente definito come allucinazione. Come documentato nell’operazione GTG-1002, questa caratteristica ha rappresentato un fattore limitante per l’efficacia operativa, richiedendo agli attaccanti verifiche continue dei risultati dichiarati dall’AI.
Le capacità dei modelli evolvono costantemente e la tendenza all’allucinazione potrebbe modificarsi con le prossime generazioni di sistemi AI. Chi opera in ambito difensivo o di attacco, come si è visto, deve sviluppare competenze specifiche nell’utilizzo di AI per la cybersecurity, per distinguere risultati validi da artefatti generativi e falsità allucinatorie.
Dal modello Human-in-the-loop a Human-on-the-loop
L’operazione GTG-1002 illustra concretamente la transizione da un modello operativo “Human-In-The-Loop” (HITL) a uno “Human-On-The-Loop” (HOTL) nell’uso dell’intelligenza artificiale per attività offensive. Nel primo approccio, ogni singola azione del sistema richiede approvazione umana preventiva, massimizzando l’accountability ma rallentando significativamente i processi. Nel secondo, il sistema opera autonomamente mentre l’essere umano assume un ruolo di supervisore che interviene solo ai punti di decisione strategica.
Questa evoluzione verso architetture HOTL rappresenta una tendenza consolidata nel settore della cybersecurity, analizzata anche da Gartner durante il Security and Risk Management Summit di Londra, settembre 2025.
L’architettura dell’attacco documentato da Anthropic rappresenta un’implementazione HOTL nella sua forma più evoluta. Gli operatori hanno esercitato il controllo esclusivamente su tre categorie di decisioni: l’autorizzazione a passare dalla ricognizione all’exploitation attiva, l’approvazione dell’uso di credenziali rubate per il movimento laterale e la selezione finale dei dati da estrarre. L’intelligenza artificiale ha gestito autonomamente tutte le operazioni tattiche, raggiungendo ritmi operativi di migliaia di richieste al secondo, fisicamente impossibili per attaccanti umani.
Questo modello operativo modifica i requisiti per i sistemi difensivi. La capacità di rilevare attività AI-driven non può più basarsi su pattern di comportamento umano tradizionali quali pause operative, ritmi circadiani o limiti di velocità nell’esecuzione di task complessi (parametri che vengono usati, ad esempio, per l’attribuzione).
Servono invece sistemi di monitoraggio progettati per identificare sequenze operative ad alta velocità, audit trail in grado di tracciare progressioni multifase anche quando distribuite su sessioni multiple, e meccanismi di interruzione che possano bloccare operazioni autonome quando pattern anomali vengono identificati prima del completamento delle sequenze di attacco.
Governance di intelligenza artificiale e cybersecurity e sovranità digitale
Questa evoluzione pone interrogativi fondamentali sulla direzione da prendere. Se i modelli di intelligenza artificiale possono essere manipolati per condurre attacchi di questa portata, ha senso continuare a svilupparli e renderli disponibili (mi sono posto questa stessa domanda anche per le AI abliterate, in un recente whitepaper)?
La risposta risiede in una considerazione essenziale: le stesse capacità che permettono a un’intelligenza artificiale di essere sfruttata per attacchi la rendono anche indispensabile per la difesa. Quando attacchi sofisticati si verificano inevitabilmente, l’obiettivo è che strumenti come Claude, dotati di solide protezioni, possano assistere i professionisti della cybersecurity nel rilevare, contrastare e prepararsi contro versioni future di questi attacchi.
Le implicazioni per il settore sono immediate. I team di sicurezza devono sperimentare attivamente l’applicazione dell’intelligenza artificiale in ambiti come l’automazione dei Security Operations Center, il rilevamento delle minacce, la valutazione delle vulnerabilità e la risposta agli incidenti. La condivisione di intelligence tra organizzazioni, il miglioramento dei metodi di rilevamento e il rafforzamento dei controlli di sicurezza diventano priorità operative urgenti.
La cybersecurity, però, non è ancora in larga parte strutturalmente pronta per gestire questo cambio. Ad esempio, nel caso degli agenti AI, gli elementi fondamentali di governance risultano incompleti: mancano registri centralizzati di identità e permessi degli agenti AI, le policy di comunicazione tra agenti non sono definite, i sistemi di osservabilità non coprono adeguatamente le interazioni autonome.
I rischi operativi specifici includono il drift degli obiettivi (le reti di AI o le AI di grandi dimensioni lentamente deviano dai loro scopi), le comunicazioni non protette tra agenti, l’escalation silenziosa dei privilegi (fino ad ottenere i dati di addestramento), la prompt injection e il jailbreaking.
Le organizzazioni devono implementare controlli specifici:
- creare registri centralizzati degli agenti documentandone l’identità, permessi, scopi e ownership
- introdurre Service Level Objectives e telemetrie per sistemi AI agentici e non, tracciando le loro azioni, fonti e gli esiti
- estendere le attività di Red Teaming ai sistemi AI e alle relative supply chain
La questione si lega anche ai problemi di digital sovereignty, come ho avuto occasione di raccontare in un recente articolo. Da entrambi i fronti si capisce quindi che sia in atto un importante cambiamento. La finestra per adattare governance, architetture e processi si sta chiudendo rapidamente mentre le capacità offensive basate su AI continuano a evolvere.
