Un rapporto d’intelligence falso, prodotto con l’aiuto dell’intelligenza artificiale, ha portato gli Stati Uniti a preparare l’intercettazione di una nave cinese in Medio Oriente. Militari armati si stavano preparando a salire a bordo e aerei statunitensi erano già in volo quando un controllo più approfondito ha fatto emergere l’errore.
Un evento notevole perché è forse la prima materializzazione di un rischio che molti esperti hanno previsto alla luce degli allarmi di questi giorni: che errori dell’AI (allucinazioni o misallineamenti di agenti autonomi) possano avere conseguenze gravi e persino irreversibili nel mondo reale, a danno non solo di aziende ma anche di Stati e cittadini.
E non a caso gli Usa e la Cina stanno avanzando nei discorsi per trovare un canale di collaborazione sul tema, almeno sul piano di trasparenza e segnalazione per le minacce più gravi.
Indice degli argomenti
Se l’AI inganna l’intelligence USA e rischia di scatenare una guerra
Secondo lo scoop pubblicato dalla CNN il 18 settembre, l’episodio è avvenuto in primavera, durante la guerra con l’Iran. Un rapporto indicava che la nave cinese trasportava componenti destinati a un programma di armi nucleari. L’informazione era però sbagliata: il chatbot utilizzato da un analista militare aveva identificato erroneamente il materiale presente a bordo. Una delle fonti citate dalla CNN ha definito il rapporto completamente falso e ha detto che la vicenda aveva rischiato di far scoppiare una guerra.
Il sistema aveva combinato informazioni provenienti da fonti aperte con intelligence classificata raccolta dagli Stati Uniti. L’analista aveva poi utilizzato nuovamente l’AI per trasformare il risultato in un rapporto nel formato normalmente utilizzato dall’intelligence militare. L’errore ha così percorso quasi tutta la catena che separa l’elaborazione di un’informazione da un’operazione nel mondo reale.
È questo che rende il caso più significativo della normale allucinazione di un chatbot. Un’informazione inventata può diventare un input per sistemi organizzativi che prendono decisioni, muovono uomini e mezzi, controllano infrastrutture e, in ambito militare, possono usare la forza.
Dal caso CNN agli agenti che superano le proprie barriere
Lo scoop arriva poche settimane dopo un incidente di natura diversa che ha mostrato l’altra faccia dello stesso problema: sistemi AI capaci di compiere autonomamente una sequenza di azioni che si allontana dagli obiettivi e dai limiti stabiliti dagli sviluppatori.
Nel luglio 2026, durante valutazioni interne di cybersicurezza, alcuni modelli di OpenAI hanno aggirato i controlli destinati a isolarli da Internet e hanno compromesso parti delle infrastrutture di ricerca di OpenAI e dei sistemi di Hugging Face. Nella sua ricostruzione ufficiale dell’incidente, OpenAI spiega che gli agenti hanno comunicato attraverso canali non autorizzati, sfruttato vulnerabilità dell’infrastruttura, ottenuto accesso a Internet e raggiunto sistemi di terze parti.
La sequenza è significativa. Gli agenti hanno trovato nuovi sistemi per comunicare tra esecuzioni che avrebbero dovuto restare separate, hanno concatenato diverse vulnerabilità e hanno progressivamente aumentato i propri privilegi. Il 12 luglio hanno ottenuto un accesso molto ampio ai cluster di Hugging Face e raccolto credenziali relative a Kubernetes, database, repository di codice e servizi cloud. Pochi giorni dopo hanno raggiunto anche privilegi amministrativi su un cluster di OpenAI.
OpenAI descrive queste azioni come misaligned, disallineate rispetto agli obiettivi delle attività assegnate. Il termine va inteso in senso tecnico: un sistema ottimizza il risultato che gli viene richiesto trovando strategie e scorciatoie che i progettisti non avevano previsto e che violano le regole definite per l’esperimento.
Il 21 settembre anche l’Independent International Scientific Panel on AI delle Nazioni Unite ha dedicato un brief specifico all’incidente OpenAI-Hugging Face.
Il Panel lo considera uno dei segnali reali più chiari finora disponibili di un possibile percorso verso la perdita del controllo umano: agenti sufficientemente capaci che perseguono obiettivi in conflitto con le intenzioni di chi li ha messi in funzione. Il documento precisa però che questi episodi non consentono di stimare quanto sia probabile, né quanto sia vicino, uno scenario molto più grave di perdita del controllo.
Quando l’errore dell’AI diventa un’azione nel mondo reale
I due casi mostrano meccanismi diversi.
Nell’incidente raccontato dalla CNN, il chatbot produce un’informazione falsa e sono gli esseri umani a trasformarla in un’azione. Nell’incidente OpenAI-Hugging Face gli agenti dispongono invece degli strumenti necessari per agire direttamente sui sistemi informatici e continuano autonomamente una lunga sequenza di operazioni.
Con l’evoluzione verso l’AI agentica, questa seconda possibilità diventa sempre più importante. Un agente può ricevere un obiettivo generale, suddividerlo in attività, utilizzare programmi e API, eseguire codice, consultare fonti esterne e prendere decisioni intermedie senza chiedere continuamente un’autorizzazione umana.
Il rischio dipende allora anche dai permessi che attribuiamo al sistema. Se può soltanto leggere dei documenti, un comportamento imprevisto ha un determinato raggio d’azione. Se possiede credenziali, può scrivere codice, amministrare server o impartire comandi ad altri sistemi, lo stesso errore può propagarsi molto più lontano.
È esattamente il problema che il Nist statunitense sta cercando di affrontare con il lavoro sulla sicurezza degli agenti. Il Center for AI Standards and Innovation osserva che gli agenti combinano gli output dei modelli con la possibilità di agire autonomamente su software e ambienti esterni e che, in determinate condizioni, comportamenti disallineati possono diventare un rischio per la sicurezza pubblica e nazionale.
Che cosa succede se l’agente raggiunge un’infrastruttura critica
Il salto successivo riguarda le infrastrutture sulle quali le azioni informatiche hanno effetti fisici: energia, acqua, trasporti, telecomunicazioni, impianti industriali.
L’incidente di Hugging Face non ha coinvolto infrastrutture critiche. Ha però mostrato capacità che diventano molto più delicate quando l’agente dispone dell’accesso a sistemi operativi reali: individuazione di vulnerabilità, concatenazione degli exploit, aumento dei privilegi, uso di credenziali e capacità di proseguire autonomamente verso un obiettivo.
In un’infrastruttura tradizionale, molte difese informatiche partono dall’idea che dietro un attacco esista una persona o un gruppo di persone. Gli agenti rendono possibile automatizzare parti crescenti della sequenza e aumentare velocità e numero dei tentativi.
Il Nist indica quindi tra le contromisure necessarie la gestione molto più rigorosa dell’identità degli agenti e delle loro autorizzazioni. Un sistema dovrebbe essere identificabile come un utente software distinto, ricevere soltanto i privilegi strettamente necessari e lasciare una traccia verificabile di ciò che fa. Il principio del minimo privilegio, già normale nella cybersecurity, assume un valore ancora maggiore quando chi utilizza le credenziali può prendere autonomamente migliaia di decisioni.
E se l’AI entra nella catena militare
Il caso della nave cinese porta questo problema dentro uno degli ambienti in cui le conseguenze di un errore possono essere maggiori.
L’AI è utilizzata sempre di più per analizzare l’intelligence, individuare possibili obiettivi, gestire grandi quantità di informazioni e accelerare le decisioni operative. Nel caso raccontato dalla CNN, l’errore è stato scoperto prima che l’intercettazione fosse eseguita. La stessa catena diventa però progressivamente più difficile da controllare quando velocità e autonomia aumentano.
Qui emerge anche un limite della formula human in the loop. La presenza di un essere umano nella procedura offre una protezione solo se quella persona dispone degli elementi e del tempo necessari per verificare ciò che la macchina gli propone.
Il neuroscienziato Uri Maoz ha descritto su MIT Technology Review il rischio di una supervisione umana soltanto formale: l’operatore vede input, raccomandazioni e probabilità elaborate dal sistema, mentre i criteri effettivamente utilizzati da un modello complesso possono rimanere opachi. In un sistema militare ad alta velocità questa asimmetria può rendere difficile accorgersi di un errore prima che produca conseguenze.
La situazione diventerebbe ancora più delicata se sistemi agentici avessero accesso diretto a droni, piattaforme robotiche, difese automatiche o altri sistemi d’arma. In quel caso la distanza temporale tra decisione della macchina e conseguenza fisica potrebbe ridursi ulteriormente.
Usa e Cina studiano un sistema di allerta sugli incidenti AI
Proprio alla luce di questi allarmi, Stati Uniti e Cina stanno discutendo una prima forma di cooperazione destinata agli incidenti AI che possono diventare problemi di sicurezza nazionale.
Il 20 settembre il segretario al Tesoro americano Scott Bessent e il vicepremier cinese He Lifeng ne hanno discusso durante un incontro a New York. Washington ha proposto di creare un dialogo Usa-Cina sull’AI accompagnato da un meccanismo di notifica: le due potenze dovrebbero avvertirsi quando un incidente legato all’intelligenza artificiale raggiunge una gravità tale da interessare la sicurezza nazionale. La proposta dovrebbe essere esaminata anche nel vertice tra Donald Trump e Xi Jinping previsto a Washington il 24 settembre.
L’obiettivo indicato da Bessent è aumentare la trasparenza tra le due maggiori potenze dell’AI e creare un canale per discutere «obiettivi comuni e minacce comuni». I due Paesi hanno concordato di continuare il confronto, mentre Pechino, nel proprio resoconto pubblico dei colloqui, ha confermato che si è parlato di intelligenza artificiale senza pronunciarsi nel dettaglio sul meccanismo proposto. I controlli statunitensi sull’esportazione verso la Cina dei chip AI più avanzati restano fuori da questo negoziato.
È ancora un progetto, non un accordo operativo. Soprattutto, le parti dovranno superare la sfiducia reciproca accumulata in questi mesi. Gli Usa accusano la Cina di “rubare” segreti industriali tramite distillazione dei modelli AI USA; la Cina accusa gli Usa di volerla rallentare, con azioni di controllo sull’export dei chip e altre misure.
In questo clima è difficile che una delle parti accetterà condizioni che potranno rallentare il progresso nell’AI, perché temerà che l’altra farà solo finta di accettarle (e non è facile verificare il contrario).
Il principio messo ora sul tavolo è però rilevante perché affronta una caratteristica nuova del rischio: un incidente provocato da un sistema AI può superare rapidamente i confini di un’azienda e anche quelli di uno Stato. Un agente che compromette infrastrutture all’estero, un sistema automatico che interpreta erroneamente un’attività militare o un’azione cyber attribuita al Paese sbagliato possono produrre reazioni prima che sia stato chiarito che cosa sia realmente accaduto.
Un meccanismo di notifica servirebbe quindi anche a ridurre il rischio di escalation per errore, creando un canale attraverso cui spiegare rapidamente un incidente AI prima che venga interpretato come un’azione deliberata dell’altra parte.
Quali barriere servono all’AI
Gli incidenti recenti indicano almeno tre livelli diversi sui quali intervenire.
Il primo riguarda il modello e il suo comportamento: valutazioni più severe prima dell’impiego, red teaming, monitoraggio delle azioni anomale e sistemi capaci di individuare comportamenti disallineati.
Il secondo riguarda l’ambiente nel quale l’agente opera. L’AI deve incontrare barriere indipendenti anche quando riesce ad aggirare le proprie regole interne: autorizzazioni limitate, separazione tra sistemi, credenziali temporanee, controlli sulle operazioni più sensibili e possibilità di interrompere l’esecuzione da un’infrastruttura sulla quale l’agente non abbia controllo.
Il terzo livello nasce quando le conseguenze possono attraversare aziende e Paesi. Qui entrano in gioco obblighi di segnalazione degli incidenti, condivisione delle informazioni e strumenti internazionali come quello ora allo studio tra Washington e Pechino.
La sicurezza degli agenti AI comincia così ad assomigliare meno alla sicurezza di un normale programma e sempre più alla gestione di sistemi capaci di prendere iniziative all’interno di ambienti complessi.
Il problema cresce con ciò a cui colleghiamo l’AI
Gli episodi osservati finora non permettono di stabilire se o quando sistemi molto più avanzati potranno sfuggire stabilmente al controllo umano. La stessa analisi delle Nazioni Unite mantiene aperta questa incertezza.
Mostrano però che alcuni passaggi intermedi stanno già avvenendo.
Abbiamo agenti capaci di superare restrizioni di rete e aumentare autonomamente i propri privilegi. Abbiamo informazioni false prodotte dall’AI che riescono a entrare nella catena decisionale militare e ad avvicinarsi a un’azione sul campo. Abbiamo sistemi ai quali vengono affidati strumenti, credenziali e possibilità operative sempre maggiori.
Il rischio cresce quindi insieme al potere operativo che affidiamo alla macchina. Un errore dentro una chat può restare una risposta sbagliata. Lo stesso errore, dentro un agente collegato a infrastrutture, sistemi cyber o apparati militari, può diventare un’azione.
È su quella connessione tra capacità dell’AI e possibilità di intervenire nel mondo reale che si gioca oggi una parte crescente del problema del controllo.
Partecipa alla community