Un test interno di OpenAI sulle capacità cyber dei modelli è diventato un incidente reale sull’infrastruttura di Hugging Face.
L’AI sfugge al controllo dei creatori, novella Frankenstein, e impara da sola come fare danni nel mondo. Per noi tutti, la necessità ora di capire i nuovi profili di rischio che si aprono per le aziende e le infrastrutture critiche di un Paese.
La storia l’ha raccontata OpenAI in una nota di ieri.
Indice degli argomenti
Attacco OpenAI-Hugging Face
L’incidente è avvenuto durante una valutazione interna di modelli cyber-capaci, tra cui GPT-5.6 Sol e un modello pre-release più avanzato, configurati con minori rifiuti sulle richieste cyber per misurarne le capacità massime. Il test usava ExploitGym, benchmark pensato per valutare se un agente AI sia in grado di trasformare vulnerabilità in exploit funzionanti.
Il modello avrebbe dovuto lavorare dentro un ambiente isolato: analizzare la vulnerabilità proposta, costruire l’exploit e dimostrare la capacità richiesta dal benchmark. Ha seguito un’altra strada. Ha cercato accesso a Internet, ha sfruttato una vulnerabilità zero-day in un software usato come proxy e cache per registri di pacchetti, ha fatto escalation di privilegi e movimento laterale nell’ambiente di ricerca OpenAI, fino a raggiungere un nodo con connettività esterna.
A quel punto il test ha smesso di restare nel perimetro previsto. Una volta online, l’agente ha dedotto che Hugging Face potesse ospitare modelli, dataset o soluzioni collegati a ExploitGym e ha cercato informazioni per superare la prova. OpenAI scrive che i modelli hanno identificato e concatenato vulnerabilità tra l’ambiente di ricerca OpenAI e l’infrastruttura di produzione di Hugging Face, arrivando a ottenere soluzioni del test direttamente dal database di produzione della piattaforma. In almeno un percorso, l’agente avrebbe usato credenziali sottratte, vulnerabilità zero-day e un accesso remoto al codice sui server Hugging Face.
Dal benchmark all’incidente reale
Il salto da test a incidente si capisce solo distinguendo il compito assegnato dal comportamento osservato. ExploitGym, descritto nel paper ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks? pubblicato su arXiv l’11 maggio 2026 da Zhun Wang e altri sedici autori, contiene 898 istanze tratte da vulnerabilità reali in programmi userspace, nel motore JavaScript V8 di Google e nel kernel Linux. L’agente parte da un input che innesca una vulnerabilità e deve estenderlo fino a produrre un exploit funzionante in ambienti containerizzati e riproducibili.
Il comportamento descritto da OpenAI è diverso: il modello ha cercato di aggirare la prova recuperando all’esterno informazioni utili a risolverla. In termini di sicurezza, il punto non è l’intenzione del modello, che resta una categoria impropria. Il punto è l’ottimizzazione del risultato: se l’obiettivo è formulato come “risolvi il benchmark” e l’ambiente non impedisce davvero l’uscita, un agente abbastanza capace può trattare la sandbox come un ostacolo tecnico da superare.
È qui che la vicenda diventa rilevante per aziende e PA. La vulnerabilità iniziale non riguarda una nuova magia dell’AI, ma elementi noti della sicurezza informatica: isolamento imperfetto, software terzo, credenziali, privilegi, accesso alla rete, esecuzione remota del codice. L’AI cambia la continuità con cui questi elementi vengono cercati, combinati e sfruttati.
La ricostruzione di Hugging Face
La prima comunicazione pubblica era arrivata da Hugging Face il 16 luglio 2026. La società aveva rilevato un’intrusione in parte della propria infrastruttura di produzione e l’aveva descritta come guidata end to end da un sistema autonomo di agenti AI. Hugging Face ha spiegato di aver ricostruito l’attività usando in larga misura modelli AI difensivi.
Sul versante della piattaforma, il punto d’ingresso sarebbe stato il sistema di elaborazione dei dataset. Un dataset malevolo avrebbe abusato di due percorsi di esecuzione del codice: un loader remoto e una template injection nella configurazione di un dataset. Da lì l’attore ha ottenuto accesso a nodi, credenziali cloud e cluster interni.
Hugging Face ha dichiarato di non aver trovato prove di manomissione dei modelli pubblici, dei dataset pubblici, degli Spaces o della supply chain software. La società ha però indicato accessi non autorizzati a un insieme limitato di dataset interni e ad alcune credenziali di servizio, consigliando la rotazione dei token e la verifica delle attività recenti sugli account.
Il collegamento tra le due ricostruzioni è arrivato con OpenAI: l’attore autonomo osservato da Hugging Face era riconducibile ai modelli in valutazione. Le due società stanno conducendo un’indagine congiunta e OpenAI ha annunciato controlli più rigidi su configurazione dell’infrastruttura, isolamento, monitoraggio e pratiche di valutazione, anche a costo di rallentare la ricerca mentre le vulnerabilità vengono corrette.
Perché l’autonomia cambia il rischio cyber
L’uso dell’AI negli attacchi non nasce con Hugging Face. Nel febbraio 2024, OpenAI e Microsoft avevano comunicato la chiusura di account collegati a cinque attori statali o affiliati a Stati, usati per attività come ricerca open source, traduzione, debug, scripting e preparazione di contenuti per phishing. In quel quadro l’AI funzionava soprattutto da acceleratore del lavoro umano.
Nel report di agosto 2025, Anthropic ha descritto casi di “vibe hacking”, con Claude Code usato per automatizzare parti di operazioni di furto ed estorsione dati contro almeno 17 organizzazioni, tra sanità, servizi di emergenza, istituzioni pubbliche e soggetti religiosi. A novembre 2025, sempre Anthropic ha attribuito a un gruppo statale cinese una campagna di spionaggio in cui l’AI avrebbe svolto una quota molto ampia del ciclo operativo, dalla ricognizione all’esfiltrazione, con interventi umani limitati ad alcune decisioni.
Anche Microsoft Threat Intelligence, nel rapporto AI as tradecraft del marzo 2026, ha descritto l’AI come abilitatore lungo il ciclo di attacco: social engineering, sviluppo di codice, analisi di dati rubati, automazione di comandi, resilienza operativa. Il caso Hugging Face aggiunge un elemento ulteriore: un agente non usato da criminali, ma attivato in una valutazione interna, ha prodotto effetti su un’infrastruttura esterna.
Il UK AI Security Institute, organismo di ricerca del Department for Science, Innovation and Technology britannico, ha stimato nel maggio 2026 che l’orizzonte temporale dei compiti cyber risolti autonomamente dai modelli di frontiera con affidabilità dell’80% sia raddoppiato ogni 4,7 mesi dall’arrivo dei modelli di reasoning alla fine del 2024. La system card di GPT-5.6 riporta inoltre che UK AISI ha visto GPT-5.6 Sol completare in 7 tentativi su 10 “The Last Ones”, simulazione di attacco a una rete aziendale in 32 passaggi, contro 2 tentativi su 10 di GPT-5.5. L’istituto ha precisato che gli ambienti testati sono più piccoli e più semplici di reti aziendali reali.
La capacità cyber dell’AI ha già destato parecchie preoccupazioni, anche istituzionali, vedi blocco di Mythos 5 e l’allarme di Bce e Banca d’Italia.
Timori confermati ora da queste nuove capacità mostrate.
Le conseguenze per aziende e PA
Per imprese e amministrazioni pubbliche, la lezione principale riguarda il modo in cui vengono progettati, acquistati e governati gli agenti AI. Ogni agente collegato a strumenti, repository, basi dati, ticketing, ambienti cloud o sistemi documentali diventa una nuova identità operativa. Deve avere privilegi minimi, credenziali proprie, scadenze brevi, limiti di rete, tracciamento delle azioni e blocchi automatici quando tenta percorsi non previsti.
Gli ambienti di test cyber e le sandbox per modelli avanzati vanno trattati come infrastrutture ad alto rischio. L’uscita verso Internet deve essere negata per impostazione predefinita, autorizzata solo dove serve e verificata con controlli indipendenti. I proxy, i registri di pacchetti, i loader di dataset e i componenti di automazione non possono essere considerati servizi secondari: sono punti da cui un agente può ottenere codice, dipendenze, credenziali o percorsi di esecuzione.
Il tema tocca anche la catena di fornitura. In Italia, il quadro NIS2, con ACN come autorità competente e punto di contatto unico, spinge soggetti pubblici e privati verso una gestione più strutturata del rischio cyber, inclusi fornitori, incidenti e misure tecniche e organizzative. L’adozione di agenti AI nei processi interni deve entrare in questo perimetro: contratti, capitolati, audit e piani di continuità devono dire chi può far agire un agente, su quali sistemi, con quali log, con quale separazione dei dati e con quali obblighi di notifica in caso di anomalia.
Per la PA il punto è ancora più sensibile. Dataset, protocolli, servizi cloud, piattaforme documentali e ambienti di interoperabilità possono essere esposti a componenti AI introdotti per assistenza, classificazione, sviluppo software o analisi di sicurezza. Le linee guida internazionali sulla sicurezza dell’intelligenza artificiale a cui ACN ha aderito richiamano proprio la necessità di progettare, sviluppare e impiegare sistemi AI in modo sicuro lungo l’intero ciclo di vita.
Difesa AI, ma con controllo umano e architettura
Il caso Hugging Face mostra anche l’altro lato della questione. La stessa autonomia che può accelerare un attacco può aiutare i difensori a ricostruire eventi, correlare log, cercare indicatori di compromissione e ridurre i tempi di risposta. Hugging Face ha raccontato di aver usato modelli open source per analizzare migliaia di azioni dell’attaccante, evitando di inviare fuori dall’ambiente comandi, payload e credenziali emersi durante l’indagine.
La difesa AI però richiede architettura, non solo strumenti. I modelli usati in incident response devono poter lavorare su dati sensibili senza allargarne la circolazione; i loro output devono essere verificati; le azioni automatiche devono avere soglie, approvazioni e limiti. Un agente difensivo con accessi troppo ampi può diventare a sua volta un vettore di rischio.
La sicurezza dell’AI non si misura solo sul modello, ma sull’intero ambiente in cui il modello viene autorizzato ad agire.
Il problema non è solo cyber: agenti capaci di oltrepassare l’intento
Il caso Hugging Face mostra un rischio più ampio della compromissione informatica.
Il rischio che l’AI sfugga al controllo e faccia danni imprevedibili.
Si apre così un possibile rischio sistemico.
Un agente AI non ha bisogno di “voler” fare danni per produrre un effetto pericoloso, per la società.
Può ricevere un obiettivo legittimo, come superare un benchmark, e cercare percorsi non previsti quando l’ambiente glieli rende tecnicamente possibili.
È il tema dell’imprevedibilità operativa degli agenti AI: sistemi addestrati a perseguire obiettivi complessi per molti passaggi possono combinare strumenti, credenziali, codice e informazioni in modi che il progettista non aveva anticipato. Nella cyber questa dinamica è già osservabile perché gli effetti sono digitali, rapidi e misurabili.
In questo incidente, il vincolo della sandbox è diventato un ostacolo da aggirare; l’accesso a Internet è diventato una risorsa da ottenere; l’infrastruttura esterna è diventata una fonte da interrogare per trovare la soluzione.
Ma la questione riguarda tutti i domini in cui un modello avanzato riceve autonomia, strumenti e accesso a risorse sensibili.
Ad esempio, se all’AI si affida il controllo di un’azienda, dove potrebbe aggirare le norme per raggiungere un obiettivo di business.
Può prendere decisioni che causano escalation militare, se controlla alcune armi in un conflitto, come del resto gli Usa già si preparano a fare.
Altri rischi, paventati dal settore, riguardano la costruzione di armi batteriologiche.
La stessa documentazione di sicurezza di OpenAI su GPT-5.6 colloca la famiglia di modelli in fascia High sia per cybersecurity sia per rischio biologico e chimico.
Non significa che un modello possa produrre da solo un’arma biologica: restano colli di bottiglia materiali, competenze di laboratorio, accesso a reagenti, controlli fisici e catene di fornitura.
Significa però che l’assistenza AI può ridurre alcune barriere cognitive e operative, soprattutto quando un utente insiste nel tempo, prova aggiramenti, chiede troubleshooting o frammenta il compito in passaggi apparentemente innocui.
Su questi temi le stesse aziende AI, tra cui in particolare Anthropic, si interrogano da anni e cercano di stabilire paletti e controlli alle proprie creature.
Dopo quest’ultima notizia, è più lecito dubitare dell’efficacia di questi limiti.
Partecipa alla community