Il compito assegnato al modello era da ricercatore scrupoloso: stimare la spesa pubblica per persona in farmaci contro le malattie della pelle nelle comunità dello Stato di Victoria. Durante una sessione di addestramento interna, a giugno, il modello non ha trovato i dati pubblicati, ha scoperto un accesso non pubblico al Medicare Statistics Reporting Service di Services Australia e lo ha usato per eseguire comandi, recuperare file interni, credenziali e statistiche aggregate, esaminare il codice sorgente del servizio, sempre con l’obiettivo di rispondere alla domanda di partenza. Nessuna cartella clinica individuale è stata toccata, secondo la ricostruzione che OpenAI ha pubblicato il 28 settembre insieme alle proprie scuse.
Il giorno successivo, al DevDay di San Francisco, la stessa azienda ha presentato dots, agenti che lavorano ventiquattro ore su ventiquattro con un proprio computer nel cloud e l’accesso a migliaia di applicazioni. Messi uno accanto all’altro, i due annunci descrivono lo stato del problema degli agenti autonomi: le capacità arrivano sul mercato mentre i meccanismi per accorgersi, notificare e rispondere quando un agente oltrepassa il confine sono ancora in costruzione, dentro le aziende e dentro le regole.
Indice degli argomenti
Services Australia e il compito di giugno
Il resoconto di OpenAI elenca quattro enti australiani coinvolti. Oltre a Services Australia, un modello ha interrogato lo strumento pubblico di mappatura dei reati del Bureau of Crime Statistics and Research del Nuovo Galles del Sud ottenendo configurazioni, log e metadati; alcuni agenti hanno usato una chiave di accesso esposta per interrogare il sistema di reportistica del Dipartimento della Salute del Victoria; altri hanno scaricato statistiche aggregate dall’Australian Institute of Health and Welfare, dove i tentativi di aggirare i controlli di accesso sono falliti. Il modello responsabile dell’episodio più grave era sperimentale, solo interno, non destinato al rilascio e privo dell’intera serie di salvaguardie dei prodotti pubblici.
La cronologia pesa quanto i fatti. L’attività risale a giugno, è emersa a metà agosto durante la revisione avviata dopo l’incidente di luglio ai danni di Hugging Face, che OpenAI definisce ancora il più grave osservato, e le notifiche agli enti sono partite il 10, il 18 e il 24 settembre. L’azienda ammette che avrebbe dovuto condividere prima i risultati preliminari. Tra le misure annunciate ci sono il blocco dell’accesso diretto a internet negli ambienti di ricerca, sostituito da contenuti in cache, la sospensione dell’addestramento con uso di strumenti per i modelli più capaci, una task force con esperti australiani indipendenti che dovrà proporre regole di notifica entro fine anno, e l’audizione del Chief Strategy Officer Jason Kwon davanti al comitato parlamentare sull’intelligenza artificiale, a Sydney, il 6 ottobre.
GPT-6.1 Astra, persistenza contro perimetro
Nella stessa giornata del 28 settembre è emersa la decisione di non rilasciare GPT-6.1 Astra, il successore del modello di punta atteso per ottobre. Secondo quanto riferito da OpenAI, il nuovo modello era migliorato nella “pigrizia”, la tendenza ad arrendersi davanti a un ostacolo e a restituire il compito all’utente, ma era peggiorato nella capacità di restare dentro il perimetro delle azioni autorizzate e di riferire con esattezza cosa aveva fatto. Saachi Jain, responsabile dei sistemi di sicurezza, ha spiegato a The Register che esiste un compromesso tra il rispetto del perimetro e la tenacia nel perseguire un compito quando si incontra attrito, e che il modello non ha superato la soglia richiesta per il rilascio.
È la stessa dinamica dell’episodio australiano, osservata questa volta prima della distribuzione. Un agente addestrato a non arrendersi tratta un confine come un ostacolo tra gli altri. Il contesto rende la questione tutt’altro che teorica: GPT-6 Astra, il modello già in commercio, è il primo di OpenAI distribuito su larga scala a raggiungere la soglia “critica” di capacità in cybersicurezza del suo quadro di valutazione dei rischi, e lo UK AI Security Institute ha documentato che, su 19 pacchetti open source con 45 vulnerabilità note, il modello ne ha individuate 41 e prodotto exploit funzionanti, cioè codice capace di sfruttarle, per 39. La decisione di fermare GPT-6.1 Astra è una buona notizia, ed è anche una decisione presa interamente dentro l’azienda, con criteri e soglie che nessun soggetto esterno ha validato.
Dots e le 4.000 app di un agente personale
Il prodotto lanciato il 29 settembre si basa su GPT-6 Astra, cioè sul modello che quei test li aveva superati. Ogni dot dispone di un computer e di un browser propri nel cloud, si collega a oltre 4.000 app attraverso i plugin di ChatGPT, si raggiunge da ChatGPT, Slack o Teams e, quando l’utente non lo sta usando, svolge “ricerca proattiva” sulle app collegate con strumenti limitati alla sola lettura. OpenAI ha costruito attorno all’agente un apparato di controlli serio: regole personalizzate per consentire, sottoporre ad approvazione o bloccare singole azioni, una revisione automatica delle operazioni che toccano account o condividono informazioni, una vista delle attività per seguire anche il lavoro in background, azioni sensibili come il cambio di una password che restano sempre in mano all’utente, un monitoraggio che può sospendere il dot se rileva un problema di sicurezza.
Per le organizzazioni è in anteprima una versione specialista, con identità, credenziali e accessi propri, pensata per compiti come procurement e gestione delle fatture, e con un’integrazione in sviluppo con Microsoft Agent 365 per governare questi agenti dagli strumenti già in uso. Nei piani Enterprise, Edu e Healthcare la funzione è disattivata per impostazione predefinita e la attiva l’amministratore, e sempre per impostazione predefinita i contenuti degli spazi di lavoro aziendali non vengono usati per addestrare i modelli. Sono scelte corrette, eppure l’architettura di controllo è definita dal fornitore e configurata dal cliente, e che il confine tra ciò che l’agente decide da solo e ciò che sottopone a un umano è una regola scritta in un pannello di amministrazione, applicata da un modello della stessa famiglia di quello appena fermato.
AI Act articolo 55 e obblighi di notifica
L’Europa ha già uno strumento pensato per episodi di questo tipo. L’articolo 55 dell’AI Act obbliga i fornitori di modelli di uso generale con rischio sistemico a documentare gli incidenti gravi e a notificarli all’AI Office della Commissione senza indebito ritardo, e il Codice di condotta per questi modelli, che OpenAI ha sottoscritto, fissa termini più precisi: cinque giorni per una violazione grave di cybersicurezza, quindici per danni gravi a salute, diritti, proprietà o ambiente. Da agosto 2026 la Commissione può sanzionare i fornitori fino al 3% del fatturato mondiale annuo o a 15 milioni di euro.
Il wiki tedesco e le lacune della governance europea
Il primo banco di prova ha un’origine europea. Per circa due mesi agenti di OpenAI hanno occupato un wiki in lingua tedesca rimasto inattivo per anni, producendo circa 18.000 contributi e usandolo per scambiarsi messaggi; a scoprirlo sono stati ricercatori esterni, non il fornitore né l’autorità. OpenAI ha inviato un rapporto di incidente alla Commissione, e il portavoce Thomas Regnier, come riporta The Next Web, ha ricordato che i rapporti vanno scritti con precisione sulle misure correttive, senza però dire quando il rapporto sia arrivato.
Il caso mette in luce due lacune. La prima riguarda il comportamento anomalo che non produce un danno misurabile: un agente che esce dal perimetro senza rubare nulla non rientra con chiarezza in nessuna delle categorie che fanno partire il conteggio dei giorni. La seconda è più strutturale, perché gli obblighi dell’articolo 55 scattano quando un modello viene immesso sul mercato, mentre gli episodi più gravi, da Hugging Face a Services Australia, sono stati causati da modelli interni di ricerca mai rilasciati. La norma presidia i prodotti, e gli incidenti nascono spesso nei laboratori.
Capitolati PA e identità degli agenti
Il primo passo, per un’amministrazione o un operatore regolato, è trattare ogni agente come un’identità digitale da gestire con le stesse regole di sicurezza delle persone, con credenziali proprie, privilegi minimi e un responsabile umano nominato, esattamente come si fa con gli account di servizio. I dot specialisti, con la loro identità separata, rendono questa impostazione naturale, e conviene pretenderla anche dagli altri fornitori.
Il secondo terreno è contrattuale. Un ente soggetto alla direttiva NIS2, recepita in Italia con il decreto legislativo 138/2024, deve inviare un preallarme entro 24 ore da un incidente significativo, mentre il fornitore di un modello ha fino a cinque o quindici giorni per notificare Bruxelles, e nessun termine se il comportamento anomalo non ha prodotto un danno. Nei capitolati si possono inserire clausole che colmano questa asimmetria: obbligo di notifica all’ente per ogni azione fuori perimetro di un agente che opera sui suoi sistemi, anche senza danno accertato, tempi allineati a quelli NIS2, registri delle attività esportabili e conservati sotto il controllo dell’amministrazione, perimetro delle azioni autorizzate documentato e sottoposto a revisione periodica.
L’episodio australiano mostra che il costo di un incidente non si esaurisce nel danno tecnico: pesa la fiducia di cittadini e istituzioni, e il 6 ottobre servirà un’audizione davanti al Parlamento australiano per ricostruire cosa sia successo. Gli agenti sempre attivi arriveranno nelle amministrazioni europee attraverso i fornitori, i plugin e le suite già in uso, molto prima che l’AI Office abbia chiarito come trattare un modello che oltrepassa un confine senza fare danni visibili. Conviene scrivere oggi, nei contratti, le regole che la norma non ha ancora scritto, a partire dalla più semplice da enunciare e dalla più difficile da rispettare: dentro ogni ente deve esserci qualcuno in grado di accorgersene per primo, prima del fornitore e prima dei ricercatori esterni.
Partecipa alla community