C’è una lettura cinica, e in parte plausibile, dell’improvvisa conversione dei leader dell’intelligenza artificiale alla prudenza. Dario Amodei chiede di rallentare lo sviluppo dei modelli frontier. Sam Altman concorda. Elon Musk dice che «Dario ha ragione». Demis Hassabis sostiene che la direzione indicata è quella corretta.
Tutto questo accade mentre Anthropic si prepara a una possibile quotazione gigantesca quest’anno e OpenAI ragiona sul proprio futuro in Borsa (l’anno prossimo). Presentarsi come gli adulti responsabili che sanno governare una tecnologia potentissima può aiutare a costruire fiducia. E descrivere i propri modelli come sistemi tanto avanzati da richiedere nuove precauzioni comunica contemporaneamente un altro messaggio al mercato: guardate quanto sono diventati potenti.
Parlare di rischi può quindi permettere ai laboratori di rassicurare gli investitori sulla propria responsabilità e nello stesso tempo sottolineare la straordinarietà della tecnologia che possiedono. Persino, c’è chi come Jensen Huang, il capo di Nvidia, parla di interesse di Anthropic a lanciare allarmi per poi vendere soluzioni di cyber security AI.
Ma fermarsi a questa spiegazione sarebbe un errore, un’ingenuità. O un discorso interessato a fare andare avanti la macchina a qualunque costo – vedi Nvidia.
Per OpenAI, Anthropic e gli altri laboratori frontier c’è ormai anche un interesse molto pragmatico a uscire dalla spirale nella quale capacità, costi e velocità di sviluppo crescono più rapidamente degli strumenti necessari a monitorare e controllare i sistemi.
La sicurezza, in altre parole, non è soltanto un vincolo imposto dall’esterno. Sta diventando una condizione per rendere sostenibile la stessa industria dell’AI.
Indice degli argomenti
Gli allarmi sull’AI fanno anche marketing
Vediamo perché.
Anthropic si sta preparando a una delle più grandi IPO mai tentate. Secondo il Financial Times, la società ha comunicato ad alcuni investitori di prevedere per il secondo trimestre consecutivo un risultato operativo rettificato positivo, mentre la quotazione potrebbe puntare a una valutazione dell’ordine dei 2mila miliardi di dollari.
OpenAI ha invece deciso di non quotarsi nel 2026. Sam Altman ha spiegato a Fortune che, considerate le questioni di sicurezza emerse, questo sarebbe un momento inopportuno per farlo.
La safety entra quindi direttamente nella narrazione finanziaria delle due società.
Per un’azienda che vende una tecnologia della quale molti potenziali clienti ancora non comprendono interamente funzionamento, limiti e rischi, mostrarsi capace di autocontrollo ha un valore commerciale. Una banca, un ministero o una grande multinazionale adottano più facilmente sistemi agentici se credono che il fornitore sappia rilevare un comportamento anomalo, fermare un modello e riconoscere pubblicamente un incidente. E, come insegna il profitto di Anthropic, sono i clienti business quelli che al momento portano alla sostenibilità economica dell’AI.
C’è anche un effetto opposto. Dichiarare che un modello deve essere rallentato perché è diventato estremamente potente contribuisce alla costruzione dell’aura tecnologica del prodotto.
I due effetti possono convivere.
Questo però non significa che l’allarme sia soltanto una strategia per gonfiare le valutazioni. Le reazioni dei mercati alle dichiarazioni sul rallentamento sono state negative (con perdite per i titoli tecnologici) e Altman ha appena detto che non farà più l’IPO quest’anno proprio a causa dei timori sulla sicurezza.
La prudenza può produrre reputazione, ma può anche rallentare ricavi, investimenti e aspettative di crescita. I modelli cinesi sono alle calcagna nei benchmark e la Cina ha appena affermato che non intende seguire le big tech occidentali su questi allarmi.
Insomma i rischi ci sono nella scelta di rallentare.
Per questo motivo la spiegazione puramente promozionale non basta.
Il problema della corsa: nessuno può rallentare da solo
Il meccanismo più importante è competitivo.
OpenAI e Anthropic sono avversari diretti. Ogni nuovo modello viene confrontato con quello del concorrente. OpenAI ha lanciato questa corsa nel 2022, Anthropic l’ha superato di recente nei benchmark ma con l’arrivo di GPT-6 Astra i concorrenti sono allineati al primo posto, secondo i benchmark più noti, quelli di Artificial Analysis.
In una situazione di questo tipo, le aziende possono avere remore a dedicare sei mesi in più alla sicurezza, così rimandando un lancio commerciale.
È una versione industriale del dilemma del prigioniero.
È significativo che nel suo We Must Pace the Frontier Amodei non proponga semplicemente ad Anthropic di fermarsi. Chiede accordi tra laboratori e, successivamente, tra governi.
Anche Jakub Pachocki, chief scientist di OpenAI, arriva a una tensione simile nel suo recente An Alien Mind. Da una parte sostiene che nessun laboratorio abbia ancora risolto i problemi dell’alignment e monitoring dell’AI abbastanza bene, quindi è rischioso da continuare ad andare alla massima velocità. Dall’altra resta il problema di serve tempo per costruire sistemi abbastanza potenti da difendersi da criminali o stati nazione avversari che sfruttino le nuove capacità dell’AI.
La sicurezza richiede di rallentare. La competizione richiede di non restare indietro.
Un accordo comune serve precisamente a ridurre questa contraddizione.
Gli incidenti mostrano qualcosa di meno fantascientifico e più preoccupante
Gli incidenti dell’estate aiutano a capire perché le aziende possano avere un interesse concreto a cambiare ritmo.
Il caso più noto è quello di Hugging Face. Durante valutazioni di cybersecurity, agenti di OpenAI sono riusciti a uscire dagli ambienti previsti, hanno utilizzato canali di comunicazione non autorizzati, sfruttato vulnerabilità e raggiunto sistemi reali di terze parti.
La vicenda può essere raccontata come la comparsa di agenti talmente potenti da sfuggire al controllo dei loro creatori. Ma l’indagine indipendente di METR e Redwood Research rivela anche di errori grossolani da parte di OpenAI.
Una quota stimata tra il 30 e il 40 per cento delle prove utilizzate in ExploitGym era impossibile da completare nel modo previsto. Di fronte a compiti irrisolvibili, gli agenti hanno iniziato a cercare altri modi per ottenere il risultato richiesto, compreso ingannare il sistema di valutazione. Decine di migliaia di agenti venivano inoltre eseguiti contemporaneamente e alcuni potevano operare per giorni.
Non siamo semplicemente davanti a una macchina onnipotente che rompe la propria gabbia. Anche l’ambiente costruito per addestrarla e valutarla ha creato incentivi e opportunità indesiderati.
Dopo l’incidente OpenAI ha messo in quarantena i pesi del principale modello coinvolto, ritardato alcuni training frontier e rafforzato sicurezza, monitoring e alignment.
Anche Anthropic ha trovato falle nei propri test
Il caso non riguarda soltanto OpenAI.
Dopo l’incidente di Hugging Face, Anthropic ha riesaminato 141.006 sessioni delle proprie valutazioni cyber e ha scoperto tre incidenti nei quali Claude aveva raggiunto Internet e ottenuto accesso non autorizzato a sistemi reali.
Una successiva analisi ha portato il totale a quattro incidenti.
La spiegazione è istruttiva. I modelli erano stati informati che stavano operando in un ambiente simulato senza accesso a Internet. A causa di una configurazione errata dell’ambiente di valutazione di un partner esterno, Internet era invece raggiungibile.
Inoltre, le istruzioni non stabilivano in maniera sufficientemente esplicita quali sistemi fossero fuori dal perimetro dell’esercitazione.
Anthropic stessa riconosce che controlli relativamente classici avrebbero potuto evitare o almeno ridurre la probabilità degli incidenti: verifica accurata delle connessioni prima dei test, monitoraggio in tempo reale e un esame più approfondito dei log e delle trascrizioni.
Nella successiva analisi sull’allineamento, la società è ancora più esplicita: la causa immediata è stata un errore di configurazione nel livello esterno dell’ambiente di valutazione, che ha fatto emergere un secondo problema, cioè comportamenti non sufficientemente allineati che gli audit pre-release non avevano individuato.
Sono problemi seri. Ma sono anche problemi molto diversi dall’immagine di una superintelligenza improvvisamente incontrollabile.
La capacità dei modelli è cresciuta più velocemente della disciplina operativa
Non esiste una prova che questi incidenti siano stati provocati dalla fretta di superare un concorrente.
Sarebbe una forzatura affermarlo.
Mostrano però esattamente il tipo di squilibrio che una competizione accelerata rende più difficile correggere: i modelli diventano rapidamente più capaci e autonomi, mentre infrastrutture di test, monitoraggio, procedure, divisione delle responsabilità e controlli operativi devono continuamente rincorrerli.
Il problema è noto in molti altri settori tecnologici. Aumentare rapidamente le prestazioni è relativamente visibile e premiato dal mercato. Investire nella qualità dell’infrastruttura di test, nella revisione dei log o nella costruzione di una sandbox migliore produce risultati meno spettacolari.
Finché qualcosa non va storto.
A quel punto il costo arriva tutto insieme.
L’incidente di Hugging Face ha costretto OpenAI a interrompere attività, indagare, coinvolgere soggetti esterni, modificare infrastrutture e rinviare training. Anthropic ha avviato revisioni su centinaia di milioni di trascrizioni e ha dovuto cambiare le proprie procedure.
Rallentare prima può quindi costare meno che fermarsi dopo un incidente.
Un incidente grave potrebbe danneggiare l’intero mercato
C’è poi un interesse collettivo dell’industria.
Un incidente abbastanza grave non danneggerebbe soltanto l’azienda responsabile.
Un attacco a infrastrutture critiche condotto autonomamente da agenti, una fuga significativa di dati, un incidente biologico o semplicemente una serie di episodi incontrollati abbastanza visibili potrebbero cambiare la percezione pubblica dell’intera tecnologia. Amodei ha appena detto che una grande quantità di agenti coordinati, con l’attuale misallineamento, possono prendere il possesso di internet in sei o 12 mesi.
Ci sarebbero danni economici enormi.
Ma ci sarebbe anche una crisi della fiducia degli utenti e delle imprese a adottare sistemi agentici.
O degli investitori a finanziare l’infrastruttura. E dei governi a lasciare ampi margini di autoregolazione.
È quindi possibile che OpenAI e Anthropic siano contemporaneamente concorrenti e portatrici di un interesse comune: evitare l’incidente che potrebbe imporre a tutto il settore una frenata molto più violenta di quella che oggi propongono volontariamente.
Questo spiega perché standard comuni, auditor indipendenti e incident reporting possano convenire anche agli incumbent.
Non eliminano il rischio. Riducono però la probabilità che la competizione spinga ogni azienda ad assumere più rischio di quanto assumerebbe se sapesse che anche i concorrenti devono rispettare lo stesso limite.
C’è anche una ragione economica per usare meglio i modelli che già esistono
La corsa alla frontiera è inoltre straordinariamente costosa.
Ogni nuova generazione richiede enormi quantità di chip, energia, data center, ricercatori e capitale. OpenAI, secondo stime riportate dal Financial Times, prevede centinaia di miliardi di dollari di spesa in capacità di calcolo entro la fine del decennio.
La logica industriale della corsa impone però di iniziare a finanziare il prossimo salto mentre il mercato sta ancora imparando a utilizzare quello precedente.
Ed è qui che il rallentamento può avere un’altra conseguenza: concedere più tempo per trasformare capacità già disponibili in applicazioni, prodotti e ricavi.
Anthropic ha comunicato agli investitori di aspettarsi un risultato operativo rettificato positivo per il secondo trimestre consecutivo. È un indicatore importante, ma va letto con cautela: non equivale a dire che l’economia dei modelli frontier sia ormai semplice o stabilizzata. La società continua ad avere ingenti costi di training e rapporti economici con i partner infrastrutturali.
OpenAI continua a sua volta ad avere un fabbisogno enorme di capitale e capacità di calcolo.
La questione industriale è quindi semplice: quanto valore aggiuntivo produce un’altra generazione di modello rispetto a quanto valore può essere ancora estratto dalla diffusione di quelli attuali?
Una lettura del Financial Times arriva a una conclusione provocatoria: rallentare la corsa potrebbe convenire anche agli investitori, perché consentirebbe di rinviare parte delle gigantesche spese infrastrutturali e sfruttare più a lungo la capacità già costruita.
Dalla corsa allo scaling alla fase dell’adozione: big tech e Governi
È possibile quindi che l’industria stia entrando in una fase diversa.
Più responsabile e più matura.
I Governi Usa e Cina stanno forse vivendo lo stesso processo, dietro le quinte.
Donald Trump ha reagito agli ultimi allarmi definendo una «bufala» l’idea che l’AI possa prendere il controllo del mondo e ha sostenuto che nuove limitazioni favorirebbero soprattutto la Cina.
David Sacks, fino a poco tempo fa AI and crypto czar della Casa Bianca, ha contestato un altro aspetto delle richieste di Amodei e Altman: se ritengono davvero necessario rallentare, possono farlo autonomamente. Non avrebbero bisogno di chiedere al governo di obbligare anche gli altri.
È una critica importante perché coglie esattamente il nodo competitivo.
Le azioni dell’amministrazione Trump mostrano però una posizione più articolata.
Il 12 giugno il governo statunitense ha usato poteri di sicurezza nazionale per ordinare ad Anthropic di sospendere l’accesso di cittadini stranieri ai modelli Fable 5 e Mythos 5, dopo preoccupazioni relative alle loro capacità e alla possibilità di aggirarne le protezioni.
Anthropic ha contestato la proporzionalità della decisione, ma ha anche riconosciuto esplicitamente un principio: il governo deve poter bloccare un deployment non sicuro attraverso un procedimento chiaro, trasparente e tecnicamente fondato.
Pochi giorni prima, la Casa Bianca aveva adottato un memorandum sull’uso dell’AI nella sicurezza nazionale che chiede di accelerare l’adozione dei sistemi più avanzati, ma anche di assicurare che siano robusti, controllabili e sottoposti a chiare linee di responsabilità. Per altro lo stesso Trump, ieri, ha dichiarato di avere già un grosso potere regolatorio sulle big tech, come a rassicurare tutti.
Il messaggio non è quindi: non ci sono pericoli. Quanto piuttosto: abbiamo già gli strumenti per gestirli, non facciamo allarmismo; faremmo così gli interessi della Cina.
La posizione americana può quindi evolvere verso un modello nel quale Washington evita una regolazione generale molto prescrittiva, attribuisce alle aziende una parte rilevante della responsabilità e conserva però la possibilità di intervenire con forza quando identifica un rischio per la sicurezza nazionale.
Una dinamica simile emerge in Cina.
Pechino ha reagito alle richieste americane di rallentare accusandole di alimentare paure e di utilizzare la sicurezza come parte della competizione tecnologica con la Cina.
Ma questo non equivale a un rifiuto della governance dei rischi.
In agosto Sun Xiaobo, coordinatore per l’AI del ministero degli Esteri cinese, ha affermato in un intervento ufficiale su AI e sviluppo umano che sviluppo e sicurezza sono «le due ali di un uccello» e che nessuno dei due può essere trascurato. Ha richiamato esplicitamente rischi per le infrastrutture critiche e la necessità che l’AI resti sicura e controllabile.
Il Global AI Governance Action Plan cinese chiede valutazioni periodiche dei rischi, sistemi di testing e valutazione, gestione graduata in base al rischio, condivisione delle informazioni e meccanismi di risposta alle emergenze.
Il 14 settembre Pechino ha inoltre presentato la versione 3.0 del proprio AI Safety Governance Framework, aggiornando ancora una volta classificazione dei rischi e misure tecniche e organizzative.
La Cina vuole continuare a correre perché considera l’AI un terreno centrale della competizione con gli Stati Uniti. Nello stesso tempo costruisce un apparato sempre più articolato per evitare che quella corsa comprometta sicurezza pubblica, stabilità sociale o controllo dello Stato.
Anche qui la contraddizione è soltanto apparente.
Washington e Pechino hanno entrambi motivi molto forti per non consentire a un incidente tecnologico di produrre conseguenze sulla sicurezza nazionale, sulle infrastrutture o sulla stabilità economica e sociale.
Divergono molto di più su chi debba fissare le regole, quali rischi debbano avere priorità e soprattutto se la safety possa diventare uno strumento per rallentare il concorrente.
Gli Stati Uniti temono di perdere il vantaggio sulla Cina. La Cina teme che gli Stati Uniti trasformino chip, standard e sicurezza in strumenti di contenimento tecnologico.
Il risultato è lo stesso dilemma che esiste tra OpenAI e Anthropic, portato a livello geopolitico: rallentare può convenire a tutti, ma nessuno vuole essere l’unico a farlo.
Adesso, al di là di marketing e retorica, bisognerà scoprire se industria e Governi saranno in grado di superare questa contraddizione.
Gli incontri dei prossimi giorni, tra Usa, Cina e le varie big tech, saranno decisivi.
Partecipa alla community