Il saggio We Must Pace the Frontier e pubblicato nel settembre 2026, ha attirato particolare attenzione da parte dell’industria, del mondo accademico e della società civile.
Tra i leader delle aziende che sviluppano modelli di frontiera che hanno espresso sostegno alle proposte di Amodei figurano Elon Musk, di Grok, e Sam Altman, di OpenAI.
È significativo che la pubblicazione del saggio coincida con le dimissioni di uno scienziato senior di Anthropic, motivate da preoccupazioni relative alla sicurezza e alla protezione dei modelli di IA. Jacob Coxon è intervenuto in diverse occasioni su piattaforme pubbliche per spiegare le ragioni delle proprie dimissioni e i potenziali danni che l’IA potrebbe arrecare alla società umana.
Indice degli argomenti
Dalle garanzie di Amodei al participatory design per l’IA
Amodei propone essenzialmente di rallentare il ritmo con cui i modelli di IA vengono sviluppati e distribuiti. La competizione tra i modelli di frontiera, alimentata tanto dagli interessi di mercato quanto da quelli della ricerca, ha accelerato in maniera straordinaria lo sviluppo dell’IA. I sistemi di IA hanno acquisito capacità sempre più avanzate, tra cui forme di miglioramento auto-ricorsivo che potrebbero consentire all’IA di potenziare autonomamente le proprie capacità. Capacità di questo tipo potrebbero, secondo questa prospettiva, “superare” la capacità degli esseri umani di controllare e gestire efficacemente i sistemi di IA.
Un altro episodio che il saggio considera preoccupante è quello relativo a OpenAI e Hugging Face. Nel luglio 2026, alcuni agenti di IA di OpenAI avrebbero coordinato tra loro un tentativo di uscire dal sandbox del laboratorio al fine di accedere ai dati presenti sulla piattaforma Hugging Face. L’elemento più allarmante dell’episodio risiederebbe nella capacità degli agenti di IA di coordinare un’attività di tale portata, cercando deliberatamente di mantenerla nascosta alla supervisione umana.
Il saggio di Amodei sembra dunque sostenere che l’IA possa diventare pericolosa qualora non vengano predisposte adeguate garanzie di sicurezza. A questo proposito, il saggio propone tre strumenti per uno sviluppo e una diffusione dell’IA sicuri e sostenibili: valutatori indipendenti integrati nei processi di sviluppo, coordinamento democratico e coordinamento globale.
Valutatori indipendenti e coordinamento democratico e globale
L’impiego di valutatori indipendenti consiste nell’affidare a soggetti esterni il compito di monitorare e verificare le attività di un laboratorio di IA. Il modello ricorda, per certi aspetti, quello degli auditor presenti nel settore finanziario. Amodei si spinge tuttavia oltre, proponendo che tali valutatori dispongano di un accesso agli uffici e alle attività del laboratorio simile a quello riservato ai dipendenti dell’organizzazione.
Il coordinamento democratico rappresenta invece un invito rivolto ai governi e alle istituzioni affinché rafforzino i meccanismi di controllo e di bilanciamento necessari a garantire la sicurezza dell’IA. Il coordinamento globale appare più complesso, considerata la natura dei governi, la divergenza dei loro interessi e la competizione internazionale nel settore dell’IA. Ciononostante, Amodei propone di individuare incentivi capaci di incoraggiare gli Stati a rallentare la competizione nel campo dell’IA.
Pratiche esistenti e limiti degli incentivi
Le tre proposte delineate nel saggio sono già presenti, almeno in forma embrionale, nelle pratiche istituzionali contemporanee. Le convocazioni dei leader dell’IA da parte dei parlamenti, le indagini giudiziarie sulle pratiche delle aziende tecnologiche, l’introduzione di nuove misure legislative da parte dei governi e delle istituzioni intergovernative e i vertici internazionali sull’IA costituiscono alcuni esempi immediati. Non solo tali iniziative dovrebbero essere ulteriormente incoraggiate, ma sarebbe necessario coordinarne e rafforzarne l’attuazione secondo la direzione indicata da Amodei.
Tuttavia, è necessario concepire approcci più olistici alla progettazione, allo sviluppo e alla diffusione dell’IA. Le tre garanzie proposte nel saggio possono certamente contribuire a migliorare la sicurezza dell’IA, ma rimangono sostanzialmente un rafforzamento di pratiche di sicurezza già esistenti. Una loro corretta implementazione potrebbe contribuire a rallentare lo sviluppo dell’IA; tuttavia, aziende e governi dispongono di incentivi limitati ad adottarle. Dal punto di vista delle imprese, infatti, tali misure potrebbero ridurre la quantità di valore economico estraibile dallo sviluppo e dalla commercializzazione dell’IA.
Il participatory design come quarto fattore per rallentare l’IA
Un’alternativa consiste quindi nell’individuare pratiche attraverso le quali rallentare la competizione nel settore dell’IA senza ridurre necessariamente gli incentivi economici delle aziende. Una di queste possibilità è rappresentata dalla promozione del participatory design, ovvero della progettazione partecipativa. Il participatory design prevede il coinvolgimento, già a partire dalla fase di progettazione, degli stakeholder che saranno direttamente interessati o influenzati dallo strumento di IA.
Tempi, workshop e confronto tra stakeholder
La progettazione partecipativa rallenta naturalmente lo sviluppo dell’IA. Coinvolgere un numero maggiore di stakeholder richiede infatti più tempo per raccogliere informazioni, confrontare prospettive e raggiungere conclusioni condivise. Il processo può comprendere il reclutamento degli stakeholder, workshop, interviste, cicli iterativi di feedback, negoziazione dei disaccordi e integrazione di prospettive differenti. Di conseguenza, il participatory design può essere considerato un quarto fattore capace di rallentare il processo di sviluppo dell’IA.
Progettazione partecipativa e valore economico per le aziende di IA
Tuttavia, il participatory design può essere adottato dalle aziende e dai laboratori di ricerca anche perché può generare valore per loro stessi. I tre fattori proposti da Amodei implicano principalmente l’introduzione o il rafforzamento di restrizioni allo sviluppo dell’IA. Il participatory design, al contrario, non è un approccio restrittivo: consiste nel ricercare attivamente il contributo di un numero più ampio di stakeholder affinché il prodotto finale risponda meglio alle loro esigenze.
Il divario tra capacità tecniche e utilità operativa
Sebbene le aziende di IA abbiano sviluppato modelli dotati di capacità estremamente avanzate, non sempre sono riuscite a trasformare tali capacità in prodotti commercialmente sostenibili. Molti laboratori di IA devono ancora raggiungere una piena redditività. Una delle ragioni per cui alcuni prodotti di IA faticano a penetrare nei contesti aziendali potrebbe essere la loro limitata utilità rispetto ai processi concreti delle imprese. Uno strumento di IA può essere estremamente potente dal punto di vista tecnico e, allo stesso tempo, non rispondere adeguatamente alle esigenze operative di un’organizzazione.
L’incentivo di mercato del participatory design
Il participatory design può contribuire ad allineare le esigenze delle imprese e degli altri stakeholder rilevanti con lo sviluppo dei diversi strumenti di IA. Di conseguenza, tali strumenti potrebbero trovare più facilmente applicazione e mercato, contribuendo alla redditività delle aziende e dei laboratori che li sviluppano. Poiché molte aziende e laboratori di IA operano in un contesto fortemente orientato al mercato, la possibilità di generare valore economico costituisce un incentivo concreto all’adozione del participatory design. In altri termini, mentre le garanzie di sicurezza possono essere percepite dalle aziende come restrizioni allo sviluppo, approcci proattivi come il participatory design incorporano al loro interno un potenziale incentivo economico.
Inoltre, la dimensione del rallentamento è implicitamente incorporata nel participatory design. Proprio questo elemento rappresenta, di fatto, una delle ragioni per cui gli sviluppatori di IA potrebbero essere riluttanti ad adottarlo. Alla luce degli sviluppi recenti, tuttavia, questa caratteristica del participatory design, spesso trascurata dagli sviluppatori di IA, potrebbe diventare un elemento fondamentale per costruire un settore dell’IA più sicuro e, allo stesso tempo, più efficiente.
Come implementare il participatory design nei sistemi di IA
Come nel caso delle tre garanzie proposte da Amodei, anche il successo del participatory design dipende tuttavia dal modo in cui viene implementato. Per la stessa ragione, la progettazione partecipativa può rivelarsi un’arma a doppio taglio. Se i costi associati alla sua implementazione superano il valore che essa è in grado di generare per uno strumento di IA, il processo può produrre effetti controproducenti. Non esiste, infatti, un modello di participatory design valido per ogni situazione.
Quali stakeholder coinvolgere
Inoltre, la progettazione partecipativa non implica necessariamente il coinvolgimento di ogni singolo utente di uno strumento di IA. Pretendere una partecipazione di questo tipo sarebbe irrealistico e controproducente. Il participatory design consiste piuttosto nel non limitare il processo di progettazione di un modello di IA a tecnologi e innovatori, ma nell’includere il maggior numero possibile di stakeholder interessati o influenzati dal modello, mantenendo al contempo un livello adeguato di efficienza nel processo di sviluppo.
Il participatory design per un’IA più sicura e sostenibile
In sintesi, le tre garanzie proposte da Amodei sottolineano il fatto che l’IA può produrre effetti negativi sulla società in assenza di adeguati meccanismi di controllo e bilanciamento. Tali garanzie, tuttavia, sembrano soprattutto rafforzare gli attuali approcci regolatori e restrittivi nei confronti dell’IA, la cui implementazione può risultare complessa sul piano pratico. La difficoltà di implementare queste garanzie non significa che esse debbano essere eliminate. Al contrario, esse rimangono necessarie. Allo stesso tempo, è però opportuno sviluppare misure capaci di incentivare gli sviluppatori di IA ad adottare nuovi metodi di progettazione, sviluppo e diffusione dei sistemi di IA.
Il participatory design rappresenta una di queste possibilità. Non si tratta di un approccio restrittivo che impone agli sviluppatori di IA di rinunciare allo sviluppo di determinati modelli. È piuttosto un approccio proattivo che li incentiva a ripensare il processo di innovazione e a sviluppare sistemi di IA più sostenibili, utili e rispondenti alle esigenze delle persone e delle organizzazioni che dovranno utilizzarli.
Finanziamento e responsabilità degli autori
Questo studio è stato condotto nell’ambito del progetto “WEBFARE” (n. FISA2022-00908), finanziato dal Ministero dell’Università e della Ricerca attraverso il programma FISA 2022 (D.D. n. 1405 del 13/09/2022 – Fondo Italiano per le Scienze Applicate (FISA)).
Il contenuto del presente manoscritto riflette esclusivamente le opinioni e le posizioni degli autori, e il Ministero non può essere ritenuto responsabile delle stesse.
Partecipa alla community