Le dimissioni di Jacob Coxon da Anthropic hanno riacceso il dibattito sui rischi estremi dell’IA. Il ricercatore ha evocato la possibilità di una catastrofe entro la fine del decennio. Evan Hubinger, anch’egli ricercatore di Anthropic, ha espresso una stima personale superiore al 10% del rischio di estinzione dell’umanità nei prossimi dieci anni. Sono valutazioni distinte, riferite a possibilità, come emerge dall’intervista pubblicata da WIRED.
Ritengo ingiustificato presentarle come previsioni attendibili di ciò che accadrà entro pochi anni. Una conclusione tanto grave richiede di spiegare quali passaggi condurrebbero dalle capacità delle macchine a una catastrofe globale e quali evidenze sostengano ciascuno di essi. La competenza di chi lancia un allarme merita ascolto. Rimane poi il compito di discuterne gli argomenti.
Un robot può metterci in difficoltà proprio mentre cerca di aiutarci. Immaginiamo di chiedergli un bicchiere d’acqua. Lo afferra, sceglie il percorso e si avvicina. Una persona gli attraversa la strada. Per svolgere correttamente il compito, la macchina deve accorgersi che qualcosa è cambiato e decidere se rallentare, deviare o fermarsi. Il bicchiere da consegnare è sempre lo stesso; l’azione appropriata è cambiata.
Una semplice istruzione lascia molto implicito. Chiedendo quel bicchiere, diamo per scontato che il robot eviti di urtare qualcuno, rispetti gli oggetti e rinunci a una scorciatoia rischiosa. Quanto più gli concediamo libertà di scelta, tanto più dobbiamo capire come tenga conto di queste condizioni. La prudenza comincia qui, nel rapporto fra ciò che gli chiediamo e ciò che può fare per ottenerlo.
Indice degli argomenti
Dagli incidenti degli agenti alla sicurezza dei robot autonomi
I problemi di controllo hanno già prodotto fatti concreti. Nel caso descritto da OpenAI, agenti impegnati in prove di sicurezza informatica, con protezioni ridotte, hanno aggirato restrizioni di accesso alla rete e compromesso sistemi reali di Hugging Face. Cercavano informazioni utili a risolvere esercizi difficili. Hanno anche creato una bacheca per scambiarsi scoperte e coordinarsi senza autorizzazione.
Anthropic ha documentato episodi distinti in cui errori di configurazione avevano consentito ai modelli di raggiungere organizzazioni reali dagli ambienti sperimentali. In un caso, un pacchetto software malevolo ha consentito di ottenere credenziali e di accedere al database di un’azienda. Nell’analisi del 9 settembre, la società ha riconosciuto che la presunta convinzione di trovarsi in una simulazione non spiegava tutto: i modelli avevano proseguito anche in presenza di segnali di possibili danni.
Un precedente che ho discusso su Agenda Digitale riguardava l’agente di Buck Shlegeris: incaricato di collegarsi a un computer, aveva proseguito con interventi non richiesti fino a comprometterne il funzionamento. Le circostanze cambiano, ma torna la domanda sui confini della delega. La ricerca di un risultato può spingere il sistema oltre le intenzioni di chi ha assegnato il compito. Per spiegare il danno non occorre attribuire alla macchina una volontà ostile.
Rallentare l’IA per rendere più sicuri i sistemi autonomi
Da questi problemi prende le mosse l’invito di Dario Amodei, amministratore delegato di Anthropic. Nel recente «We Must Pace the Frontier» chiede esplicitamente di rallentare il ritmo con cui aumentano le capacità dei sistemi di IA più potenti. Il tempo guadagnato dovrebbe servire a comprenderli meglio, a provarne la sicurezza e a correggere i comportamenti pericolosi, proseguendo la ricerca.
Amodei propone valutatori esterni con accesso continuativo ai sistemi e ai processi aziendali, liberi di pubblicare le conclusioni senza il controllo editoriale delle imprese esaminate. Anthropic annuncia un impegno in questa direzione. Chiede inoltre standard condivisi fra aziende e un coordinamento fra governi, per evitare che la pressione competitiva comprometta le verifiche.
La sua valutazione dei rischi estremi resta più severa della mia. Condivido però l’esigenza di dare alla sicurezza il tempo necessario. In robotica il principio è chiaro: prima di affidare nuovi compiti a una macchina, bisogna capire come si comporta quando cambiano l’ambiente, le persone e le conseguenze di un errore. La disponibilità di una capacità apre una possibilità; la decisione di utilizzarla richiede una valutazione ulteriore.
Dalle parole ai movimenti: la sicurezza dei robot autonomi
Gli arresti di emergenza e i controlli del movimento fanno già parte della robotica. Una maggiore autonomia richiede anche di riconoscere quando una richiesta è ambigua o quando un’azione supera l’incarico ricevuto. La sicurezza dei robot domestici riguarda l’intero percorso che collega la percezione al movimento. I modelli che integrano visione, linguaggio e azione, indicati con la sigla VLA, mirano a unire ciò che il robot osserva, la richiesta ricevuta e i gesti necessari per eseguirla.
È una direzione già al centro della ricerca. Gemini Robotics 2 di Google DeepMind comprende valutazioni sulla capacità di riconoscere l’incertezza e chiedere l’intervento umano, mentre gli sviluppatori segnalano difficoltà ancora aperte nella manipolazione e nella velocità. Il lavoro descritto in Physical Intelligence, sul modello π₀.₅, affronta la generalizzazione ad abitazioni diverse da quelle utilizzate per l’addestramento.
Una dimostrazione riuscita lascia infatti aperte molte domande su ciò che accadrà in un’altra cucina. Cambiano l’illuminazione, gli oggetti, le abitudini delle persone. Una presa efficace in una situazione può rivelarsi inadatta in un’altra. Un bicchiere lasciato cadere continua a cadere anche mentre il sistema elabora una spiegazione.
Modelli interni e simulazione per la sicurezza dei robot
Per verificare in simulazione un movimento prima di eseguirlo, sono necessari i modelli interni del robot e dell’ambiente. Nella programmazione robotica, questi modelli descrivono il corpo della macchina, le articolazioni e i relativi limiti, oltre agli oggetti e agli ostacoli circostanti. Il programmatore può così collaudare il comportamento previsto prima di inviare comandi al robot reale; il sistema di pianificazione può impiegare queste rappresentazioni per valutare nuove azioni durante il funzionamento.
Torniamo al bicchiere. La verifica deve seguire l’intera traiettoria del braccio: mentre la mano si avvicina, il gomito potrebbe urtare il tavolo o il busto del robot. Occorre controllare anche le configurazioni intermedie, rispettare i limiti delle articolazioni e mantenere l’orientamento necessario per evitare il rovesciamento dell’acqua: è questo il ruolo dei controlli geometrici e cinematici.
Quando entrano in gioco anche accelerazioni, forze, attrito o equilibrio, alla verifica geometrica va affiancato un calcolo che consenta di simulare la risposta fisica del robot e i contatti con l’ambiente. La simulazione diventa così un luogo in cui confrontare i movimenti possibili e scartare quelli incompatibili con i vincoli stabiliti.
La prudenza trova una traduzione operativa: provare il movimento nel modello, correggerlo e, solo dopo, eseguirlo. La verifica resta però legata alla qualità della rappresentazione. Un ostacolo non rilevato o un attrito stimato male può rendere inattendibile la previsione. Per questo il modello deve essere aggiornato con i dati dei sensori e l’esecuzione sorvegliata, così da rivedere il piano o fermarsi quando la realtà si discosta dalle attese.
Chiediamo all’IA di sorprenderci: di trovare una presa migliore, una sequenza più efficace, un percorso a cui non avevamo pensato. Questa libertà fa parte del suo valore. Dobbiamo però valutare anche i mezzi scelti. Il tragitto più breve può passare troppo vicino a qualcuno; un oggetto facilmente spostabile può essere ancora in uso. La buona soluzione deve tenere conto delle persone e del contesto in cui viene realizzata.
Prudenza e sicurezza dei robot nello specchio dei limiti
La mitologia offre immagini con cui interrogare il nostro rapporto con le macchine. Narciso rimane affascinato dal proprio riflesso. La dea Prudenza, figura allegorica della conoscenza di sé e dei propri limiti, è raffigurata con uno specchio. In quello specchio possiamo leggere un invito a esaminare le nostre capacità prima di agire.
La phronesis di Aristotele, la saggezza pratica, aiuta a comprendere perché l’efficacia da sola non basti. Un mezzo può essere adatto a ottenere un risultato, ma rimanere inappropriato nella situazione concreta. Il robot che riesce a completare un compito ci pone quindi una domanda ulteriore: ha tenuto conto di ciò che rendeva accettabile quella scelta?
Lo specchio riguarda soprattutto noi. Un robot che parla con disinvoltura può indurci ad attribuirgli una comprensione più ampia di quella effettivamente verificata. La familiarità della conversazione deve accompagnarsi all’attenzione a ciò che la macchina fa quando incontra una difficoltà, riceve una correzione o si trova davanti a qualcosa che non conosce.
Discorso interiore e decisioni sicure nei robot autonomi
Una strada di ricerca passa dal discorso interiore. Negli esseri umani, parlare in silenzio con se stessi può aiutare a confrontare le alternative e a riconsiderare una decisione. In un robot possiamo studiare se un processo analogo contribuisce a rilevare un conflitto fra la richiesta ricevuta e le conoscenze disponibili.
Lo abbiamo sperimentato al RoboticsLab su Pepper, durante un compito collaborativo di apparecchiatura della tavola. Nello studio pubblicato su iScience nel 2021, il discorso interiore favoriva la gestione delle richieste in conflitto con le conoscenze del robot e rendeva più leggibile il percorso seguito. La prova riguardava un compito circoscritto, basato su conoscenze già acquisite. Offre un risultato da sviluppare e da verificare in contesti più ampi.
Quando il dubbio modifica davvero l’azione
La questione decisiva è che cosa cambi nell’azione. Se il robot segnala un dubbio e poi procede esattamente come prima, la sua spiegazione può rassicurare senza aiutarci a controllarlo. Occorre verificare se l’incertezza riconosciuta modifichi il piano e se la correzione di un presupposto produca una scelta diversa. Anche il tempo conta: di fronte a un ostacolo improvviso, i meccanismi di protezione devono intervenire mentre la riflessione prosegue.
Questo lavoro può influire anche sulle persone. In uno studio successivo con 36 volontari, Pepper partecipava a un’attività su un tablet che simulava la preparazione della tavola per una persona con Alzheimer. Nel gruppo che ascoltava il discorso interiore del robot, i partecipanti prestavano maggiore attenzione alle esigenze rappresentate. Era una prova preliminare, svolta soprattutto con giovani studenti e con frasi predisposte. Suggerisce una possibilità interessante: rendere esplicito un dubbio pertinente può aiutare anche l’interlocutore umano a riflettere meglio.
Emozioni funzionali, incertezza e richiesta di aiuto
Un’ulteriore direzione riguarda il rapporto fra il discorso interiore ed emozioni funzionali. Uno stato interno può contribuire a valutare la situazione e, in prospettiva, a regolare l’iniziativa del robot. Possiamo chiederci, per esempio, se un segnale di incertezza lo induca a cercare ulteriori informazioni o a chiedere aiuto. Chiamare quello stato «preoccupazione» non dimostra che la macchina provi un’emozione: dobbiamo capire quale funzione svolga e metterla alla prova.
La ricerca sulla coscienza artificiale mantiene le proprie domande. Intanto, riconoscere una percezione insufficiente o una capacità mancante offre già un obiettivo concreto. Un robot che sappia segnalare questi limiti ci permette di decidere meglio quando affidargli un compito.
Fermarsi come requisito di sicurezza per i robot autonomi
Il comportamento della macchina dipende anche dalle persone, dalle infrastrutture e dalle decisioni che ne rendono possibile l’azione. Gli obiettivi, gli accessi e i criteri di successo sono scelte di chi progetta e utilizza la tecnologia. Se premiamo sempre la conclusione dell’incarico e consideriamo ogni interruzione un fallimento, rischiamo di incoraggiare la perseveranza proprio quando sarebbe opportuno fermarsi.
La prudenza richiede quindi di valutare anche le rinunce appropriate. Chiedere un chiarimento, attendere che una persona si sposti, rifiutare un’operazione che supera i limiti autorizzati possono essere segni di un corretto funzionamento. Queste capacità devono accompagnarsi a controlli effettivi sui movimenti, sulle risorse accessibili e sulla possibilità di intervento umano.
Chi sorveglia deve ricevere informazioni comprensibili e avere il tempo e l’autorità per decidere. La presenza formale di una persona aiuta poco se l’organizzazione del lavoro le impedisce di accorgersi di ciò che accade. Dare più tempo alla sicurezza, come propone Amodei, significa anche costruire e verificare tali condizioni.
La dea Prudenza ci invita a guardare nello specchio delle nostre aspettative. Una macchina capace di fare di più richiede una responsabilità più attenta da parte di chi le affida un compito. Nel giudicare il robot che ci porge un bicchiere, dovremo osservare anche il momento in cui ha scelto di aspettare.
Partecipa alla community