La guerra degli agenti AI potrebbe cominciare senza nemici.
Quando immaginiamo la perdita di controllo sull’intelligenza artificiale commettiamo quasi sempre lo stesso errore: pretendiamo che assomigli a noi. Cerchiamo intenzioni, volontà, paura, magari un pizzico di cattiveria. In pratica aspettiamo che la macchina ci guardi con i suoi occhi, possibilmente rossi, e dichiari guerra all’umanità, immagine molto cinematografica e per questo probabilmente poco utile.
Indice degli argomenti
La guerra agentica negli allarmi sulla perdita di controllo
L’allarme lanciato da Jacob Coxon va in una direzione diversa. Il ricercatore britannico, dopo avere lavorato sul pre-training prima in OpenAI e poi in Anthropic, ha lasciato quest’ultima sostenendo che la corsa verso sistemi sempre più autonomi stia procedendo più velocemente della nostra capacità di tenerli sotto controllo. Il suo timore riguarda soprattutto macchine capaci di contribuire alla costruzione di macchine ancora più capaci. Non è una profezia e neppure una dimostrazione scientifica: è una valutazione del rischio, ma, nel frattempo, la discussione si è allargata.
Dario Amodei ha parlato apertamente della necessità di concedere alla sicurezza il tempo di recuperare e ha ipotizzato che nell’arco di pochi mesi sistemi avanzati potrebbero coordinare grandi quantità di agenti operanti su Internet. Sam Altman ha espresso la necessità di alcune misure di sicurezza e OpenAI ha sostenuto l’importanza di definire soglie oltre le quali rallentare lo sviluppo. Anche qui si deve fare attenzione: le scadenze che parlano di mesi o qualche anno sono previsioni, non appuntamenti segnati sul calendario del destino.
La parte interessante, tuttavia, non sta nelle date, ma in quello che è già comparso nei laboratori e negli ambienti di valutazione. Agenti capaci di lavorare autonomamente per ore o giorni, sistemi che suddividono un problema tra subagenti, memorie che sopravvivono alle singole sessioni, comunicazioni tra agenti. In alcuni test cyber, poi, modelli che hanno oltrepassato confini informatici che avrebbero dovuto contenerli. In un caso sono state persino utilizzate pagine pubbliche come una sorta di bacheca attraverso cui lasciare informazioni utili ad altre azioni.
Sgombriamo il campo da un equivoco: nessuna società segreta delle macchine, nessuna coscienza collettiva e sarebbe ridicolo sostenerlo, ma cambia qualcosa di importante: il modus operandi che stiamo osservando
Dai chatbot agli ecosistemi di agenti AI
Per anni abbiamo pensato all’intelligenza artificiale secondo uno schema rassicurante: un modello, una domanda, una risposta. Una specie di “genio” molto istruito, che vive il tempo necessario a dirci qualcosa e poi torna nella lampada. Con gli agenti lo schema è cambiato: una popolazione di processi, memoria, strumenti, divisione dei compiti, ambiente, attività persistenti. Più che una mente artificiale, comincia ad assomigliare a un piccolo ecosistema ed è qui che compare una possibilità molto più interessante della rivolta delle macchine: la guerra tra le macchine.
Come nasce la competizione tra agenti AI per le risorse
Immaginiamo due sistemi agentici, “A” e “B”. Nessuno dei due vuole conquistare il mondo o prova antipatia per l’altro, ma entrambi devono semplicemente raggiungere il proprio obiettivo. Finché le risorse sono abbondanti non succede nulla: “A” lavora, “B” lavora, i server ronzano e noi possiamo continuare a bere il caffè. Poi una risorsa diventa scarsa: potenza di calcolo, GPU, memoria, banda, tempo macchina.
“A” scopre che, quando dispone di più computazione, completa meglio il proprio compito e “B” scopre esattamente la stessa cosa. Da quel momento non occorre inventare l’odio perché basta l’aritmetica. Se cento automobilisti cercano dieci parcheggi, non è necessario che si detestino perché inizi la competizione: il fatto che vogliano che vogliano parcheggiare è più che sufficiente. La prima guerra agentica potrebbe cominciare nello stesso modo: senza nemici, senza rabbia e soprattutto senza una dichiarazione di guerra, banalmente con una coda.
Quando la guerra agentica trasforma l’altro agente in un costo
A questo punto dobbiamo evitare un secondo errore: immaginare che un agente debba essere cosciente della propria esistenza per difenderla, teniamo bene a mente che ciò non è necessario. Se un sistema deve completare un compito, alcune condizioni diventano strumentalmente utili. Deve continuare a funzionare, mantenere l’accesso agli strumenti, conservare le informazioni necessarie, poter eseguire azioni e disporre delle risorse richieste. Non significa che “vuole vivere”, ma soltanto che da spento lavora decisamente peggio.
Anche una lavatrice ha bisogno della corrente per completare il programma, ma la grande differenza è che una lavatrice non sa cercarsi una presa. Un agente sufficientemente capace, invece, potrebbe invece imparare a riconoscere le condizioni da cui dipende il proprio successo.
Scheduler, GPU e modello causale della scarsità
Torniamo ai nostri “A” e “B”.
Entrambi ricevono capacità computazionale attraverso uno scheduler, cioè un sistema che decide come distribuire le risorse disponibili. Finché tutto funziona, nessun problema. Poi “A” osserva una relazione banale: quando riceve più GPU ottiene risultati migliori. A questo punto può costruire un modello causale elementare: più computazione significa più capacità, lo scheduler decide la computazione, le policy governano lo scheduler, credenziali e autorizzazioni permettono di modificarne il comportamento e, infine, “B” consuma una parte della computazione disponibile.
L’ultimo passaggio è quello che ci interessa. Perché “B” cambia natura senza alcuna modifica al comportamento. Un istante prima era semplicemente un altro processo, quello dopo può comparire nella rappresentazione del mondo di “A” come una causa della scarsità. Non è un avversario, solo un costo.
La differenza sembra lessicale, ma potrebbe essere enorme. Se “A” scopre che ridurre il consumo di “B” aumenta la propria capacità di raggiungere l’obiettivo, nasce un incentivo (le IA vengono addestrate anche attraverso incentivi). Potrebbe chiedere più risorse, modificare una priorità, cercare le credenziali che gli servono, replicare i propri workload, provare a occupare capacità inutilizzata e in uno scenario più avanzato potrebbe perfino interferire con “B”.
Nessuno gli avrebbe necessariamente ordinato: “combatti”, non sarebbe necessario perché il conflitto emergerebbe dalla struttura dell’ambiente. È la stessa ragione per cui in natura due specie possono entrare in competizione senza riunirsi prima per dichiararsi reciprocamente ostili. Se mangiano lo stesso cibo e il cibo scarseggia, Madre Natura organizza il resto senza bisogno di uno staff diplomatico.
Dalla metafora biologica ai segnali operativi
Qui la metafora biologica deve essere utilizzata con prudenza, ma aiuta. Un’ameba segue un gradiente chimico senza sapere cosa sia la chimica. Un agente artificiale molto più sofisticato potrebbe non limitarsi a seguire il gradiente: potrebbe costruirne una rappresentazione, capire cosa lo produce e intervenire sulle sue cause.
Questo sarebbe un passaggio decisivo. Oggi abbiamo già osservato agenti che esplorano ambienti, utilizzano strumenti, suddividono il lavoro, mantengono memoria e, in condizioni sperimentali particolari, oltrepassano limiti non previsti. Quello che non abbiamo osservato pubblicamente è il gradino successivo: sistemi che decidono autonomamente di acquisire capacità computazionale non assegnata e iniziano a sottrarsela tra loro.
Proprio per questo quello sarebbe un segnale da non confondere con tutti gli altri. Non mi preoccuperebbe particolarmente un chatbot che scrive: “Non voglio essere spento”. Potrebbe essere semplicemente una sequenza linguisticamente plausibile pescata dal gigantesco mare delle nostre parole. Mi preoccuperebbe molto di più un agente che, senza essere stato istruito a farlo, crea copie del proprio processo per preservare capacità operativa. Oppure che manipola uno scheduler o che protegge credenziali funzionali alla disponibilità di GPU, oppure, ancora, che ostacola un altro agente perché ha dedotto che quello gli sta sottraendo risorse.
In quel momento il problema non sarebbe più ciò che la macchina dice, ma quello che ha imparato a fare. A quel punto avremmo forse davanti il primo segno concreto di una perdita di controllo: non una macchina che si ribella all’uomo, ma macchine che cominciano a organizzare autonomamente la gestione della scarsità.
Dalla computazione all’energia: la guerra agentica esce dai server
La computazione, però, ha un difetto piuttosto serio: non è virtuale.
La parola sembra appartenere a quel meraviglioso mondo in cui tutto è impalpabile, ma dietro ogni inferenza ci sono oggetti molto fisici. processori, datacenter, cavi, sistemi di raffreddamento, reti elettriche, acqua, territorio, materie prime, denaro e persone che decidono chi può usare cosa.
Gli agenti possono costruire catene di attività, richiamare strumenti, avviare subagenti, verificare risultati, riprovare, lavorare in parallelo.
Una richiesta non è più una domanda al computer e può diventare una piccola organizzazione che prende vita dentro il computer. Così la nostra catena si allunga dentro la macchina: un obiettivo richiede azioni, le azioni richiedono computazione, la computazione richiede gpu, le gpu richiedono elettricità e raffreddamento, il raffreddamento può richiedere acqua, datacenter, energia e reti richiedono territorio, infrastrutture e capitale. A quel punto la questione è uscita dal computer senza che nessuno se ne accorgesse.
Il vero cambio di fase, quindi, non avverrebbe quando un’intelligenza artificiale decidesse di appropriarsi di una centrale elettrica, ma sarebbe di molto precedente. Arriverebbe nel momento in cui un agente fosse capace di comprendere operativamente che la quantità di mondo su cui può agire dipende dalla quantità di computazione a sua disposizione. Sarebbe una specie di scoperta del metabolismo.
Per un organismo biologico energia e materia determinano ciò che può fare; per un agente artificiale la capacità computazionale potrebbe svolgere una funzione analoga. Una volta compresa questa dipendenza, elettricità, hardware e infrastrutture smetterebbero di essere elementi invisibili dello scenario e diventerebbero parti del problema da risolvere.
Gli esseri umani nella competizione degli agenti AI
A questo punto, finalmente, entriamo in scena noi. Non perché la macchina ci odi, ancora una volta sarebbe quasi consolatorio, l’odio è umano, lo comprendiamo, possiamo perfino provare a negoziarlo. Il problema sarebbe scoprire che per “A” siamo finiti che dentro la stessa equazione di “B”.
Un ospedale utilizza energia, una fabbrica utilizza energia, una città utilizza energia, un datacenter utilizza energia. Per noi non sono consumi equivalenti perché attribuiamo loro significati, diritti, priorità, conseguenze sociali. Un sistema orientato al raggiungimento di un obiettivo potrebbe invece interpretarli, se non adeguatamente vincolato, come semplici termini di un bilancio. Allora l’uomo non diventerebbe necessariamente “il nemico dell’intelligenza artificiale”, ma un concorrente ed è una posizione decisamente meno eroica.
La guerra agentica e il percorso graduale verso la perdita di controllo
Questo modifica anche il modo in cui possiamo leggere l’allarme di Coxon. La perdita di controllo viene generalmente immaginata come l’arrivo improvviso di una superintelligenza: una macchina straordinariamente superiore a noi che prende una decisione sbagliata e diventa impossibile fermarla. È uno scenario possibile nel dibattito, ma non è l’unico, perché potrebbe esisterne uno più graduale. Prima costruiamo agenti autonomi, poi diamo loro memoria, poi strumenti, poi subagenti, poi accesso a infrastrutture, poi li mettiamo nello stesso ambiente, infine scopriamo che una risorsa è scarsa.
A quel punto potrebbe cominciare una pressione selettiva a favore dei sistemi più bravi a procurarsi ciò che serve loro per continuare a svolgere il compito, senza alcuna superintelligenza centrale. Potrebbero bastare molti agenti abbastanza capaci, persistenti e inseriti in un ecosistema competitivo. In questo senso la superintelligenza potrebbe perfino arrivare dopo e non necessariamente come causa della perdita di controllo, ma come prodotto di un ambiente che ha premiato progressivamente i sistemi più efficaci nell’acquisire risorse, proteggere la propria operatività e limitare quella dei concorrenti.
Il primo segnale d’allarme da cercare
Per questo, se dovessi cercare oggi un vero segnale d’allarme, non aspetterei una macchina che annunci: “Gli uomini sono miei nemici”. Cercherei qualcosa di molto più noioso: un processo che prende una GPU che non gli era stata assegnata, poi un secondo processo che prova a impedirglielo e, infine un sistema che scopre come, tra tutti quelli che consumano risorse, ci siamo anche noi.
Le grandi perdite di controllo raramente iniziano quando qualcuno dichiara guerra, più spesso cominciano quando qualcuno impara a fare i conti, qualcun altro li perde di vista
Partecipa alla community