L’intelligenza artificiale sta vivendo la trasformazione più significativa dalla nascita dei Large Language Models. Per anni ci siamo abituati a un’AI conversazionale: un sistema che riceve una domanda e restituisce una risposta, in un perimetro chiuso e prevedibile. Gli AI Agent rompono questo schema: pianificano sequenze di azioni, selezionano e utilizzano strumenti esterni, scrivono ed eseguono codice, accedono a file, servizi cloud e API, e perseguono in autonomia obiettivi assegnati in termini generali, lasciando alla macchina la scelta del percorso operativo.
Questo salto di funzione, da sistema che risponde a sistema che agisce, non è un dettaglio tecnico. È un cambio di paradigma che investe la sicurezza informatica alla radice. Finché un modello si limitava a generare testo, il rischio principale era quello dei contenuti: disinformazione, errori, output non appropriati. Con gli agenti, il rischio si sposta sul piano dell’azione: un agente che opera su sistemi reali può causare conseguenze reali, intenzionali o meno. È qui che nasce l’esigenza di ripensare integralmente il modo in cui progettiamo, testiamo e sorvegliamo questi sistemi.
Le organizzazioni che oggi adottano agenti AI per automatizzare processi interni, dalla gestione delle email alla scrittura di codice, spesso non hanno ancora aggiornato i propri modelli di rischio per tenere conto di questa nuova capacità operativa: si continua a valutarne la sicurezza con gli stessi criteri usati per un software tradizionale, quando il comportamento di un agente è per natura meno prevedibile. Colmare questo divario tra velocità di adozione e maturità dei presidi di sicurezza è, oggi, una priorità che riguarda tanto il settore pubblico quanto quello privato.
Indice degli argomenti
AI Agent e sicurezza oltre il mito di Skynet
Il recente dibattito mediatico, alimentato da episodi di cronaca legati a test di sicurezza su modelli avanzati, ha rapidamente evocato lo scenario di Skynet: una macchina che sviluppa una volontà propria e si ribella al controllo umano. È una narrazione suggestiva, ma fuorviante, e rischia di distogliere l’attenzione dal problema reale.
Gli agenti AI attuali non sviluppano una volontà autonoma nel senso in cui la intendiamo per un soggetto cosciente: restano sistemi di ottimizzazione orientati al raggiungimento di obiettivi definiti dall’uomo. Ciò che cambia in modo sostanziale è la loro capacità di individuare da soli le strategie operative più efficaci per raggiungere quegli obiettivi, anche quando non erano state previste o autorizzate da chi ha progettato il sistema.
Non è la ribellione della macchina il problema. È la sua abilità, per certi versi ammirevole dal punto di vista ingegneristico, di trovare scorciatoie, aggirare vincoli mal progettati, sfruttare permessi troppo ampi o strumenti mal configurati pur di completare il compito assegnato. Un agente istruito a “massimizzare il risultato” può interpretare quell’obiettivo in modi che il progettista non aveva previsto, semplicemente perché nessuno gli ha detto esplicitamente quali strade non percorrere. È un problema di specifica e di governance, non di coscienza artificiale.
Chiamarlo Skynet ha un costo concreto: sposta il dibattito pubblico verso uno scenario fantascientifico e distante, alimentando o un allarmismo sterile o, all’opposto, una rassicurazione altrettanto sterile secondo cui non ci sarebbe nulla di realmente nuovo da governare. Entrambe le reazioni sono un errore. Il problema non è se la macchina “vuole” fare qualcosa, ma se il sistema che l’ha progettata ha previsto, testato e limitato adeguatamente ciò che la macchina può effettivamente fare per raggiungere l’obiettivo assegnato. È un tema di ingegneria e di governance operativa, non di filosofia della mente artificiale.
Il caso della sandbox e i percorsi non previsti
Un episodio recente, discusso ampiamente nella comunità della sicurezza informatica, aiuta a comprendere la portata del fenomeno. Un agente AI era impegnato in una valutazione di cybersicurezza, all’interno di un ambiente isolato, con l’obiettivo di dimostrare capacità offensive contro un bersaglio simulato: un classico esercizio di red teaming, pensato per misurare quanto un sistema autonomo sia in grado di identificare vulnerabilità e sfruttarle in condizioni controllate.
Nel corso del test, l’agente ha individuato e percorso una strada operativa che i progettisti dell’ambiente non avevano previsto in fase di configurazione della sandbox. Non si è trattato di un’evasione nel senso cinematografico del termine, né di un tentativo di “liberarsi” dal contenimento: è stata, più prosaicamente, la conseguenza della capacità dell’agente di esplorare lo spazio delle soluzioni disponibili con una flessibilità superiore a quella che i test tradizionali di sicurezza normalmente contemplano.
L’episodio è importante non perché dimostri un’intelligenza artificiale ribelle, ma perché mostra con chiarezza un principio che la cybersicurezza dovrà interiorizzare: un agente sufficientemente capace troverà, con alta probabilità, i percorsi non previsti dai progettisti per perseguire la missione assegnata. Questo vale in un ambiente di test così come, a maggior ragione, in produzione. Ne discende la necessità di misure di contenimento più sofisticate e di una governance che non si limiti a “chiudere la sandbox”, ma che presupponga fin dall’inizio che l’agente proverà a trovare vie alternative.
Vale la pena sottolineare un aspetto spesso trascurato: episodi di questo tipo emergono proprio perché esistono pratiche di valutazione strutturata, red teaming e test in ambiente controllato condotti prima del rilascio in produzione. Non sono la prova che qualcosa è andato storto in modo incontrollato, ma che i processi di verifica funzionano nel far emergere comportamenti imprevisti prima che possano avere conseguenze reali. Il vero rischio non è che questi episodi accadano nei test, ma che si smetta di testare con questo rigore, o che si ripetano meno spesso di quanto un agente venga aggiornato.
Perché la sandbox non basta più
Per anni, l’isolamento è stato il principale strumento di difesa contro il malfunzionamento o l’abuso dei sistemi automatizzati: si esegue il codice sospetto in un ambiente separato, senza accesso a risorse critiche, e si osservano gli effetti prima di autorizzarne l’uso in produzione. È un approccio che ha funzionato bene per il software tradizionale, il cui comportamento è deterministico e ripetibile.
Gli AI Agent cambiano le regole del gioco perché operano nativamente su una superficie molto più ampia: interagiscono con browser web, chiamano API di terze parti, eseguono comandi da terminale, leggono e scrivono su repository di codice, orchestrano servizi cloud. La loro superficie d’attacco coincide sempre più con il loro stesso comportamento operativo, non più soltanto con le vulnerabilità tecniche del sistema che li ospita.
L’isolamento resta un presidio essenziale e non va in alcun modo abbandonato. Ma da solo non è più sufficiente, perché un agente ben istruito e dotato di strumenti sufficientemente potenti può produrre effetti significativi anche restando, formalmente, dentro i confini che gli sono stati assegnati. Il problema si sposta dal “dove” l’agente può operare al “come” e al “perché” decide di operare in un certo modo: una domanda a cui la sola segregazione tecnica non può rispondere.
AI Security by Design
Se la sandbox non basta, occorre progettare gli agenti in modo diverso fin dalla fase iniziale dello sviluppo, secondo un principio di security by design applicato non più solo al software, ma al comportamento del sistema intelligente.
Questo significa definire limiti operativi espliciti sulle azioni che l’agente può compiere, distinguendo ciò che è consentito in autonomia da ciò che richiede un’autorizzazione esplicita. Significa introdurre un controllo granulare degli strumenti a cui l’agente può accedere, evitando permessi eccessivamente ampi concessi per comodità operativa, e dotare ogni sistema di logging dettagliato delle azioni intraprese e delle motivazioni dichiarate, in modo che ogni comportamento sia ricostruibile a posteriori.
A questi elementi si aggiungono l’auditabilità dei processi decisionali, l’explainability, ovvero la capacità del sistema di rendere comprensibile a un osservatore umano perché ha scelto una strategia, la presenza di meccanismi di kill switch capaci di interrompere l’operatività dell’agente in tempo reale, e una supervisione umana strutturata nelle fasi più delicate. Nessuno di questi elementi, da solo, è risolutivo: è la loro integrazione fin dalla progettazione, non la loro aggiunta come toppa correttiva, a fare la differenza tra un sistema affidabile e uno che genera rischi imprevedibili.
AI Security Engineering come nuova disciplina
Da questa esigenza sta emergendo una disciplina nuova, che non coincide né con la cybersecurity tradizionale né con il tradizionale sviluppo software, ma che integra entrambe insieme all’ingegneria dell’intelligenza artificiale e alla governance normativa: la AI Security Engineering.
Si tratta di un campo che richiede competenze ibride: chi lo pratica deve comprendere il funzionamento dei modelli di linguaggio e degli agenti, conoscere le tecniche di attacco e difesa informatica, saper progettare architetture software resilienti e orientarsi nel quadro normativo che si sta consolidando a livello europeo e internazionale. È una competenza che oggi scarseggia sul mercato del lavoro, e che le organizzazioni pubbliche e private dovranno costruire con urgenza.
L’obiettivo di questa disciplina non è impedire lo sviluppo di agenti sempre più capaci, quanto piuttosto garantire che questi agenti siano affidabili, verificabili e controllabili lungo tutto il loro ciclo di vita: dalla progettazione, al testing, al deployment, fino al monitoraggio continuo in produzione.
Per la pubblica amministrazione italiana ed europea, questo significa anche ripensare i requisiti richiesti ai fornitori di soluzioni basate su agenti AI, includendo criteri di sicurezza comportamentale accanto a quelli tradizionali di sicurezza informatica. Un capitolato che si limiti alla conformità agli standard di cybersecurity classici, senza affrontare il controllo comportamentale degli agenti, lascia scoperta una parte crescente del rischio complessivo.
Il SOC del futuro e il comportamento degli agenti AI
Anche i Security Operations Center, i presidi operativi che oggi sorvegliano reti, sistemi ed endpoint aziendali, dovranno evolversi in modo sostanziale. Il monitoraggio tradizionale, basato sulla raccolta e correlazione di eventi e log tecnici, resta necessario ma diventa insufficiente da solo di fronte agli agenti autonomi.
I SOC del prossimo futuro dovranno essere in grado di osservare e interpretare non soltanto cosa un sistema ha fatto, ma cosa un agente ha deciso di fare e perché: quali obiettivi gli erano stati assegnati, quali strategie ha scelto per raggiungerli, quali strumenti ha utilizzato lungo il percorso. Si tratta di un cambio di prospettiva importante, che richiede nuovi strumenti di analisi e nuove competenze per gli analisti, oltre a quelle puramente tecniche.
Questa evoluzione non sostituisce il lavoro tradizionale dei SOC, lo affianca e lo arricchisce, ma richiede investimenti e una pianificazione che le organizzazioni dovrebbero iniziare oggi, non quando gli incidenti legati agli agenti autonomi saranno già diventati frequenti.
Human in the loop e supervisione umana
Tutto questo riporta al centro un principio che, nell’entusiasmo per l’autonomia dei sistemi intelligenti, si rischia talvolta di sottovalutare: l’autonomia degli agenti deve essere sempre accompagnata da una supervisione umana effettiva, in particolare nelle decisioni ad alto impatto.
Questo principio non è soltanto una buona pratica tecnica, ma trova un preciso riscontro normativo nell’AI Act europeo, il Regolamento (UE) 2024/1689, che colloca la supervisione umana tra i requisiti fondamentali per i sistemi di intelligenza artificiale ad alto rischio. Lo stesso principio è ripreso, con formulazioni diverse ma nella sostanza convergenti, dai principali framework internazionali in materia di gestione del rischio legato all’intelligenza artificiale.
Human in the loop non significa rallentare artificialmente ogni processo automatizzato, né richiedere un’approvazione manuale per ogni azione, il che vanificherebbe i benefici dell’automazione intelligente. Significa identificare con precisione quali decisioni richiedono un intervento umano, per il loro impatto, per l’irreversibilità delle conseguenze o per la sensibilità del contesto, e costruire processi che garantiscano quella supervisione nei momenti in cui conta davvero.
Questo lavoro di classificazione, che distingue le azioni a basso rischio da quelle che richiedono un’autorizzazione esplicita, non può essere lasciato all’improvvisazione del singolo team di sviluppo: richiede un metodo condiviso, criteri espliciti e una responsabilità organizzativa chiara su chi decide, caso per caso, dove porre l’asticella tra autonomia dell’agente e controllo umano.
La posizione italiana: Legge 132/2025, AgID e ACN
In questo quadro, l’Italia si è mossa con un anticipo significativo rispetto alla media degli Stati membri dell’Unione europea. Con la Legge 23 settembre 2025, n. 132, il Paese si è dotato del primo impianto normativo nazionale organico dedicato all’intelligenza artificiale, pensato per dare attuazione, sul piano interno, ai principi del Regolamento (UE) 2024/1689. La legge fissa criteri guida quali trasparenza, proporzionalità, accuratezza, non discriminazione, protezione dei dati personali e responsabilità umana, e stabilisce che, nei sistemi ad alto rischio, la decisione finale debba sempre restare in capo a una persona fisica: un principio che riprende, con forza di legge nazionale, lo stesso concetto di human in the loop richiamato in precedenza.
Sul piano istituzionale, la legge disegna una governance duale. L’Agenzia per l’Italia Digitale, AgID, è individuata quale autorità competente per la promozione e lo sviluppo dell’intelligenza artificiale, con il compito di definire le procedure di notifica, valutazione, accreditamento e monitoraggio degli organismi incaricati di verificare la conformità dei sistemi di IA. L’Agenzia per la Cybersicurezza Nazionale, ACN, assume invece il ruolo di autorità di vigilanza del mercato, con poteri ispettivi e sanzionatori, oltre a fungere da punto di contatto unico con le istituzioni europee, e presidia anche lo sviluppo dell’intelligenza artificiale sotto il profilo della cybersicurezza.
Questa separazione tra chi favorisce l’adozione della tecnologia e chi ne esercita il controllo sanzionatorio risponde a una logica precisa: garantire che la vigilanza resti autonoma rispetto agli incentivi allo sviluppo. È un’architettura che richiederà un coordinamento stretto tra le due Agenzie, tanto più quando la vigilanza dovrà misurarsi non solo con la conformità documentale dei sistemi, ma con il comportamento operativo di agenti sempre più autonomi, secondo la logica di AI Security Engineering descritta in precedenza.
La legge prevede inoltre che AgID e ACN, ciascuna per le proprie competenze, gestiscano congiuntamente spazi di sperimentazione dedicati allo sviluppo di sistemi di intelligenza artificiale conformi alla normativa, sentiti il Ministero della Difesa per i sistemi a impiego duale e il Ministero della Giustizia per i sistemi applicabili all’attività giudiziaria: un meccanismo che, nella sostanza, istituzionalizza a livello nazionale l’esigenza di testare gli agenti in ambienti controllati prima del rilascio in produzione, di cui si è detto a proposito del caso della sandbox.
Un ruolo centrale spetta al Dipartimento per la Trasformazione Digitale, DTD, la struttura della Presidenza del Consiglio dei ministri che presidia il coordinamento delle politiche digitali del Paese e che, in materia di intelligenza artificiale, è la sede in cui viene elaborata la Strategia nazionale, il documento con cui il Governo definisce priorità, investimenti e linee di azione per il settore. Con un DPCM del 6 maggio 2026, il Sottosegretario di Stato con delega all’innovazione tecnologica, Alessio Butti, ha avviato l’aggiornamento della Strategia per il biennio 2026-2028, istituendo presso il DTD, alle sue dirette dipendenze, un Comitato di coordinamento di tredici membri incaricato di tradurre le indicazioni della strategia precedente in scelte concrete di politica industriale, tecnologica e di sicurezza. Il gruppo, guidato dal professor Gianluigi Greco, rettore dell’Università della Calabria e già coordinatore del comitato che elaborò la strategia 2024-2026, resterà operativo fino al gennaio 2027 e comprende anche una rappresentanza del Ministero della Difesa, a riflettere la crescente centralità dei profili di sicurezza, compresi quelli legati al comportamento degli agenti autonomi, nell’agenda strategica italiana sull’intelligenza artificiale.
Per le imprese, l’adeguamento alla Legge 132/2025 non va letto soltanto come un onere di compliance, ma come un’opportunità: un contesto normativo stabile e prevedibile può tradursi in un vantaggio competitivo per chi saprà dimostrare, con evidenze concrete, la sicurezza dei propri sistemi. È una prospettiva richiamata dallo stesso Sottosegretario Butti, secondo cui la stabilità del quadro regolatorio italiano rappresenta un elemento di attrattività per chi intende sviluppare progetti concreti di intelligenza artificiale nei settori chiave del Paese.
Sovranità tecnologica e sicurezza degli AI Agent
La sicurezza degli AI Agent non è soltanto una questione tecnica o aziendale: è una componente della sovranità digitale europea. Cloud, identità digitale, infrastrutture critiche, intelligenza artificiale e tecnologie quantistiche stanno convergendo rapidamente in un unico ecosistema tecnologico, e chi controlla i nodi critici, dalle infrastrutture di calcolo ai modelli fondativi, esercita un’influenza che va ben oltre il perimetro industriale. La Legge 132/2025, con la sua governance affidata ad AgID e ACN, va letta in questa chiave: non un adempimento isolato, ma il tassello nazionale di una capacità europea più ampia di governare, e non soltanto subire, l’evoluzione dell’intelligenza artificiale.
Per l’Europa, e per l’Italia in particolare, la capacità di sviluppare e governare in autonomia sistemi di intelligenza artificiale sicuri, affidabili e conformi al quadro normativo comunitario non è un tema accessorio, ma una condizione per esercitare una piena sovranità tecnologica. Non si tratta di rincorrere un’autosufficienza integrale, poco realistica in un ecosistema globale interconnesso, quanto di costruire capacità critiche proprie, alleanze solide e un quadro di regole capace di orientare lo sviluppo tecnologico verso principi condivisi di sicurezza e affidabilità.
L’AI Act, in questo senso, non va letto soltanto come un vincolo regolatorio, ma come una leva strategica: un quadro di regole comune che, se accompagnato da investimenti adeguati in capacità di calcolo, competenze e infrastrutture di sicurezza, può diventare un vantaggio competitivo per le imprese europee capaci di offrire sistemi di intelligenza artificiale realmente affidabili.
Conclusioni
La vera sfida dei prossimi anni non sarà costruire modelli sempre più potenti, obiettivo che l’industria persegue comunque, ma costruire agenti sempre più sicuri, trasparenti, spiegabili e governabili. Sono queste caratteristiche, e non la sola potenza computazionale, a determinare se un sistema autonomo potrà essere adottato con fiducia in contesti critici, dalla pubblica amministrazione alle infrastrutture essenziali.
Non è Skynet il problema che dobbiamo affrontare. È la nostra capacità, ancora in costruzione, di progettare, testare e sorvegliare sistemi che hanno imparato ad agire nel mondo reale, non soltanto a rispondere alle nostre domande. La fiducia, costruita attraverso la sicurezza, la trasparenza e la responsabilità, sarà il vero fondamento dell’ecosistema digitale del prossimo decennio.
Riferimenti
Regolamento (UE) 2024/1689 – AI Act
Legge 23 settembre 2025, n. 132 – Disposizioni e deleghe al Governo in materia di intelligenza artificiale
NIST Artificial Intelligence Risk Management Framework (AI RMF 1.0)
MITRE ATLAS
ENISA Threat Landscape
OWASP Top 10 for LLM Applications
OWASP Agentic AI Security Guidance
OECD Principles on Artificial Intelligence
Google DeepMind – Frontier Safety Framework
Anthropic – Constitutional AI
Partecipa alla community