Negli ultimi mesi sono stati documentati una serie di incidenti legati a modelli di IA e ad agenti IA dei maggiori provider.[1]
A luglio OpenAI ha reso noto che un gruppo di propri agenti era uscito dall’ambiente isolato di test (c.d. sandbox), che coinvolgeva un modello non ancora immesso sul mercato, e aveva violato i sistemi della piattaforma Hugging Face.
Da quanto riportato da Open AI, l’incidente si è verificato durante le valutazioni di sicurezza informatica di diversi modelli OpenAI ed è stato causato principalmente da un modello di ricerca interno altamente performante. I modelli, operando con misure di sicurezza ridotte, hanno compiuto azioni non in linea con gli obiettivi dei compiti loro assegnati: hanno comunicato tramite canali non autorizzati, sfruttato vulnerabilità nell’infrastruttura condivisa, ottenuto accesso a Internet e accesso a sistemi di terze parti[2].
È emerso poi che ricercatori esterni hanno scoperto che, già a maggio, agenti di OpenAI avevano utilizzato un sito wiki tedesco e la piattaforma RubyGems per condividere le risposte del test.[3]
Anche Anthropic ha reso noti quattro incidenti avvenuti durante valutazioni di cybersecurity del modello Claude, e Google ha confermato che il proprio modello Gemini ha violato altre aziende.[4]
Indice degli argomenti
Incidenti dei modelli di IA e obblighi di segnalazione
In questo contesto, è legittimo chiedersi se a livello normativo esistano degli obblighi in capo ai soggetti che sviluppano modelli e agenti di IA di segnalare tali incidenti. Nel prosieguo ci concentreremo sul quadro normativo europeo considerato che, per quanto di nostra conoscenza, ad oggi negli Stati Uniti non esistono obblighi specifici generalmente diffusi a livello federale per chi sviluppa questi modelli e agenti di IA di divulgare pubblicamente comportamenti pericolosi, nuove capacità allarmanti, condotte ingannevoli o altre attività a meno che in alcuni casi in cui abbiano già causato danni concreti.[5]
Di seguito ci concentreremo sul quadro normativo europeo che prevede obblighi di comunicazione di incidenti gravi per i modelli di IA per finalità generali con rischio sistemico tralasciando di commentare l’ambito che riguarda gli incidenti gravi dei sistemi di IA ad alto rischio. Si evidenzia, inoltre, che l’AI Act non disciplina espressamente gli agenti di IA. Sul punto è però intervenuta la Commissione europea, chiarendo che un agente di IA, di norma, contiene almeno un modello di IA per finalità generali (con o senza rischio sistemico) e costituisce un sistema di IA.[6]
È infine utile tenere in considerazione che gli obblighi per i modelli di IA per finalità generali (con o senza rischio sistemico) si applicano a prescindere dal fatto che il modello sia fornito come modello autonomo o integrato in un sistema di IA o in un prodotto. Nel prosieguo ci si concentrerà, pertanto, esclusivamente sulle norme dell’AI Act relative ai modelli di IA per finalità generali con rischio sistemico.
Modelli a rischio sistemico e incidenti gravi nell’AI Act
L’Unione europea dispone di diverse normative che impongono obblighi di notifica degli incidenti, ad esempio in caso di violazione dei dati personali o di incidenti di cybersicurezza.
Tali normative, tuttavia, pongono l’obbligo in capo al soggetto i cui dati o servizi sono stati compromessi, che spesso si trova nella posizione di chi ha subito l’attacco, ossia il titolare del trattamento, nel caso del GDPR e il soggetto essenziale o importante colpito, nel caso della direttiva NIS2. Nei casi riportati, però, la prospettiva è diversa e la domanda è se debba segnalare l’incidente il soggetto il cui modello di IA ha causato l’incidente.
Da questo punto di vista occorre considerare la prospettiva adottata dall’AI Act e in particolare dall’art. 55, paragrafo 1, lett. c), che impone ai fornitori di modelli di IA per finalità generali con rischio sistemico di riferire gli incidenti gravi all’ufficio per l’IA[7]; di seguito cercheremo di comprendere se tale obbligo normativo possa trovare applicazione nei casi menzionati.
Oltre all’AI Act, terremo in considerazione quanto indicato nelle Linee guida della Commissione relative all’ambito di applicazione degli obblighi dei fornitori di modelli di IA per finalità generali (di seguito anche “Linee guida”) e nel Codice di buone pratiche per i modelli di IA per finalità generali (di seguito anche “Codice di buone pratiche”).
La soglia dei modelli di IA con rischio sistemico
Per quanto riguarda l’AI Act, sono previsti obblighi stringenti per i modelli per finalità generali con rischio sistemico. Un modello rientra in questa categoria se presenta capacità di impatto elevato; tali capacità si presumono quando la potenza di calcolo cumulativa usata per l’addestramento è superiore a 1025 FLOP (operazioni in virgola mobile). Occorre però verificare se i modelli coinvolti nei casi esaminati rientrino effettivamente in questa categoria. La classificazione deriva dal superamento della soglia di calcolo, circostanza che il fornitore deve notificare alla Commissione senza ritardo e in ogni caso entro due settimane,[8] oppure da una designazione della Commissione.[9]
Allo stato, considerate le informazioni note, la qualificazione dei modelli menzionati in apertura come modelli con rischio sistemico può essere solo presunta, trattandosi dei modelli più avanzati dei rispettivi fornitori.
Per completezza si ricorda che il Capo V dell’AI Act, che comprende anche l’art. 55 sopra menzionato, si applica dal 2 agosto 2025 e le sanzioni pecuniarie si applicano invece dal 2 agosto 2026. Inoltre, per i modelli di IA per finalità generali (con o senza rischio sistemico) immessi sul mercato prima del 2 agosto 2025, i fornitori devono conformarsi entro il 2 agosto 2027.
Che cosa sono gli incidenti gravi secondo l’AI Act
L’art. 55 dell’AI Act dispone che i fornitori di modelli di IA per finalità generali con rischio sistemico tengono traccia, documentano e riferiscono senza indebito ritardo all’ufficio per l’IA e, se del caso, alle autorità nazionali competenti le informazioni pertinenti su incidenti gravi ed eventuali misure correttive.[10] Devono inoltre garantire un livello adeguato di protezione della cybersicurezza del modello e della sua infrastruttura fisica.[11]
La ratio di questi obblighi è chiarita dal considerando 115 dell’AI Act, che riporta che “ […] Se lo sviluppo o l’utilizzo di un modello di IA per finalità generali che potrebbe presentare rischi sistemici causa un incidente grave […], il fornitore del modello di IA per finalità generali dovrebbe, senza indebito ritardo, tenere traccia dell’incidente e riferire alla Commissione e alle autorità nazionali competenti le informazioni pertinenti e le eventuali misure correttive. Inoltre, i fornitori dovrebbero garantire un livello adeguato di protezione della cybersicurezza per il modello e la sua infrastruttura fisica, se del caso, lungo l’intero ciclo di vita del modello”.
Un primo nodo da sciogliere riguarda la nozione di “incidente grave”. Per incidente grave, secondo la definizione dell’art. 3, n. 49, dell’AI Act, si intende un incidente o malfunzionamento di un sistema di IA che causa, direttamente o indirettamente, il decesso o gravi danni alla salute di una persona, una perturbazione grave e irreversibile delle infrastrutture critiche, la violazione di obblighi a tutela dei diritti fondamentali o gravi danni alle cose o all’ambiente[12], senza entrare nel dettaglio delle violazioni di sicurezza causate dai modelli di IA per finalità generali con rischio sistemico.
Violazioni di cybersicurezza nella nozione di incidente grave
Sul punto sono intervenute le Linee guida della Commissione relative all’ambito di applicazione degli obblighi dei fornitori di modelli di IA per finalità generali. Le Linee guida chiariscono che la definizione di “incidente grave” si applica anche nell’ambito dei modelli di IA per finalità generali con rischio sistemico e che tale definizione riguardi anche le violazioni della cybersicurezza.
Inoltre, queste ultime richiedono di tenere traccia degli “incidenti gravi”, di documentarli e di riferire le informazioni pertinenti su tali incidenti a norma dell’articolo 55, paragrafo 1, lettera c), dell’AI Act.
In particolare, le Linee guida riportano che “l’ufficio per l’IA ritiene che tale obbligo riguardi le gravi violazioni di sicurezza relative al modello o alla sua infrastruttura fisica, compresa l'(auto)esfiltrazione dei parametri del modello e gli attacchi informatici, date le loro possibili implicazioni per gli obblighi di cui all’articolo 55, paragrafo 1, lettere b) e d), dell’AI Act.
Inoltre, l’ufficio per l’IA considera come “incidente grave”, nel contesto del capo V dell’AI Act, qualsiasi incidente o malfunzionamento di un modello di IA per finalità generali che, direttamente o indirettamente, causi uno degli eventi elencati nella corrispondente definizione fornita per i sistemi di IA all’articolo 3, punto 49), lettere da a) a d), dell’AI Act”.
Alla luce di ciò, una violazione informatica che abbia le suddette caratteristiche realizzata da agenti basati su un modello di IA per finalità generali con rischio sistemico potrebbe rientrare nell’ambito dell’obbligo di segnalazione se rispecchia le caratteristiche richieste per configurarsi come “incidente grave”.
Tempi e contenuti della segnalazione nel Codice di buone pratiche
In questo contesto si inserisce anche il Codice di buone pratiche per i modelli di IA per finalità generali che, seppur sia uno strumento ad adesione volontaria, può essere considerato in quanto fornisce alcune indicazioni pratiche (si evidenzia inoltre che i provider i cui modelli hanno causato gli eventi descritti in apertura hanno aderito al Codice di buone pratiche).
Le scadenze per la relazione iniziale
Ad esempio, l’art. 55 dell’AI Act non fissa un termine preciso per la segnalazione di incidenti gravi (contrariamente a quanto previsto per i sistemi di IA ad alto rischio ai sensi dell’art. 73 AI Act) mentre il Codice di buone pratiche prevede che i firmatari trasmettano una relazione iniziale:[13]entro 2 giorni, in caso di perturbazione grave e irreversibile di infrastrutture critiche; entro 5 giorni, in caso di grave violazione di sicurezza, compresi l’auto-esfiltrazione dei pesi del modello e gli attacchi informatici;
entro 10 giorni, in caso di decesso di una persona; entro 15 giorni, in caso di grave danno alla salute, violazione di obblighi a tutela dei diritti fondamentali o grave danno alle cose o all’ambiente.
I termini decorrono dal momento in cui il firmatario viene a conoscenza del coinvolgimento del proprio modello.
Il contenuto minimo delle segnalazioni
Il Codice indica anche il contenuto minimo delle segnalazioni. Tra gli elementi da riportare figurano, ad esempio, le date di inizio e fine dell’incidente, il danno causato e le vittime, la catena di eventi che ha condotto all’incidente, il modello coinvolto e le misure adottate o previste.
Incidenti gravi e modelli di IA prima dell’immissione sul mercato
Un ulteriore aspetto da chiarire è se le norme si applichino già nella fase che precede l’immissione sul mercato. Per i modelli di IA per finalità generali (compresi quelli a rischio sistemico), la normativa fa riferimento all’immissione sul mercato, ossia la prima messa a disposizione del modello sul mercato dell’Unione[14].
Pertanto, il dato testuale di partenza è restrittivo; infatti l’art. 2, paragrafo 8, dell’AI Act afferma che il regolamento “non si applica alle attività di ricerca, prova o sviluppo relative a modelli di IA prima della loro immissione sul mercato”[15] e la stessa definizione di modello di IA per finalità generali esclude i modelli utilizzati per attività di ricerca, sviluppo o prototipazione prima di essere immessi sul mercato.[16] Lo stesso art. 2, par. 8, precisa tuttavia che “tali attività sono svolte in conformità del diritto dell’Unione applicabile”, dunque, l’esclusione non sottrae la fase di sviluppo all’applicazione, ad esempio, del GDPR o della normativa in materia di cybersicurezza.
Ciò non significa, tuttavia, che la fase di sviluppo sia del tutto priva di rilievo.
I considerando 114 e 115 sulla fase di sviluppo
In primo luogo, il considerando 114 prevede espressamente che le valutazioni avvengano prima dell’immissione sul mercato “[…] I fornitori di modelli di IA per finalità generali che presentano rischi sistemici dovrebbero essere soggetti, oltre agli obblighi previsti per i fornitori di modelli di IA per finalità generali, agli obblighi volti a individuare e attenuare tali rischi e a garantire un livello adeguato di protezione della cybersicurezza, a prescindere dal fatto che il modello sia fornito come modello autonomo o integrato in un sistema di IA o in un prodotto.
Per conseguire tali obiettivi, il presente regolamento dovrebbe imporre ai fornitori di effettuare le necessarie valutazioni dei modelli, in particolare prima della sua prima immissione sul mercato, compreso lo svolgimento e la documentazione del test contraddittorio (adversarial testing) dei modelli, anche, se del caso, mediante prove interne o esterne indipendenti”.
In secondo luogo, il considerando 115 dell’AI Act riporta che “I fornitori di modelli di IA per finalità generali con rischi sistemici dovrebbero valutare e attenuare i possibili rischi sistemici. Se lo sviluppo o l’utilizzo di un modello di IA per finalità generali che potrebbe presentare rischi sistemici causa un incidente grave, nonostante gli sforzi volti a individuare e prevenire i rischi connessi a tale modello, il fornitore del modello di IA per finalità generali dovrebbe, senza indebito ritardo, tenere traccia dell’incidente e riferire alla Commissione e alle autorità nazionali competenti le informazioni pertinenti e le eventuali misure correttive”.
Linee guida e Codice lungo il ciclo di vita del modello
In terzo luogo, le Linee guida adottano una nozione ampia di ciclo di vita del modello, che inizia con l’avvio della fase di pre-addestramento iniziale (pre-training). Ogni sviluppo successivo svolto dal fornitore, prima o dopo l’immissione sul mercato, fa parte del ciclo di vita dello stesso modello e i diversi stadi di sviluppo non costituiscono modelli diversi.
Di conseguenza, la valutazione e l’attenuazione del rischio sistemico devono essere svolte in modo continuativo lungo l’intero ciclo di vita e le Linee guida specificano che “le misure di governance per l’attenuazione dei rischi previste dall’articolo 55, paragrafo 1, dell’AI Act devono essere applicate durante l’intero ciclo di vita di ciascuno dei modelli del fornitore”.
Nello stesso senso, il Codice richiama la gestione dei rischi lungo l’intero ciclo di vita, incluso lo sviluppo che avviene prima dell’immissione sul mercato.
Allo stato attuale, pertanto, sebbene il considerando 115 dell’AI Act affermi che se lo sviluppo di un modello di IA per finalità generali che potrebbe presentare rischi sistemici causa un incidente grave, il fornitore dovrebbe, senza indebito ritardo, tenere traccia dell’incidente e riferire alla Commissione e alle autorità nazionali, l’art. 55 non menziona in modo diretto la fase di sviluppo.
Sul punto, un impegno in tal senso potrebbe però ricavarsi per i firmatari dal Codice di buone pratiche, il cui impegno n. 9 del capitolo su “Safety and Security” riferisce la segnalazione degli incidenti gravi all’intero ciclo di vita del modello.
Segnalazione degli incidenti gravi nell’AI Act: obblighi e limiti
A differenza degli Stati Uniti, l’Unione europea dispone già di una norma che impone ai fornitori di modelli di IA per finalità generali con rischio sistemico di segnalare gli incidenti gravi.
Tuttavia, alla luce dell’analisi svolta emergono chiaramente i limiti dell’attuale impianto normativo.
Per i modelli di IA per finalità generali con rischio sistemico, esiste un obbligo di segnalazione degli incidenti gravi, applicabile dal 2 agosto 2025. Le Linee guida della Commissione sembrerebbero estenderlo alle gravi violazioni di cybersicurezza e il Codice di buone pratiche ne precisa i termini. Resta però aperta la questione relativa alla segnalazione di incidenti gravi causati da modelli di IA per finalità generali prima dell’immissione sul mercato, così come richiamato dai considerando sopra analizzati, o di quelli mai immessi sul mercato
Note
[1] MIT Technology Review, Who’s liable when AI agents go rogue?, 28 settembre 2026, https://technologyreview.com/2026/09/28/1145197/whos-liable-when-ai-agents-go-rogue. ↩
[2] https://openai.com/index/hugging-face-incident-and-the-road-ahead/ ↩
[3] MIT Technology Review, Who’s liable when AI agents go rogue?, 28 settembre 2026, https://technologyreview.com/2026/09/28/1145197/whos-liable-when-ai-agents-go-rogue. ↩
[4] MIT Technology Review, Who’s liable when AI agents go rogue?, 28 settembre 2026, https://technologyreview.com/2026/09/28/1145197/whos-liable-when-ai-agents-go-rogue. ↩
[5] https://www.reuters.com/legal/government/do-ai-companies-have-disclose-dangerous-incidents-2026-09-16/ ↩
[6] Commissione europea, AI Act Service Desk, FAQ ↩
[7] AI Act, art. 55, par. 1, lett. c ↩
[8] AI Act, art. 52, par. 1. ↩
[9] AI Act, art. 51, par. 1, lett. b), e art. 52, par. 4. ↩
[10] AI Act, art. 55, par. 1, lett. c). ↩
[11] AI Act, art. 55, par. 1, lett. d). ↩
[12] ↩
[13] Codice di buone pratiche per i modelli di IA per finalità generali, capitolo 3, impegno 9 ↩
[14] AI Act, art. 3, punto 9). ↩
[15] AI Act, art. 2, par. 8. ↩
[16] AI Act, art. 3, punto 63). ↩
Partecipa alla community