La cybersecurity aumentata – quella in cui intelligenza artificiale generativa e sistemi automatizzati affiancano e talvolta sostituiscono il giudizio umano – è già una realtà operativa nei Security Operations Center più avanzati.
Ma quanto siamo davvero consapevoli di cosa accade quando deleghiamo decisioni critiche a un algoritmo?
Indice degli argomenti
Oltre l’errore dell’AI: il rischio nascosto è la delega inconsapevole
Anche se, infatti, il dibattito pubblico tende a concentrarsi sull’errore dell’AI – concetti come bias, allucinazioni e falsi positivi ormai ci sono piuttosto familiari – il rischio più profondo, tuttavia, è un altro: l’assuefazione alla delega. Quando un sistema produce output veloci, efficaci e con elevato grado di apparente affidabilità, l’operatore umano si sente legittimato a ridurre progressivamente il proprio grado di controllo, come se l’autorevolezza dell’algoritmo potesse tranquillamente sostituire il giudizio e la verifica umani.
La vera domanda, dunque, non è se l’AI possa sbagliare. È se stiamo davvero costruendo organizzazioni e processi in cui le decisioni critiche restino effettivamente governate da soggetti umani identificabili e responsabili, oppure se ciò sia ormai un’illusione.
Dalla cybersecurity automatizzata alla cybersecurity aumentata: il cambio di paradigma
L’ingresso dell’intelligenza artificiale generativa nei sistemi di sicurezza informatica è stato accolto come un salto evolutivo. I modelli di large language model (LLM) vengono impiegati per analizzare log, correlare eventi, generare report di incidenti, simulare scenari di attacco e supportare attività di threat intelligence. Si parla sempre più spesso di una “cybersecurity aumentata“: un ecosistema in cui l’essere umano non è più il solo decisore, ma opera insieme a sistemi in grado di proporre – e talvolta attuare – scelte operative in autonomia.
Il punto critico, tuttavia, non è l’automazione in sé. L’automazione tradizionale era programmabile, deterministica e tracciabile. L’AI generativa introduce una dimensione probabilistica e adattiva che rende il processo decisionale meno trasparente e meno prevedibile. In altre parole, se da un lato questa tecnologia potenzia l’efficacia operativa, dall’altro solleva interrogativi critici sul grado di controllo umano e sulla trasparenza del processo decisionale.
SOAR, XDR e AI generativa: quando l’automazione supera il controllo umano
A rendere concreta questa tensione sono le piattaforme operative già oggi diffuse nei Security Operations Center (SOC) più avanzati. Le soluzioni SOAR (Security Orchestration, Automation and Response) eseguono playbook automatizzati che, al verificarsi di determinate condizioni, isolano endpoint compromessi, bloccano account sospetti, revocano credenziali e aprono ticket di escalation – il tutto senza attendere l’approvazione di un analista.
Le piattaforme XDR (Extended Detection and Response), dal canto loro, correlano telemetria proveniente da endpoint, rete, e-mail e cloud, e in molte implementazioni sono configurate per applicare azioni di contenimento in tempo reale sulla base di punteggi di rischio calcolati da modelli predittivi. Quando a questi livelli di automazione si aggiunge l’AI generativa – che non si limita a eseguire regole, ma interpreta contesti, genera ipotesi e suggerisce strategie – la distanza tra la decisione operativa e il controllo umano si amplia sensibilmente.
I numeri della delega algoritmica: SOC, alert e black box decisionali
I dati di settore confermano la tendenza. Secondo il report “State of SOAR” di Gartner (2024), oltre il 60% delle organizzazioni con SOC strutturati utilizza playbook automatizzati per la risposta agli incidenti a basso rischio, e una quota crescente sta estendendo l’automazione anche a scenari a impatto medio-alto. L’adozione di modelli generativi nella gestione degli incidenti – per la classificazione degli alert, la sintesi dei report e la generazione di indicatori di compromissione – è in crescita esponenziale, come evidenziato dal SANS Institute nella sua survey annuale sulla threat intelligence. Mentre si celebra la “cybersecurity aumentata”, si rischia dunque di delegare a un black box algoritmico compiti decisionali delicati, perdendo traccia delle scelte e sfumando le responsabilità.
Opacità algoritmica: un rischio tecnico e giuridico nei sistemi di sicurezza informatica
Uno dei nodi centrali della questione è la cosiddetta opacità algoritmica. I modelli generativi producono output coerenti senza rendere immediatamente intelligibile la logica interna che li ha generati.
Nel contesto della cybersecurity, tale opacità assume un rilievo particolare. Si considerino alcuni scenari operativi concreti: un sistema SOAR che isola un server di produzione sulla base di un alert classificato come critico da un modello predittivo; una piattaforma XDR che blocca l’accesso di un utente privilegiato perché il suo comportamento risulta anomalo secondo un algoritmo di behavioural analytics; un modello generativo che attribuisce un attacco a un determinato threat actor e innesca una catena di escalation verso le autorità competenti. In ciascuno di questi casi, la ricostruzione ex post della catena logica che ha condotto alla decisione diventa essenziale: ai fini di audit interno, di compliance normativa, e sino alla definizione di responsabilità civile o penale.
Le tecniche di Explainable AI (XAI) rappresentano un tentativo di risposta, ma non eliminano del tutto il problema. Spesso forniscono una razionalizzazione ex post – una narrazione plausibile della decisione già presa – piuttosto che una vera trasparenza strutturale del processo inferenziale. In un playbook SOAR, ad esempio, ogni step è documentato; ma quando il trigger iniziale dipende dall’output di un modello di machine learning o di un LLM, la tracciabilità si interrompe esattamente nel punto in cui la decisione più critica viene assunta.
AI Act, GDPR e legge italiana: il quadro normativo sulla responsabilità dell’AI
Il rischio connesso all’opacità non è solo tecnico: è anche – e forse soprattutto – giuridico. Se la decisione è di fatto “non spiegabile”, la sua imputabilità diventa fragile. Ciò in un contesto normativo che vede esclusivamente l’essere umano come soggetto destinatario di obblighi e relative responsabilità.
Il Regolamento (UE) 2024/1689 (AI Act) introduce un approccio basato sul rischio e impone, per i sistemi ad alto rischio, obblighi di documentazione tecnica, logging automatico e supervisione umana. Il GDPR, nei casi in cui sistemi AI trattino dati personali, prevede principi di accountability e privacy by design, oltre a limiti stringenti sulle decisioni automatizzate (art. 22). In ambito nazionale, la Legge n. 132/2025 sottolinea la dimensione antropocentrica dell’AI, stabilendo che l’intelligenza artificiale nelle professioni intellettuali deve restare strumento di supporto e non sostituire il giudizio umano.
La giurisprudenza italiana sanziona l’uso inconsapevole dell’AI generativa
Non a caso, pronunce giurisprudenziali recenti hanno sanzionato l’uso inconsapevole di AI generativa: due tribunali italiani (Tribunale di Torino, 16 settembre 2025 e Tribunale di Latina, 23 settembre 2025) hanno condannato avvocati che avevano inserito in atti giudiziari citazioni inventate da ChatGPT, ribadendo che il professionista deve sempre controllare, comprendere e assumersi la responsabilità del contenuto prodotto dall’IA.
Il legislatore europeo e quello italiano convergono su un punto, peraltro rafforzato dalla giurisprudenza: l’AI può assistere, ma la responsabilità rimane umana. La questione, a questo punto, è comprendere se questo principio regga anche quando l’architettura operativa si sposta verso modelli in cui l’intervento umano è solo eventuale.
Da human-in-the-loop a human-on-the-loop: l’impatto operativo nei SOC
Sul fronte pratico, la transizione è già in corso. Si sta passando da un modello human-in-the-loop (HITL), in cui ogni azione richiede l’approvazione umana preventiva, a un modello human-on-the-loop (HOTL), in cui l’AI opera autonomamente e l’umano interviene solo nei punti decisionali strategici. Nel report sul caso GTG-1002 del settembre 2025, relativo a una rete AI agentica che ha organizzato in autonomia una campagna di spionaggio informatico su vasta scala, si legge che nel modello più avanzato i supervisori umani hanno dovuto autorizzare solo tre categorie di decisioni, lasciando all’AI agentica migliaia di azioni al secondo.
Il paradosso della soglia: chi decide fino a dove può arrivare l’autonomia dell’AI?
In ambito cybersecurity, questo modello è già realtà operativa. Un SOC che adotta una piattaforma SOAR integrata con motori XDR può facilmente processare e agire su decine di migliaia di eventi al giorno: gli alert a basso rischio vengono gestiti in piena autonomia (quarantena di file, blocco di IP noti, chiusura di sessioni sospette), quelli a rischio medio ricevono un trattamento semi-automatico con notifica retrospettiva all’analista, e solo quelli ad alto impatto – come l’isolamento di un segmento di rete critico o la disattivazione di un account privilegiato – richiedono approvazione esplicita.
Il vantaggio è evidente: velocità formidabile e scalabilità impossibili per un operatore umano. Ma la realtà operativa presenta una complessità che il modello teorico HITL/HOTL non cattura del tutto. La zona critica non è l’automazione piena né il controllo umano totale: è la soglia tra le due. Chi decide dove si colloca il confine tra ciò che il sistema può fare autonomamente e ciò che richiede intervento umano? In molte implementazioni, quella soglia è essa stessa determinata da un algoritmo: un punteggio di rischio calcolato da un modello predittivo decide se l’azione rientra nella delega automatica o nell’escalation umana. Si produce così un paradosso: la decisione più importante – quella sulla portata dell’autonomia del sistema – è anch’essa, in ultima analisi, una decisione algoritmica.
Responsabilità distribuita o responsabilità diffusa? Il nodo giuridico irrisolto
Il quadro normativo vigente non offre risposte agevoli. L’AI non è soggetto di diritto e non può essere autrice di un illecito. La responsabilità ricade su chi sviluppa, integra o utilizza il sistema. Tuttavia, quando la decisione è frutto di un processo opaco, si rischia un vuoto di responsabilizzazione ex ante e di responsabilità ex post.
Nel contesto aziendale, la catena può coinvolgere una pluralità di soggetti: il provider del modello di AI, l’integratore che configura la piattaforma SOAR o XDR, il vendor che fornisce i feed di threat intelligence, il responsabile IT che definisce le policy di automazione, il CISO che approva i playbook, il management che alloca (o non alloca) risorse per la supervisione umana. L’AI Act introduce obblighi differenziati per provider e deployer di sistemi ad alto rischio, ma la mappatura concreta di queste responsabilità lungo la catena del valore resta un esercizio complesso. Quale regime si applica: responsabilità contrattuale del fornitore? Responsabilità extracontrattuale per danno da prodotto? Culpa in eligendo o in vigilando del deployer? La risposta dipende dalla qualificazione giuridica del sistema e dal ruolo effettivo di ciascun soggetto nella catena decisionale, una qualificazione che l’opacità algoritmica rende essa stessa problematica.
La responsabilità distribuita rischia, nei fatti, di trasformarsi in responsabilità diffusa e non effettiva. Ognuno dei soggetti coinvolti può ragionevolmente sostenere di aver fatto la propria parte: il provider ha documentato il modello, l’integratore ha configurato il playbook secondo le specifiche, il CISO ha validato la policy, l’analista ha monitorato la dashboard. Ma se l’output finale – l’isolamento errato di un asset critico, il blocco ingiustificato di un utente, l’attribuzione fallace di un attacco – non può essere ricondotto a una scelta umana identificabile, la catena di responsabilità si spezza.
Misure tecniche e organizzative: come uscire dalla trappola della compliance performativa
Dal punto di vista tecnico e organizzativo, si possono ipotizzare alcune misure per mitigare questi rischi: audit trail robusti e verificabili, logging strutturato delle decisioni automatizzate con indicazione del modello utilizzato e del punteggio di rischio associato, clausole contrattuali che impongano trasparenza sui modelli e sui dati di training, valutazioni periodiche di impatto e di performance dei sistemi AI, segregazione delle funzioni decisionali critiche con soglie esplicite di escalation umana.
Senza adeguati audit trail e monitoraggio interni, le automazioni evolute potrebbero non distinguere comportamenti malevoli da semplici errori software, o addirittura generare falsi allarmi strutturali che, a loro volta, innescano risposte automatizzate inappropriate. In un playbook SOAR mal configurato, un falso positivo persistente può provocare l’isolamento ripetuto di asset legittimi, con impatti operativi significativi – e con una responsabilità che si dissolve nella complessità del sistema.
In tutto ciò è necessario evitare la trappola della compliance performativa: documentazione formale, registri e policy di regolamentazione dell’AI nell’operatività aziendale, senza un effettivo controllo sostanziale del processo decisionale. Ciò significa istituire effettivamente figure di accountability umane – non solo metterle sulla carta –, richiedere ai fornitori di soluzioni AI garanzie tecniche verificabili (ad esempio, implementare XAI dove possibile e pretendere audit indipendenti sui modelli) e aggiornare costantemente i piani di valutazione del rischio in funzione dell’evoluzione dei sistemi impiegati.
Conclusioni: la cybersecurity aumentata deve restare uno strumento umano
L’intelligenza artificiale generativa è un potente alleato nella sicurezza informatica, ma la direzione in cui ci si muove impone una riflessione urgente. Le piattaforme SOAR e XDR, integrate con modelli predittivi e generativi, stanno trasformando radicalmente la catena decisionale nei SOC. Più ci si muove in questa direzione, più la riflessione sulla responsabilità emerge come questione di attualità giuridica imprescindibile.
Delegare progressivamente le decisioni critiche agli algoritmi è rischioso se viene meno la tracciabilità delle scelte e se le responsabilità si sfumano lungo catene complesse di soggetti. La normativa europea e italiana converge nel richiedere che resti chiaro chi decide e perché. Ma occorre essere onesti: in assenza di standard tecnici vincolanti sull’auditabilità dei modelli AI impiegati in ambito cybersecurity e di fronte a tempi di reazione che eccedono strutturalmente la capacità umana di supervisione, il principio della responsabilità umana rischia di restare una petizione di principio, un’affermazione formalmente ineccepibile ma sostanzialmente inattuata.
Costruire un sistema in cui ogni output algoritmico possa essere ricondotto a una catena di responsabilità umana verificabile non è un’opzione: è una necessità perché la “cybersecurity aumentata” resti uno strumento di difesa e non diventi essa stessa una minaccia di opacità. E il tempo per costruirlo non è illimitato.
