L’implementazione dell’AI agentica nei servizi finanziari richiede controlli di sicurezza aggiuntivi che affrontino i rischi specifici dell’intelligenza artificiale.
Le istituzioni finanziarie che si muovono in questo contesto si trovano di fronte a una duplice sfida.
Da un lato, devono conformarsi a un quadro normativo in continua evoluzione – che include framework quali l’SR 11-7 negli Stati Uniti, l’SS1/23 nel Regno Unito e le linee guida della BCE nell’Unione Europea – e dall’altro devono affrontare le problematiche di sicurezza specifiche introdotte dall’AI agentica. A differenza dei sistemi software tradizionali, l’AI agentica è in grado di prendere decisioni autonome e compiere azioni che possono avere un impatto su clienti, operatività e reputazione. Questa autonomia richiede un approccio alla sicurezza che vada oltre i controlli convenzionali.
Indice degli argomenti
AI agentica nei servizi finanziari: perché servono controlli specifici
Le organizzazioni già allineate a framework consolidati come l’ISO 27001 e il NIST Cybersecurity Framework dispongono di una base solida, ma è necessario integrare misure di sicurezza specifiche per l’AI, così da affrontare i rischi peculiari dell’AI agentica. L’utilizzo dell’AI agentica impone di rafforzare i controlli tradizionali con misure dedicate. La natura non deterministica dei sistemi AI, la loro capacità di agire con un elevato grado di autonomia e la complessità delle interazioni multi-agente introducono nuove dimensioni di rischio che devono essere gestite con attenzione.
Nei servizi finanziari, la trasparenza delle decisioni automatizzate è un requisito imprescindibile per una gestione efficace del modello di rischio. Quando gli agenti AI prendono decisioni o compiono azioni per conto dell’organizzazione, è necessaria una visibilità completa su cosa è stato fatto, perché è stato fatto e chi, o cosa, ne è responsabile. Questa trasparenza contribuisce a mantenere la fiducia, a soddisfare gli obblighi regolamentari e a implementare l’AI in modo responsabile.
Questo articolo delinea i principi di sicurezza per l’implementazione dell’AI agentica nei servizi finanziari, concentrandosi su due fattori abilitanti fondamentali: l’osservabilità completa dei flussi di lavoro agentici e il controllo granulare dei permessi di accesso degli agenti agli strumenti. Insieme, queste capacità forniscono le basi per la spiegabilità e creano un ambiente di controllo che favorisce l’accountability.
L’approccio è strutturato in due parti. La prima parte illustra sette principi di progettazione che assolvono a una duplice funzione: guidare i solution architect nella progettazione dei sistemi AI e fornire un framework per identificare i fattori di rischio critici. La seconda parte fornisce indicazioni operative dettagliate, con spunti pratici per implementare soluzioni AI sicure e conformi nel settore finanziario. È tuttavia consigliabile consultare i propri team compliance e legali per determinare i requisiti specifici della propria situazione. I requisiti normativi stabiliscono standard minimi, ma le valutazioni di rischio dell’organizzazione, inclusi il rischio reputazionale e il potenziale danno ai clienti, spesso richiedono controlli aggiuntivi.
Principi di progettazione per l’osservabilità e il controllo degli accessi nell’AI agentica
In questa sezione vengono delineati i principi di progettazione chiave per i sistemi di AI agentica nei servizi finanziari. Questi principi aiutano a soddisfare i requisiti fondamentali di osservabilità e controllo degli accessi. Sebbene i requisiti di conformità specifici varino in base alla giurisdizione e al caso d’uso, questi principi costituiscono una base per sistemi sicuri e governabili.
1. Analogia tra sicurezza umana e AI
Comprendere i controlli umani e determinarne l’applicabilità ai loro flussi di lavoro agentici, documentando i profili degli agenti. Implementare le identità degli agenti in aggiunta alle tradizionali autorizzazioni basate su ruoli e attributi, alla registrazione delle attività e al monitoraggio comportamentale. Garantire che le azioni critiche siano soggette a supervisione (agentica o umana), definire l’ambito di competenza degli agenti nei flussi di lavoro e tenere conto della gestione dei cambiamenti e degli incidenti, della separazione dei compiti degli agenti per quanto riguarda le azioni e l’utilizzo degli strumenti, della verifica «maker-checker», della registrazione delle attività e del monitoraggio comportamentale.
2. Architettura modulare dei flussi di lavoro agentici
Utilizzare sotto-agenti specializzati nei flussi di lavoro, assegnando loro permessi granulari per circoscriverne il perimetro operativo, così da ridurre l’ambito dei permessi richiesti da ciascun agente, aumentare modularità e riusabilità, semplificare la manutenzione e migliorare l’osservabilità e, di conseguenza, la spiegabilità.
3. Logging e tracciamento dei flussi di lavoro e degli agenti
Implementare un sistema completo di registrazione e tracciamento per monitorare decisioni, azioni, flussi di lavoro, il contesto specifico del chiamante e le fasi del ragionamento, al fine di garantire una maggiore comprensibilità dei sistemi di AI: questa, insieme al monitoraggio delle interazioni tra agenti, alla condivisione del contesto e ai comportamenti emergenti, consente un’osservabilità olistica delle operazioni e delle dinamiche dei flussi di lavoro multi-agente.
4. Privilegio minimo e segregazione nelle architetture AI
Applicare il principio del minimo privilegio e la segregazione dei compiti nei flussi automatizzati, definendo confini operativi chiari per gli agenti di AI. Tali limiti devono essere supportati da controlli di autorizzazione, coerenti con i permessi del soggetto che attiva l’azione e integrati da meccanismi di verifica contestuale, nonché da sistemi di interruzione (“circuit breaker”) come la supervisione umana.
Questo approccio consente di garantire che gli agenti operino entro perimetri appropriati, mantenendo al contempo la possibilità di intervento umano quando necessario e bilanciando automazione, sicurezza e controllo.
5. Integrazione nella governance
Integrare l’osservabilità degli agenti nei framework di governance esistenti, allineandola ai processi consolidati di gestione del rischio e della conformità, introducendo al contempo framework di valutazione standardizzati e ambienti di test in grado di misurare prestazioni, compliance e allineamento agli obiettivi di business.
6. Controlli operativi agentici
Fornire linee guida di supporto alle attività aziendali per definire e gestire le politiche relative al comportamento degli agenti, garantendo al contempo un controllo completo dei costi attraverso il monitoraggio e l’ottimizzazione dell’utilizzo delle risorse sia a livello individuale che di flusso di lavoro. Grazie a questo approccio, gli utenti aziendali possono gestire i vincoli degli agenti.
7. Gestione del rischio e conformità
Integrare il tracciamento completo delle attività (cfr. Logging e tracciamento dei flussi di lavoro e degli agenti) con i framework di governance esistenti per supportare i requisiti di audit, la conformità normativa e l’allineamento con i processi consolidati di gestione del rischio. Questo approccio contribuisce a garantire una supervisione approfondita e la conformità di tutte le attività degli agenti all’interno della struttura di governance dell’organizzazione.
Indicazioni operative per implementare l’AI agentica nei servizi finanziari
Le sezioni seguenti forniscono indicazioni e raccomandazioni operative specifiche, direttamente collegate ai sette principi di progettazione illustrati in precedenza. Con queste linee guida, i solution architect possono progettare e implementare sistemi sicuri di IA agentica. L’obiettivo non è fornire soluzioni tecniche esaustive, ma piuttosto orientare le implementazioni.
Monitorare e comprendere il comportamento degli agenti AI
Le indicazioni che seguono sono coerenti con i principi di omologia tra sicurezza umana e AI e di logging e tracciamento dei workflow e degli agenti descritti nella sezione precedente.
Implementare la visibilità end-to-end dei flussi di lavoro agentici
Documentare i flussi di lavoro e i profili degli agenti, implementando un tracciamento completo che registri input, passaggi di ragionamento, output e utilizzo degli strumenti tramite soluzioni dedicate per il debug, l’identificazione e il monitoraggio delle prestazioni degli agenti in ambienti di produzione. Questa visibilità fornisce i dati necessari per comprendere come gli agenti interagiscono con i sistemi e i dati finanziari critici. Implementare una strategia di tagging per gli agenti al fine di migliorare la visibilità, utilizzare nomi di ruolo descrittivi per i casi d’uso previsti e prevedere l’utilizzo di questi tag nei permessi agentici a valle e nei flussi di lavoro a monte.
Predisporre dashboard operative per le attività degli agenti
Implementare dashboard operative che offrano una visione sullo stato di salute degli agenti (ad esempio tramite Amazon CloudWatch). Queste dashboard dovrebbero monitorare metriche chiave come il numero di esecuzioni completate con successo, gli errori, la latenza e l’utilizzo delle risorse.
Integrare la telemetria degli agenti con i sistemi di monitoraggio esistenti
Utilizzare standard condivisi come OpenTelemetry (OTel) per integrare la telemetria degli agenti all’interno dell’infrastruttura di monitoraggio già in uso. L’adozione di standard comuni consente alle istituzioni finanziarie di valorizzare gli investimenti già effettuati negli strumenti di monitoraggio, estendendo al tempo stesso la visibilità alle attività degli agenti.
Definire controlli lato server per gli agenti e per gli strumenti utilizzati
Implementare un modello standardizzato di controllo degli accessi per gli agenti che utilizzano strumenti, così da applicare controlli coerenti nell’integrazione con i tool. È inoltre necessario prevedere verifiche di validazione e sanitizzazione degli input nel momento in cui gli strumenti vengono richiamati, così da intercettare eventuali comportamenti indesiderati sia nelle interazioni tra utente e agente sia in quelle tra agenti.
Gestire il cambiamento negli ambienti di IA agentica
Le indicazioni che seguono sono coerenti con i principi di integrazione nella governance e di controlli operativi agentici.
Adattare il change management ai workflow di AI agentica
Modificare i processi di change management esistenti per tener conto della natura dinamica degli agenti di AI, mantenendo al contempo adeguati livelli di controllo. Valutare i meccanismi di approvazione integrati nelle pipeline di rilascio degli agenti, adattandoli a un modello iterativo basato su miglioramenti incrementali. È inoltre necessario introdurre punti di intervento umano (“human in the loop”) all’interno delle operazioni agentiche.
Monitorare lo scostamento comportamentale degli agenti
Implementare il monitoraggio continuo delle tracce degli agenti in un ambiente di test al fine di individuare eventuali cambiamenti nei modelli comportamentali degli agenti che potrebbero indicare una deviazione nell’esecuzione o un apprendimento inatteso. Ciò è particolarmente importante per garantire la conformità a requisiti normativi che potrebbero imporre specifici limiti operativi.
Implementare il principio del privilegio minimo per gli agenti AI
Le indicazioni che seguono sono coerenti con i principi di omologia tra sicurezza umana e AI e di privilegio minimo con segregazione degli agenti.
Definire confini di permesso granulari per le azioni degli agenti
Implementare controlli di permesso granulari per limitare le autorizzazioni a quelle strettamente necessarie per le funzioni degli agenti. Considerare la separazione dei compiti tra agenti, distinguendo funzioni e permessi di accesso agli strumenti, così da ridurre l’impatto di eventuali azioni indesiderate. È inoltre importante garantire che le azioni degli agenti attivate da input dell’utente e quelle derivanti da interazioni tra agenti siano chiaramente distinguibili.
Implementare il monitoraggio delle autorizzazioni
Implementare strumenti di osservabilità che monitorino continuamente i modelli di autorizzazione degli agenti e segnalino tentativi di accesso anomali.
Stabilire audit trail delle azioni degli agenti
Mantenere audit trail completi delle azioni degli agenti che incidono sui sistemi in produzione e sui dati sensibili. Tali tracciati devono essere immutabili e integrati con i sistemi esistenti di reporting per la conformità, così da garantire la tracciabilità delle interazioni tra agenti e la conservazione dell’origine e della catena (lineage) delle richieste.
Implementare misure di protezione e controlli comportamentali per gli agenti di AI
Le indicazioni che seguono sono coerenti con i principi di controlli operativi agentici e di gestione del rischio e conformità. Si raccomanda di adottare un approccio progressivo all’implementazione dei controlli (“crawl, walk, run”: dal pilota alla piena operatività, passando per fasi intermedie di validazione): partire da un set minimo di controlli essenziali e farlo evolvere nel tempo, sulla base dei feedback derivanti dalle attività di monitoraggio.
Configurazione delle policy
Implementare interfacce di facile utilizzo per definire le policy comportamentali degli agenti e le regole di conformità. Attraverso queste interfacce, i team di rischio e conformità possono gestire direttamente i guardrail degli agenti, senza interventi tecnici.
Abilitare l’applicazione in tempo reale dei guardrail
Implementare sistemi automatizzati in grado di verificare in tempo reale che le azioni degli agenti siano conformi alle policy definite. È possibile, ad esempio, utilizzare strumenti dedicati come Amazon Bedrock Guardrails per introdurre meccanismi di filtraggio dei contenuti, rilevamento di dati personali (PII) e validazione delle risposte prima che gli output degli agenti raggiungano i sistemi di produzione.
Definire workflow di supervisione umana
Introdurre flussi di revisione che fungano da punti di controllo per le azioni critiche degli agenti, con percorsi di escalation chiaramente definiti. Stabilire trigger per l’attivazione della revisione umana e prevedere meccanismi di raccolta dei feedback a supporto del miglioramento continuo.
Rilevamento e ripristino in caso di malfunzionamento degli agenti AI
Le indicazioni che seguono sono coerenti con i principi di logging e tracciamento dei workflow e degli agenti, nonché di gestione del rischio e conformità.
Implementare il monitoraggio dello stato di salute e delle prestazioni degli agenti
Adottare sistemi completi di monitoraggio in grado di rilevare sia guasti evidenti sia degradazioni delle prestazioni degli agenti di AI. È importante disporre di strumenti che permettano di valutare lo stato di salute degli agenti andando oltre le metriche applicative tradizionali, offrendo una visione più approfondita del loro comportamento operativo.
Definire procedure di recupero in caso di malfunzionamenti degli agenti
Come nelle pipeline di rilascio tradizionali, è necessario sviluppare e testare procedure di recupero automatico e di intervento manuale per le diverse tipologie di errore degli agenti. Tali procedure devono includere meccanismi di interruzione (“circuit breaker”) adeguati e percorsi di escalation verso operatori umani nei casi che richiedono valutazioni discrezionali.
Monitorare il degrado della qualità del ragionamento
Implementare sistemi di monitoraggio in grado di rilevare anche degradazioni più sottili nella qualità del ragionamento degli agenti, che potrebbero non attivare i tradizionali segnali di errore.
Garantire prestazioni coerenti degli agenti nei diversi ambienti
Le indicazioni che seguono sono coerenti con i principi di logging e tracciamento dei workflow e degli agenti, di controlli operativi agentici e di gestione del rischio e conformità.
Implementare agenti modulari con baseline prestazionali
Adottare agenti modulari e riutilizzabili, definendo baseline di prestazione per le loro operazioni nei diversi ambienti di sviluppo, test e produzione. È inoltre necessario monitorare eventuali scostamenti che possano segnalare problemi specifici di un determinato ambiente.
Introdurre canary testing per il monitoraggio del comportamento e della resilienza degli agenti
Applicare pratiche di test su rilasci in scala ridotta per le modifiche agli agenti, accompagnate da un’osservabilità completa che consenta di individuare variazioni inattese del comportamento prima del deployment completo e durante l’esecuzione. È utile prevedere sia test positivi, in cui input validi producono gli output attesi, sia test negativi, in cui input impropri non compromettono il risultato desiderato. Occorre inoltre verificare la resilienza degli agenti in diverse condizioni di errore. Anche i canary test (ovvero il rilascio controllato su sottoinsiemi limitati di traffico o utenti) dovrebbero rientrare nei processi di change control, così da garantirne la tracciabilità nel tempo man mano che le attività di test si ampliano e maturano.
Gestire le interazioni nei flussi di lavoro multi-agente
Le indicazioni che seguono sono coerenti con i principi di architettura modulare dei workflow agentici e di logging e tracciamento dei workflow e degli agenti.
Monitorare i modelli di collaborazione tra agenti
Implementare sistemi di monitoraggio delle comunicazioni tra agenti, sia all’interno di workflow predefiniti sia in quelli dinamici, includendo la condivisione del contesto e i comportamenti collettivi. Analizzare i pattern di interazione per individuare eventuali rischi o inefficienze.
Rilevare i comportamenti emergenti
Implementare test di tracciamento comportamentale per individuare pattern o risultati inattesi derivanti dalle interazioni tra più agenti. È inoltre opportuno definire baseline del normale comportamento collaborativo e attivare segnalazioni in caso di scostamenti, includendo nei test anche scenari estremi.
Mantenere audit trail delle interazioni
Registrare log completi e non ripudiabili delle interazioni tra agenti, inclusi gli scambi di contesto, i passaggi di consegna e gli output. È inoltre necessario preservare la tracciabilità delle azioni tra agenti, così come l’origine e la provenienza della richiesta.
Ottimizzare l’utilizzo delle risorse e i costi degli agenti AI
Le indicazioni che seguono sono coerenti con il principio dei controlli operativi agentici.
Implementare il monitoraggio del consumo di risorse e dei costi
Adottare sistemi di monitoraggio dei pattern di consumo delle risorse da parte degli agenti, inclusi calcolo, memoria, utilizzo delle API e costi. Questo consente di ottimizzare l’allocazione delle risorse e migliorare la gestione dei costi.
Definire metriche di performance per gli agenti
Stabilire e monitorare indicatori chiave di prestazione specifici per le operazioni degli agenti, come l’efficienza nei passaggi di ragionamento, i pattern di utilizzo degli strumenti e i tempi di completamento.
Implementare il rilevamento di anomalie nelle prestazioni degli agenti
Adottare sistemi di anomaly detection sulle metriche di performance degli agenti, così da individuare tempestivamente eventuali criticità prima che abbiano impatti sulle operazioni di business.
Conclusione
L’adozione dell’AI agentica nei servizi finanziari richiede un equilibrio attento tra innovazione e controllo. I sette principi di progettazione illustrati offrono un framework utile per implementare sistemi di AI spiegabili, governabili e, più in generale, responsabili, in linea con i requisiti esistenti in materia di sicurezza e conformità.
Trattare gli agenti di AI con lo stesso rigore applicato agli utenti umani, attraverso controlli di accesso robusti, modelli di autorizzazione basati su ruoli e attributi e un monitoraggio completo, consente alle organizzazioni di adottare questi sistemi in modo sicuro, mantenendo al tempo stesso la conformità ai principali framework normativi.
Le tecnologie disponibili rappresentano un elemento abilitante, ma il successo dipende anche dalla definizione di policy chiare e dall’introduzione di adeguati meccanismi di supervisione umana. Le istituzioni finanziarie che sapranno dotarsi di queste capacità di sicurezza e governance saranno nella posizione migliore per valorizzare l’AI agentica, contribuendo al tempo stesso a rafforzare sicurezza, trasparenza e conformità ai requisiti di settore.
