Quando una nostra azione ha effetti su altri, noi umani cerchiamo di assicurarci che la decisione sia giusta, oppure lasciamo decidere a qualcun altro. Diversi agenti AI, nei benchmark oggi disponibili, non adattano in modo affidabile il proprio comportamento alle conseguenze associate all’errore e mostrano una sicurezza nella correttezza della decisione che può trarre in inganno. Per cogliere i vantaggi della nuova automazione basata sull’AI e ridurne i rischi, al momento la strada maestra è curare con attenzione le conoscenze operative fornite a questi sistemi.
Partiamo da un esempio: un cliente invia un ordine molto importante e atipico. Un agente AI lo prende in carico e suggerisce una decisione basata su tre documenti dell’archivio aziendale: una procedura, una nota tecnica e un verbale. Purtroppo, la procedura era stata sostituita. La nota tecnica non poteva essere utilizzata perché riguardava un impianto diverso. Il verbale documentava un’eccezione alla procedura standard, ma non riportava i motivi che la giustificavano.
Le fonti di conoscenza sono reali. La decisione è sbagliata.
Indice degli argomenti
Conoscenza aziendale e agenti AI: il vocabolario essenziale
Per i nostri scopi, chiamiamo conoscenza ciò che consente a un soggetto di interpretare la realtà e agire nel mondo, reale o cibernetico. In azienda, esempi di conoscenza includono l’esperienza di un dipendente nell’individuare un guasto o la procedura di valutazione dei fornitori. La conoscenza risiede in diverse sedi, tra cui le persone e gli artefatti aziendali, come documenti, archivi e software. Chi utilizza questa conoscenza per agire è, invece, un attore. Una persona può quindi essere contemporaneamente sede di conoscenza e attore; con gli agenti AI, anche un artefatto software può assumere un ruolo attivo.
Per completare il vocabolario essenziale della gestione della conoscenza, distinguiamo tra conoscenza tacita ed esplicita. La conoscenza tacita comprende ciò che una persona sa fare, talvolta senza riuscire a spiegarlo del tutto. A volte la affittiamo quando chiamiamo in azienda un consulente selezionato in base alla sua esperienza. La conoscenza esplicita, invece, è espressa sotto forma di simboli, come parole o formule matematiche. Si trova nei nostri manuali, nelle email e nei promemoria.
Gestire la conoscenza aziendale significa governarne il ciclo di vita e le trasformazioni. Seguendo il modello di Nonaka, Takeuchi e Umemoto, le organizzazioni sviluppano il loro sapere tramite socializzazione, cioè da conoscenza tacita a conoscenza tacita, per esempio attraverso l’apprendistato e l’affiancamento; oppure tramite esternalizzazione, cioè trasformandola da tacita a esplicita; combinazione, cioè da esplicita a esplicita; e internalizzazione, cioè da esplicita a tacita. Per esempio, l’esperienza dei dipendenti viene esternalizzata in una procedura scritta. Questa procedura può poi essere combinata con altri documenti. Alla fine, altri dipendenti la internalizzano per svolgere un compito.
Dalle decisioni umane agli agenti AI: responsabilità e certezza
La percezione della responsabilità modifica la nostra disponibilità a decidere direttamente. In uno studio pubblicato su Science, Edelson e colleghi hanno osservato che le persone sono meno propense a decidere da sole quando la scelta riguarda il benessere altrui. Da questo risultato possiamo ricavare un principio più generale utile al nostro ragionamento: quando aumentano le conseguenze di un errore, diventa ragionevole richiedere evidenze più forti prima di agire.
Prendiamo un esempio estremo. Il 26 settembre 1983, il colonnello Stanislav Petrov era alla console del sistema satellitare sovietico di allerta missilistica quando il sistema segnalò cinque missili provenienti dagli Stati Uniti e dichiarò il rapporto molto affidabile. Petrov cercò una conferma indipendente: nessun radar di terra rilevava missili e lo scenario gli apparve poco credibile. Anche se stimava che le probabilità fossero vicine al 50%, decise che si trattava di un falso allarme.
Agenti AI, penalità dell’errore e false certezze
Un agente AI può sembrare, a prima vista, un oggetto aziendale, come un documento. In realtà, è un attore che può agire. Prima dell’AI generativa, un documento solitamente doveva essere interpretato da una persona prima di produrre un’azione; un agente AI può invece agire direttamente sulla base di un documento scritto.
Come possiamo quindi spiegare all’agente AI la responsabilità associata ad una scelta? La responsabilità è naturalmente più complessa, ma per rendere un aspetto di essa trattabile sperimentalmente, possiamo rappresentare le conseguenze di una scelta attraverso la penalità potenziale associata all’errore. Come esseri umani, come suggerisce lo studio di Edelson, ci aspetteremmo che, se cresce la penalità potenziale dell’errore, serva più certezza giustificata prima di agire.
In un preprint, alcuni ricercatori dell’University of Southern California hanno mostrato che le decisioni prese da diversi modelli di AI generativa sembrano però indipendenti dalla penalità associata a una risposta errata.
Un recente articolo pubblicato su Nature, che studia un problema correlato, sembra trovare una spiegazione nel modo in cui questi modelli sono stati addestrati: esso è mirato a migliorare le risposte alle domande a scelta multipla, cioè a prevedere il prossimo token tra quelli noti. Questo metodo premia il tentativo di rispondere e penalizza implicitamente l’astensione.
Nei modelli e nei dataset esaminati nel preprint, sia la confidenza dichiarata nella decisione presa sia la scelta tra risposta e astensione variano poco; anche quando l’astensione massimizza l’utilità, i modelli tendono a continuare a prendere decisioni operative, accumulando perdite nei casi in cui la penalità è alta.
Ad aggravare il problema, un altro studio, di Xuan e colleghi, presentato quest’anno in una delle conferenze di linguistica computazionale più importanti, ha esaminato quanto un agente AI si fidi delle proprie risposte quando dispone di uno strumento per cercare ulteriori informazioni, analogo, in un contesto aziendale, all’accesso a un’intranet.
Questa capacità di ricerca delle informazioni sembra portare a una sovrastima della propria affidabilità: l’agente AI mostra false certezze perché ha condotto una ricerca, il che sembra indurlo a ritenere di aver fatto quanto necessario per verificare la propria risposta, anche se i documenti trovati hanno solo un legame superficiale con la domanda in esame.
Sebbene la tecnologia dei sistemi di AI generativa stia evolvendo molto rapidamente, ad oggi gli strumenti a nostra disposizione non sembrano aver interiorizzato che, quando cresce il rischio di errore, serve una maggiore certezza, giustificata, prima di agire.
Se quindi non possiamo fidarci della qualità delle decisioni prese da un agente AI, dobbiamo impegnarci a ottenere fonti di conoscenza della migliore qualità possibile rispetto al compito da svolgere.
Qualità della conoscenza per agenti AI: le quattro dimensioni
Misurare la qualità della conoscenza è, in principio, difficile e complesso, come mostra gran parte della letteratura. Tuttavia, nel libro di Giovanni Guida sulla gestione delle conoscenze in azienda, troviamo un modello pratico che si adatta bene al nostro caso. Questo modello separa le caratteristiche interne della conoscenza dalla forma in cui viene resa disponibile agli attori. Le dimensioni interne riguardano la copertura e la validità, mentre quelle esterne riguardano l’accessibilità e l’usabilità.
Copertura e validità della conoscenza aziendale
La copertura verifica se la base di conoscenza tratta tutti i temi necessari con il giusto livello di dettaglio. La validità verifica se la conoscenza può davvero sostenere azioni che portano al risultato atteso. Una fonte valida deve essere corretta, aggiornata e adatta al contesto.
Queste dimensioni interne possono beneficiare delle discipline organizzative con cui un’azienda descrive e governa i propri processi critici. Molti framework e norme tecniche prevedono attività di questo tipo. Alcuni esempi nel campo della sicurezza informatica sono il NIST CSF2.0, il NIST AI RMF, l’ISO/IEC 27001 e l’ISO/IEC 42001. Principi simili di gestione della conoscenza e di controllo della qualità si applicano anche in altri contesti aziendali, come la gestione della qualità nei processi produttivi, la compliance normativa o la gestione dei progetti.
Infatti, la copertura può aumentare quando l’impresa individua asset, processi critici, dipendenze e scenari di rischio, poiché ciò obbliga a esternalizzare almeno una parte della conoscenza necessaria al governo dell’azienda. La validità può aumentare quando i documenti vengono rivisti periodicamente, approvati e controllati nelle diverse versioni, come richiesto da queste norme e framework.
Accessibilità e usabilità per l’AI agentica
Parlando delle dimensioni esterne, l’accessibilità indica quanto facilmente l’attore trova la conoscenza quando ne ha bisogno. Nell’AI agentica, questo significa creare motori di ricerca degli artefatti aziendali in grado di individuare i documenti più utili e validi.
L’usabilità indica quanto bene l’attore riesce a comprendere e utilizzare ciò che ha trovato. Per un agente diventano importanti le precondizioni, se spiegate chiaramente, gli esempi e le definizioni dei termini tecnici e delle norme. La stessa procedura, scritta in linguaggio naturale, può essere chiara per un tecnico esperto, ma risultare ambigua per un modello che non conosce il contesto dell’officina né il significato di un acronimo aziendale.
Per quanto riguarda l’accessibilità, è utile ricordare la lezione presentata dallo studio di Xuan e colleghi: la capacità di ricerca delle informazioni sembra essere legata a una sovrastima dell’affidabilità se non si garantisce una relazione semantica forte con l’oggetto della ricerca.
Un recente lavoro cui ho partecipato, OntoLogX, presenta un esempio strutturato nel campo della cybersecurity. OntoLogX struttura i log grezzi in un knowledge graph basato su un’ontologia di dominio, così da rendere possibili un’interrogazione semantica e il loro impiego per identificare eventuali tecniche e tattiche di attacco tra quelle codificate nel MITRE ATT&CK. Il principio generale è che, per un agente AI, una buona accessibilità richiede meccanismi in grado di recuperare la conoscenza pertinente.
Infine, l’usabilità dipende dal linguaggio impiegato e dal modo in cui la conoscenza è organizzata rispetto alle caratteristiche dell’agente. Un altro studio, anch’esso presentato nell’edizione di quest’anno di una delle più importanti conferenze di linguistica computazionale, mostra quanto questa dipendenza dall’attore sia reale.
Nell’estrazione di regole da documenti aziendali complessi, i risultati migliorano quando la logica implicita nel testo viene prima ricostruita in una rappresentazione intermedia, simile al pseudocodice. Questo metodo rende chiare le condizioni, le ramificazioni e le dipendenze tra le azioni.
Per un agente AI, quindi, la stessa conoscenza può essere più o meno facile da usare a seconda di come viene rappresentata. Queste differenze variano in base alla specifica infrastruttura di AI generativa: nel contesto tecnologico attuale, sembrerebbe quindi che la loro efficacia vada rivalutata quando cambiano il modello o la pipeline.
Agenti AI e conoscenza aziendale: la leva per ridurre i rischi
Ogni decisione, umana o artificiale, si basa sulla conoscenza disponibile e, quanto più un sistema è chiamato ad agire autonomamente, tanto più diventa importante comprendere quali fonti contribuiscano alle sue decisioni, quali porzioni della conoscenza aziendale ne restino escluse e in che misura ciò che viene recuperato possa essere effettivamente utilizzato.
L’esempio dell’ordine atipico da cui siamo partiti mostra bene il problema, perché anche documenti autentici e apparentemente affidabili possono condurre a una decisione sbagliata quando risultano incompleti, datati o privi del contesto necessario per interpretarli correttamente. La qualità delle decisioni dipende quindi, almeno in parte, dalla qualità della conoscenza messa a disposizione di chi decide.
Questa dipendenza diventa particolarmente delicata quando una decisione può produrre conseguenze rilevanti, perché in questi casi non è sufficiente individuare una risposta plausibile, ma occorre anche stabilire quanto sia giustificato agire, tenendo conto dei benefici attesi, della possibilità di errore e della gravità delle conseguenze.
Gli esseri umani tendono a modificare il proprio comportamento quando percepiscono una maggiore responsabilità, mentre gli agenti AI finora a nostra disposizione sembrano molto meno sensibili alla penalità associata all’errore e possono mostrare un’eccessiva, ingiustificata, sicurezza persino quando dispongono di strumenti per raccogliere informazioni. Attribuire loro capacità operative richiede quindi di considerare con attenzione la distanza che ancora separa la capacità di prendere una decisione da quella di valutarne adeguatamente il rischio.
Nel panorama tecnologico attuale, non possiamo ancora presumere che un agente sappia innalzare autonomamente la propria soglia di certezza al crescere delle conseguenze associate a una decisione. Rimane però una leva su cui l’impresa può intervenire direttamente: la qualità della conoscenza su cui l’agente opera.
Curarne la copertura e la validità, renderla effettivamente accessibile e rappresentarla in una forma che il sistema di AI sia in grado di utilizzare significa intervenire a monte del processo decisionale, riducendo così la probabilità che un’automazione sempre più capace trasformi una conoscenza incompleta, obsoleta o ambigua in un’azione eseguita con grande rapidità, ma fondata su presupposti errati.
































Partecipa alla community