Ogni giorno, sistemi di intelligenza artificiale prendono decisioni che riguardano milioni di persone: stabiliscono chi ottiene un prestito, suggeriscono diagnosi mediche, decidono quali clienti riceveranno un’offerta promozionale. Eppure, nella maggior parte dei casi, non è chiaramente esplicitato il perché i sistemi abbiano preso una determinata decisione.
È il problema della cosiddetta black-box: modelli che funzionano, spesso con prestazioni eccellenti, ma che non forniscono alcuna spiegazione del ragionamento interno che ha portato alla decisione.
Per manager e decisori, questa opacità non è un dettaglio tecnico: è un rischio strategico. Se le persone non comprendono come l’AI decide, sarà difficile fidarsi di qualsiasi sistema che la includa. Quando l’intelligenza artificiale sbaglia, identificare le responsabilità diventa un rebus. I sistemi opachi possono rafforzare i pregiudizi presenti nei dati, portando a risultati discriminatori.
Inoltre, normative come il GDPR (General Data Protection Regulation – Regolamento UE 2016/679, il regolamento europeo che disciplina il trattamento dei dati personali, garantendo maggiore controllo ai cittadini e imponendo regole e limitazioni a organizzazioni pubbliche e private che operano nell’UE) e l’AI Act (la prima regolamentazione al mondo sull’intelligenza artificiale) richiedono espressamente la piena trasparenza nelle decisioni automatizzate. In particolare, l’AI Act stabilisce che l’AI debba essere sviluppata e usata in modo sicuro, etico e rispettoso dei diritti fondamentali e dei valori europei.
Il regolamento classifica i sistemi di intelligenza artificiale in base al livello di rischio per la sicurezza e i diritti delle persone, stabilendo requisiti e obblighi per i fornitori e gli utenti di sistemi che incorporano soluzioni di intelligenza artificiale. Tra gli obblighi che sviluppatori di sistemi basati su AI devono garantire ci sono la qualità dei dati, la creazione di documentazione tecnica, l’informazione agli utenti, che devono essere consapevoli di interagire con strumenti AI, la supervisione umana all’interno del percorso decisionale, la robustezza, la sicurezza e la precisione dei sistemi stessi. Gli sviluppatori e gli utilizzatori devono inoltre valutare il rischio e definire un sistema di gestione della qualità. Si veda questo articolo per approfondimenti ulteriori sul tema dell’AI Act.
In particolare, l’articolo 86 – “Right to Explanation of Individual Decision-Making” stabilisce che ciascun individuo che subisce gli effetti di un servizio che incorpora soluzioni di intelligenza artificiale ha il diritto di richiedere all’ente erogatore piena spiegazione rispetto al ruolo del sistema di AI nel processo decisionale. È chiaro che dal 2 agosto 2026, data in cui questo articolo entrerà in vigore, non sarà più possibile erogare servizi in cui l’AI rimane una “scatola nera” di cui si conoscono solo gli effetti, senza comprendere appieno quali dati, quali variabili, quali modelli abbiano portato a ogni specifica e singola decisione.
Indice degli argomenti
Explainable AI tra norme, fiducia e responsabilità
Inoltre, la questione si fa ancora più urgente in un ecosistema dove l’autonomia delle macchine cresce a vista d’occhio. Nel panorama attuale dell’intelligenza artificiale, stanno emergendo sistemi in grado di interagire autonomamente con l’ambiente digitale, svolgendo attività complesse senza intervento diretto dell’utente. Queste soluzioni rappresentano una nuova frontiera, in cui la capacità di navigare e agire sul web, nonché di gestire processi in background, apre prospettive innovative sia in ambito aziendale che personale. Tuttavia, quando le macchine non si limitano a suggerire ma iniziano ad agire, sapere su quali basi prendono le decisioni non è più un lusso ma una necessità.
In questo contesto, l’Explainable AI (XAI) definisce i metodi e gli approcci che permettono di aprire la scatola nera e rendere interpretabili e pienamente comprensibili le decisioni dei modelli di machine learning. Nessuno sviluppatore o utilizzatore potrà ridurre o circoscrivere la propria responsabilità appellandosi a decisioni autonome prese da sistemi non pienamente esplicabili.
Trasparenza come obbligo normativo e principio etico
Il tema della spiegabilità non nasce oggi. L’UNESCO ha inserito transparency and explainability tra i dieci principi chiave per un’etica dell’intelligenza artificiale. Il filosofo dell’informazione Luciano Floridi identifica l’esplicabilità come il principio originale che distingue l’AI da altri ambiti della bioetica: non basta che un sistema sia benefico, sicuro e giusto, deve anche saper rendere conto di sé.
Ma è con l’AI Act europeo che la trasparenza diventa un requisito legale concreto. L’articolo 13 del Regolamento stabilisce che i sistemi ad alto rischio devono essere progettati con trasparenza fin dall’inizio: si tratta della cosiddetta transparency by design. Non basta aggiungere una spiegazione a posteriori: il sistema deve essere pensato per essere comprensibile fin dalla fase di progettazione. E anche per i sistemi non ad alto rischio, l’AI Act prevede obblighi di trasparenza e riconoscibilità verso gli utenti.
Sulla stessa linea, il NIST statunitense ha fissato quattro principi cardine: un sistema di AI deve fornire spiegazioni per i propri output, queste devono essere comprensibili ai destinatari, accurate rispetto ai processi interni, e il sistema deve riconoscere i propri limiti di conoscenza.
Come funziona la Explainable AI: una mappa per orientarsi
Per orientarsi nel panorama dei metodi di Explainable AI, servono tre coordinate.
La prima è il momento di applicazione: i metodi pre-hoc sono modelli già trasparenti per natura e possono essere metodi semplici come alberi decisionali o regressioni lineari oppure metodi complessi vincolati alla conoscenza di dominio; i metodi post-hoc applicano tecniche di spiegazione a modelli complessi già addestrati.
La seconda è l’ampiezza: le spiegazioni globali mostrano il comportamento complessivo del modello (fondamentali per audit e compliance), quelle locali rispondono alla domanda “perché questa specifica decisione?”.
La terza riguarda la tecnica: approcci perturbation-based (come LIME o SHAP) modificano l’input e osservano come cambia l’output; quelli gradient-based (come Grad-CAM) sfruttano la matematica interna delle reti neurali per individuare quali elementi dell’input pesano di più.
Explainable AI e casi d’uso nelle imprese
Gli ambiti in cui è necessario garantire piena esplicabilità delle decisioni sono potenzialmente infiniti. Lo sono sia per gli obblighi normativi di cui sopra, ma anche per un più consapevole ed efficace utilizzo da parte delle imprese che li adottano degli insight e dei suggerimenti che emergono dai sistemi di analisi, esplorazione e decisione AI-based.
Un candidato per una posizione lavorativa potrebbe chiedere spiegazioni al selezionatore della propria esclusione. Il selezionatore dovrebbe essere in grado di spiegare con chiarezza quali sono stati i criteri e le motivazioni dell’esclusione, definendo quali dati, quali variabili predittive, quale modello ha portato alla scelta.
Un e-commerce che incorpora sistemi di pricing personalizzato per i propri clienti deve certamente monitorare l’efficacia della strategia di pricing, individuando azioni migliorative puntuali.
Un’azienda che interagisce con i propri clienti tramite chatbot potrebbe voler migliorare le indicazioni, i suggerimenti, i dialoghi tra gli agenti autonomi e le persone. Può farlo solo comprendendo appieno le motivazioni dietro le risposte fornite dall’applicazione.
Un utente che riceve proposte d’acquisto o di servizio personalizzate potrebbe chiedere all’ente erogante quali criteri hanno determinato il suggerimento e su quali basi si è trovato inserito in uno specifico cluster di utenti.
Gli esempi che si possono fare sono potenzialmente infiniti. È comunque evidente che i decisori devono poter comprendere a fondo le decisioni prese dai sistemi AI, sia per ottemperare ai prossimi obblighi di legge, sia per poter davvero governare i processi ed essere in controllo delle decisioni e delle strutture che dirigono. Il rischio di affidamento e delega eccessiva è mitigato proprio dalla presenza di sistemi pienamente spiegabili e trasparenti.
Nel seguito, si approfondisce l’impatto e le tecnicalità con cui due applicazioni molto diverse tra loro, per ambito e anche per la delicatezza dei temi e dei dati trattati, sono rese trasparenti e comprensibili ai decisori.
Explainable AI nel churn prediction retail
I modelli di classificazione di Gradient Boosting sono modelli cosiddetti “ensemble”, ovvero utilizzano in serie diversi modelli semplici di classificazione (quali, ad esempio, alberi decisionali), che raffinano via via la predizione della classe di appartenenza. Se il risultato del singolo modello di classificazione è in sé comprensibile e tracciabile, lo è molto meno il risultato globale del modello complessivo. Per questo, un sistema di Gradient Boosting è più accurato nella predizione di un singolo albero decisionale, ma anche intrinsecamente più complesso e meno trasparente.
Affrontiamo un caso concreto: un e-commerce di abbigliamento che usa un modello siffatto per prevedere quali clienti sono a rischio abbandono e poter così attivare azioni di retention, prima che i clienti si siano completamente scordati e disamorati dell’insegna stessa.
È interessante avere un sistema che, avendo in input valori noti come il numero di acquisti fatti dall’utente, i mesi trascorsi dall’ultimo ordine, la durata della relazione con il cliente e le categorie di prodotto acquistate storicamente, possa assegnare una probabilità di abbandono a 3 valori alta, media, bassa, a ciascun utente. Il sistema dunque usando le variabili summenzionate come predittori deve essere in grado di fornire il grado di rischio di abbandono per ciascun cliente. Il marketing dell’impresa ha interesse però non solo a capire quali sono i clienti a rischio, ma anche perché lo sono, ovvero quali sono le singole variabili comportamentali, personali, transazionali che permettono di classificare un cliente fedele o, all’opposto, a forte rischio di churn (abbandono).
È a questo punto che entrano in gioco i sistemi di spiegazione post-hoc come SHAP. Grazie a questo modello, è emerso che sono i clienti con pochi acquisti concentrati su una sola categoria merceologica che hanno la più alta propensione all’abbandono. Inoltre, si è capito che quelli con una relazione di lunga durata tendono a restare fedeli. Questo doppio insight consente azioni mirate: sconti personalizzati per i clienti appena registrati, incentivi cross-categoria per chi acquista un solo tipo di prodotto, premialità per la fedeltà e la relazione di lunga durata. Nell’esempio, sono state utilizzate poche variabili, in realtà modelli reali e realmente efficaci ne hanno decine, se non centinaia o migliaia. Diventa ancora più evidente quanto sia importante poter associare la decisione o, come in questo caso, la classificazione e la relativa azione, a cause specifiche.
Explainable AI in ambito clinico
Nel secondo esempio, affrontiamo un tema molto più delicato. In ambito clinico, un modello di deep learning (apprendimento profondo basato su reti neurali a più livelli con relazioni complesse e non lineari tra gli input e output) classifica scansioni MRI (Magnetic Resonance Imaging, ovvero le risonanze magnetiche) cerebrali distinguendo soggetti sani da pazienti con Alzheimer, con alta accuratezza. Ma in medicina la performance da sola non basta: serve sapere su cosa il modello fonda la propria diagnosi.
Applicando un’altra categoria di modelli di esplicazione come Grad-CAM, i ricercatori hanno verificato che il modello attribuisce maggiore rilevanza a sette regioni del lobo temporale mediale su otto — esattamente le aree associate all’atrofia tipica della malattia.
Questi risultati sembrano indicare pertanto che il modello, pur nella sua grande complessità, si avvale di informazioni coerenti con il dominio clinico per giungere a una corretta diagnosi della patologia. Inoltre, le White Matter Hyperintensities, che sono microlesioni della materia bianca, emergono come elementi rilevanti, supportando evidenze crescenti di un possibile nuovo biomarcatore nella ricerca neuroscientifica. La XAI, in questo caso, non solo conferma la validità del modello, ma contribuisce a rafforzare la conoscenza medica stessa.
Il problema della spiegabilità nei Large Language Model
I metodi descritti finora nascono per modelli predittivi con input e output ben definiti. Con i Large Language Model e l’AI generativa, il problema cambia scala: il modello genera testo libero, immagini o codice, e la spiegabilità si biforca in due direzioni distinte che è importante non confondere.
Interpretabilità tecnica e ricerca sui modelli
Da un lato c’è l’interpretabilità tecnica (mechanistic interpretability): il tentativo di capire cosa succede dentro i modelli, a livello di neuroni e attivazioni. Anthropic, ad esempio, ha mappato milioni di feature interne di Claude 3 Sonnet tramite dictionary learning, identificando “neuroni” che si attivano per concetti specifici e che possono essere manipolati per osservarne l’effetto sull’output. Si tratta di ricerche affascinanti ma ancora preliminari, con costi computazionali elevati e risultati difficili da tradurre in indicazioni operative.
Explainability pratica e limiti operativi
Dall’altro c’è l’explainability pratica: strumenti come LIME e SHAP che indicano quali variabili hanno pesato su una specifica decisione. Sono i metodi più diffusi in azienda, ma applicati agli LLM mostrano limiti seri: risultati incoerenti tra tecniche diverse, e fenomeni come il token noise, in cui il modello attribuisce rilevanza a token privi di valore semantico. Ricerche recenti hanno dimostrato che basta aggiungere una singola parola a un prompt per ribaltare la decisione di un LLM, sollevando dubbi concreti sulla robustezza di questi metodi in contesti aziendali.
Buone pratiche per chi parte oggi
L’esperienza sul campo suggerisce alcune regole concrete. Documentare sempre le scelte metodologiche: senza una traccia chiara, tra sei mesi nessuno saprà più ricostruire come e perché quel modello è finito in produzione. Non fidarsi mai di una singola tecnica: SHAP e LIME sulla stessa predizione possono dare risultati diversi, e confrontarli è l’unico modo per triangolare la verità. Coinvolgere gli esperti di dominio nella validazione delle spiegazioni. Stratificare le spiegazioni per pubblici diversi: un CEO vuole il messaggio in tre righe, un data scientist vuole i dettagli matematici. Testare la robustezza: se cambiando leggermente l’input le spiegazioni cambiano radicalmente, c’è un problema.
L’errore più comune? Trattare la XAI come una pezza da applicare a fine progetto. Va integrata fin dalla fase di design, come un requisito architetturale e non come un add-on.
Explainable AI come vantaggio competitivo
Le sfide aperte restano significative. Distinguere correlazioni casuali da connessioni realmente rilevanti è ancora difficile. La standardizzazione delle metodologie è in fase iniziale. E per i Large Language Model, la spiegabilità rimane un cantiere aperto, praticabile in modo completo solo su modelli open-source e a costi computazionali elevati.
Ma il messaggio per i decision maker è chiaro. L’Explainable AI non è solo un costo di compliance: è un vantaggio competitivo. Modelli spiegabili accelerano il time-to-market, riducono i rischi legali, aumentano la fiducia degli stakeholder e facilitano l’adozione interna. Le aziende leader lo hanno già capito: in un contesto sempre più data-driven, una decisione è valida solo se spiegabile.
Riferimenti
Anthropic (2024). Mapping the Mind of a Large Language Model. https://www.anthropic.com/research/mapping-mind-language-model
Barredo Arrieta, A., Díaz-Rodríguez, N., Del Ser, J., Bennetot, A., Tabik, S., Barbado, A., Garcia, S., Gil-Lopez, S., Molina, D., Benjamins, R., Chatila, R., & Herrera, F. (2020). Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI. Information Fusion, 58, 82–115. https://doi.org/10.1016/j.inffus.2019.12.012
Coluzzi, D. et al. (2022). Explainable AI Points to White Matter Hyperintensities for Alzheimer’s Disease Identification: A Preliminary Study. Proceedings of the 44th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). https://doi.org/10.1109/EMBC48229.2022.9871306
Coluzzi, D. et al. (2024). Explainability of Deep Learning Models for Brain MRI Classification of Alzheimer’s Disease. Bioengineering, 12(1), 82. https://doi.org/10.3390/bioengineering12010082
Floridi, L. (2023). Etica dell’intelligenza artificiale. Raffaello Cortina Editore.
Mohammadi, M. (2024). Explaining LLM-Based Classifiers via SHAP Analysis. arXiv preprint, arXiv:2404.01332. https://arxiv.org/abs/2404.01332
Regolamento (UE) 2024/1689 del Parlamento europeo e del Consiglio, del 13 giugno 2024, che stabilisce regole armonizzate sull’intelligenza artificiale (AI Act). Gazzetta ufficiale dell’Unione europea, L, 2024/1689.
Rudin, C. (2019). Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead. Nature Machine Intelligence, 1, 206–215. https://doi.org/10.1038/s42256-019-0048-x
UNESCO (2021). Recommendation on the Ethics of Artificial Intelligence. UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000381137
Zhao, H. et al. (2024). Explainability for Large Language Models: A Survey. ACM Computing Surveys. https://doi.org/10.1145/3639372
