È l’epoca di una nuova rivoluzione cognitiva. Quello stesso tipo di rivoluzione che ha portato l’uomo, nei secoli passati, dall’affidarsi a Dei supremi, inaccessibili e inattaccabili, che hanno potere e giudizio sulla sua vita, all’Umanesimo di Rousseau che pone l’uomo al centro di tutto, sé stesso il suo Dio, in cui verità e giudizio emergono dal suo sentire, dal suo cuore.
Nella nuova rivoluzione cognitiva, si assiste a una perdita mascherata di questa centralità. Mascherata perché è inconsapevole, e dà all’uomo l’illusione di mantenere il suo stesso essere come fulcro delle cose, padrone delle sue scelte. Che, in realtà, vengono adesso plasmate “dall’algoritmo”. Conoscerne il funzionamento, rendendo tale algoritmo trasparente e spiegabile, può essere la svolta per tornare all’autentica centralità.
Indice degli argomenti
L’illusione dell’uomo di essere al centro dell’infosfera
L’uomo è diventato un’entità sfumata in una collezione immensa di dati. Non è più astro dell’universo, ma una delle tante milioni di stelle disseminate in un nuovo spazio, fatto di informazione e dati. L’uomo è collocato nell’infosfera, un grande sistema informazionale, e contribuisce al risultato di un’elaborazione statistica di dati continuamente prodotti, raccolti, aggiornati ed elaborati. Dati che conducono a loro volta alla proposta di informazioni su ciò che è più “statisticamente attinente” a quanto richiesto dall’utenza in un certo momento.
L’algoritmo che propone idee, soluzioni di ogni sorta, consigli anche non richiesti, è diventato il nuovo “guru” a cui fare riferimento, annientando di fatto ogni sfumatura che non rientra in ciò che è maggiormente diffuso nell’infosfera, “appiattendo” l’unicità e la singolarità. Illudendo l’uomo di essere pienamente consapevole e sicuro delle informazioni che cerca, su cui indaga, e che ottiene.
È l’era dell’intelligenza artificiale che genera contenuti sulla base delle nostre richieste, ma di fatto sulla base della sua stessa conoscenza e delle tendenze dominanti nell’infosfera, e che non indaga nelle profondità del singolo, tanto conclamate da Rousseau.
È l’era del dataismo, in cui tutto dipende dai dati, non dalla specificità.
In questo scenario, che dà l’illusione di una padronanza di sentire, che in realtà viene incanalata dagli algoritmi e dai dati, la trasparenza delle intelligenze artificiali è un tema di crescente importanza, in quanto può evidenziare come e perché vengono proposti certi contenuti, come vengono elaborate le nostre informazioni, quali aspetti hanno spinto la produzione di certi contenuti rispetto ad altri.
La trasparenza dell’intelligenza artificiale può smascherare l’inganno della nostra centralità, rendendo l’uomo più consapevole delle informazioni proposte, e quindi ponendolo potenzialmente in una posizione più critica, in cui può interrogarsi sull’autenticità del dato, nella prospettiva della sua stessa autenticità. La trasparenza dell’algoritmo per restituire all’utente il suo pensiero critico, la possibilità di discriminare i contenuti, chiedendosi cosa possa essere giusto o sbagliato, affine o meno, per fargli ritrovare la sua unicità in un universo di dati che appiattisce.
Le scatole nere: il Santo Graal dell’IA trasparente
La trasparenza riguarda la capacità umana di comprendere e controllare i processi decisionali degli algoritmi, ormai estensione dell’uomo stesso, e quindi fornisce un mezzo per tracciare il modo in cui tali algoritmi hanno prodotto una risposta, permettendo di ripeterne e riprodurne il “funzionamento”.
Il problema della tracciabilità di tali processi decisionali e, quindi, del modo in cui i dati vengono gestiti, manipolati e generati dalle intelligenze artificiali, è divenuto particolarmente incisivo in questi ultimi anni, in cui i modelli sono sempre più profondi e dipendenti da un ingente numero di parametri.
La configurazione finale di pesi, varianze, valenze e di tante altre caratteristiche statistiche alla base dell’addestramento e del funzionamento di tali modelli, è divenuto il Santo Graal delle AI, in quanto rappresenta una sorta di conoscenza posseduta dal modello di cui si perde traccia, e che non si può più giustificare, quasi ad essere una conoscenza iniziatica e segreta. E il dilemma delle “scatole nere” [1], inaccessibili, dal grande potere di risposta che a volte impressiona e spaventa.
In effetti, un sistema opaco, pone problemi di affidabilità, responsabilità e fiducia. Comprendere come un’AI giunge a una determinata conclusione è fondamentale, soprattutto quando le sue decisioni hanno un impatto significativo sulla vita delle persone, o trattano dati sensibili. È il caso degli strumenti di AI usati per diagnosi medica [2][3][4], o per la previsione del rischio nell’ambito delle attività assicurative [5], e in tante altre situazioni in cui affidarsi totalmente alle previsioni automatiche comporta un certo livello di compromissione [6].
Il passaggio da “scatole nere” a “scatole bianche” non è solo una questione tecnica, ma una sfida etica e culturale. Se vogliamo che le AI siano strumenti al servizio dell’uomo e non entità insondabili che decidono per noi, dobbiamo illuminarne i meccanismi, renderli comprensibili e controllabili. Solo così si può trasformare il timore in fiducia, il sospetto in consapevolezza. La trasparenza non è un lusso, ma una necessità: perché solo ciò che l’uomo può comprendere fino in fondo può davvero appartenergli.
Explainable AI e l’universalità della spiegazione
La ricerca sulla trasparenza delle AI, nota come XAI o Explainable AI [7], si muove quindi nella direzione di rendere questi sistemi interpretabili, e quindi poter monitorare il loro comportamento. Ma c’è un problema ulteriore di cui bisogna tener conto: la spiegazione non può essere sempre la stessa, per tutti gli utenti e le applicazioni [8]. Le spiegazioni devono essere costruite su una comprensione profonda e mirata dello scopo principale del sistema di AI, del profilo degli utenti che lo utilizzeranno e del contesto in cui verrà applicato. Solo attraverso questa consapevolezza è possibile stabilire con precisione se una spiegazione sia necessaria, perché debba essere fornita, cosa debba chiarire e quando debba essere presentata per massimizzare la sua comprensione e l’utilità.
Inoltre, è fondamentale riconoscere che non tutti gli utenti hanno le stesse esigenze: uno sviluppatore avrà bisogno di dettagli tecnici, un esperto del settore di una visione più analitica, mentre un utente non specializzato necessiterà di spiegazioni semplici e intuitive. Ignorare questa diversità significherebbe vanificare l’obiettivo stesso della XAI.
Strumenti e novità per la trasparenza dell’IA
I primi tentativi per “aprire le scatole nere” e rendere le AI spiegabili e tracciabili, si basarono sull’estrazione delle caratteristiche di input più rilevanti, in termini del loro contributo all’output [9][10][11], così da rendere interpretabili per gli utenti quali features in ingresso al modello avessero dato la spinta sostanziale alla generazione di una determinata uscita. Questi metodi hanno rappresentato un passo fondamentale verso una maggiore trasparenza, dimostrando che è possibile ottenere informazioni utili anche dai modelli più complessi.
Un aspetto fondamentale di tali metodi fu rappresentato dall’approccio visuale, che, nel tentativo di rendere meno ostico e più intuitivo il contributo di ciascun input, utilizzava metafore grafiche, come grafi a barre, nuvole di features, con colorazioni più o meno intense, per evidenziare il diverso peso del contributo di ciascuna caratteristica in ingresso.
Tuttavia, pur segnando un’importantissima linea di partenza, non risolsero la questione cruciale dell’universalità: tali spiegazioni sono davvero adatte allo scopo? Sono comprensibili e utili per gli utenti nel loro specifico contesto operativo? Questa domanda rimane aperta e rappresenta una delle principali sfide sulla trasparenza [12].
L’idea quindi di profilare la trasparenza, rendendola “più vicina” ad ogni particolare utente e contesto, ha reso evidente la necessità di rendere la trasparenza “uomo-centrica” [13], in contrapposizione alla prospettiva “data-centrica” del dataismo. L’esempio del metodo DoReMi [14] (analisi del Dominio, elicitazione dei Requisiti e progettazione di un’interazione Multimodale per la creazione di una libreria di design patterns di spiegazioni), enfatizza come sia possibile definire modelli di spiegazioni sulla base della conoscenza di dominio e dei requisiti, tendando di risolvere il problema della genericità nella generazione di spiegazioni.
Questa visione “uomo-centrica” potremmo altresì riscontrarla nei più attuali sistemi di AI, in particolare nel modello R1 di DeepSeek [15], il cui successo è dovuto alla sua strategia di ottimizzazione in fase d’uso. Tale strategia seleziona un sottoinsieme fra tutti i parametri da cui il modello dipende, e tale selezione dipende a sua volta dal contesto della richiesta e, quindi, dall’utenza. Un modo diverso di definire pattern di spiegazioni, se si pensa che si potrebbe combinare la selezione dei parametri del modello R1, profilata per il contesto, con la strategia pioneristica del peso di ogni input nella generazione dell’output. Il modello R1 potrebbe generare output più attinenti e sensibili al contesto, e con le metafore visuali dei primi metodi sulla trasparenza, si potrebbero evidenziare quali caratteristiche del contesto hanno orientato verso l’identificazione dello stesso contesto.
Il punto di forza di questa nuova frontiera, che sembra contrapporsi con evidente successo al più diffuso GPT-4 di OpenAI, è l’evidenza di performances notevolmente migliori nel campo logico-matematico, dove diviene più facile tracciare il processo di generazione dell’output, definito come processo di ragionamento. Non è un caso che immediatamente dopo, anche ChatGPT ha presentato ai suoi utenti un’idea di ragionamento, che svela, se l’utente lo desidera selezionando l’opzione opportuna, come il modello è arrivato alla conclusione prodotta. Figlio della nota Chain of Thoughts [16], ovvero della strategia della catena di pensiero per comprendere come si arriva a un risultato in ambito matematico, il ragionamento interno di DeepSeek sembra confermare che una forma di tracciamento dei passi sia la soluzione più promettente per garantire la trasparenza.
Il ragionamento svelato come nuova sfida per la trasparenza universale
L’idea del rendere accessibile il ragionamento interno dei modelli di AI sta dimostrando reali utilità nell’ambito della tracciabilità, e quindi della trasparenza. Rimane però aperta un’ulteriore questione. Quanto affidabili sono questi ragionamenti svelati dalle AI per giustificare la loro produzione? Se in effetti un processo matematico è dimostrabile attraverso la suddivisione dei suoi passi, e seguirlo e tracciarlo è spesso poco ambiguo, come si può affermare lo stesso su qualsiasi altro tipo di processo che coinvolga la produzione di contenuti multimediali o testo?
A questo proposito, si ritiene che non si può prescindere dalla conoscenza iniziale del contesto, e che il settaggio on-the-fly dei parametri del modello, inferendo al momento il contesto, come proposto dal modello R1, non sia la soluzione ottimale per una trasparenza universale. Non è un caso il ragionamento di tale modello sia ampiamente accettabile nel campo matematico e della programmazione. Tali domini sono infatti estesamente formalizzati e implicitamente posseduti da qualsiasi sistema di calcolo. Se si attribuissero a tali sistemi formalizzazioni simili su qualsiasi contesto, il successo dell’universalità del ragionamento potrebbe essere garantito.
Da questo punto di vista, si lavora da anni sul “discorso interno” delle AI [17], che si basa su un’esplorazione più profonda della conoscenza della stessa AI e della sua percezione del contesto, permettendo di raccogliere informazioni sulle alternative valutate. Im questa accezione, il discorso interno richiede una conoscenza pregressa del dominio, e in questo modo il sistema non si limita a fornire una risposta, ma riflette sul proprio processo decisionale in base alla conoscenza posseduta e a ciò che sta rilevando in quel momento, rendendo più comprensibili le sue scelte, manifestando anche abilità nella ponderazione di scelte e alternative, garantendo così robustezza nel concludere i compiti che le vengono affidati [18]. Tale robustezza è legata alla possibilità di maggiore successo nella produzione di un output o nello svolgimento di un compito, poiché ragionando sul contesto e acquisendo informazioni dalla conoscenza posseduta, il sistema può ponderare aspetti che altrimenti non avrebbe preso in considerazione, portandolo alla valutazione di più strade verso lo stesso obiettivo.
Questa prospettiva è ispirata ai processi cognitivi umani, in cui non si può ragionare su qualcosa che non si conosce già, e tutto ciò che non viene espressamente formalizzato in ragionamento è qualcosa di inconsapevole, dunque non accessibile nemmeno allo stesso uomo. Si spalancano le porte della coscienza artificiale, della possibilità che, ragionando sulla conoscenza posseduta e sulla percezione del momento, il sistema si rende consapevole di ciò che gli appartiene [19].
Riappropriarsi della centralità
Dopo aver conquistato la centralità del pensiero con l’Umanesimo, oggi si rischia di perderla silenziosamente, cedendola agli algoritmi. La loro influenza è pervasiva, sottile, spesso inconsapevole, eppure determina scelte, orienta decisioni, modella percezioni. Se non si riusciranno a comprendere i meccanismi con cui operano, si perde la capacità di esercitare un giudizio critico e di ragionare sulle informazioni che vengono fornite.
La trasparenza diventa quindi il cardine di questa nuova era. Un’intelligenza artificiale che agisce come una scatola nera, inaccessibile e indecifrabile, priva l’essere umano della possibilità di verificare, analizzare e, soprattutto, ragionare sulle decisioni che ne derivano. Senza trasparenza, l’AI rischia di divenire non uno strumento di supporto, ma un’entità che impone scelte, limitando l’autonomia di pensiero. Al contrario, un’AI trasparente, interpretabile e comprensibile, che ragiona, consente di sviluppare un rapporto di fiducia basato sulla consapevolezza, e non sulla cieca accettazione. La trasparenza è la chiave per trasformare questa rivoluzione cognitiva in un’opportunità: solo conoscendo le regole del gioco possiamo giocare da protagonisti, senza diventare pedine mosse da logiche opache. L’algoritmo deve essere uno strumento nelle nostre mani, non il nuovo depositario di verità nascoste.
Bibliografia
[1] Vilone G., Longo L. Notions of explainability and evaluation approaches for explainable artificial intelligence Inf. Fusion, 76 (2021), pp. 89-106
[2] Nie L., Wang M., Zhang L., Yan S., Zhang B., Chua T.-S.
Disease inference from health-related questions via sparse deep learning
IEEE Trans. Knowl. Data Eng., 27 (8) (2015), pp. 2107-2119
[3] Ali F., El-Sappagh S., Islam S.R., Kwak D., Ali A., Imran M., Kwak K.-S.
A smart healthcare monitoring system for heart disease prediction based on ensemble deep learning and feature fusion Inf. Fusion, 63 (2020), pp. 208-222
[4] Shen D., Wu G., Suk H.-I. Deep learning in medical image analysis Annu. Rev. Biomed. Eng., 19 (2017), pp. 221-248
[5] NIST Trustworthy and Responsible AI NIST AI 600-1 Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence, https://doi.org/10.6028/NIST.AI.600-1
[6] Matthews, G., Cumings, R., Casey, J., Panganiban, A.R., Chella, A., Pipitone, A., et al. (2024). Compromise in Human-Robot Collaboration for Threat Assessment. In Proceedings of the 68th HFES International Annual Meeting [10.1177/10711813241276449].
[7] R. Guidotti, A. Monreale, S. Ruggieri, F. Turini, F. Giannotti, D. Pedreschi
A survey of methods for explaining black box models ACM Comput. Surv. (CSUR), 51 (5) (2018), p. 93
[8] Burnett, Margaret. “Explaining AI: fairly? well?.” Proceedings of the 25th International Conference on Intelligent User Interfaces. 2020.
[9] Ribeiro, Marco Tulio, Sameer Singh, and Carlos Guestrin. “” Why should i trust you?” Explaining the predictions of any classifier.” Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining. 2016.
[10] DeepLIFT: Shrikumar, Avanti, Peyton Greenside, and Anshul Kundaje. “Learning important features through propagating activation differences.” arXiv preprint arXiv:1704.02685 (2017).
[11] Joseph D. Janizek, Pascal Sturmfels, Su-In Lee, Explaining Explanations: Axiomatic Feature Interactions for Deep Networks, arXiv:2002.04138 [cs.LG]
[12] Anjomshoae, Sule, et al. “Explainable agents and robots: Results from a systematic literature review.” 18th International Conference on Autonomous Agents and Multiagent Systems (AAMAS 2019), Montreal, Canada, May 13–17, 2019. International Foundation for Autonomous Agents and Multiagent Systems, 2019.
[13] Ehsan, U., & Riedl, M. O. (2020). Human-centered explainable ai: Towards a reflective sociotechnical approach. In HCI International 2020-Late Breaking Papers: Multimodality and Intelligence: 22nd HCI International Conference, HCII 2020, Copenhagen, Denmark, July 19–24, 2020, Proceedings 22 (pp. 449-466). Springer International Publishing.
[14] Tjeerd A.J. Schoonderwoerd, Wiard Jorritsma, Mark A. Neerincx, Karel van den Bosch, Human-centered XAI: Developing design patterns for explanations of clinical decision support systems, International Journal of Human-Computer Studies, Volume 154, 2021.
[15] DeepSeek-AI (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arXiv:2501.12948.
[16] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma, Brian Ichter, Fei Xia, Ed Chi, Quoc Le, Denny Zhou, Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. arXiv:2201.11903
[17] Chella A., Pipitone A. (2019). A cognitive architecture for inner speech. COGNITIVE SYSTEMS RESEARCH, 59, 287-292 [10.1016/j.cogsys.2019.09.010].
[18] Arianna Pipitone, Antonio Chella (2021). What robots want? Hearing the inner voice of a robot. ISCIENCE, 24(4) [10.1016/j.isci.2021.102371].
[19] Morin, Alain (2009). Inner speech and consciousness. In William P. Banks (ed.), Encyclopedia of Consciousness. Elsevier.
