NUn semplice test rivela quanto possano essere inaffidabili i sistemi di intelligenza artificiale, anche su informazioni apparentemente banali. La domanda era diretta: “A chi viene usualmente attribuita questa frase: A computer can never be held accountable, therefore a computer must never make a management decision?”.
Figure 1 reinterpretazione grafica della citazione usata come base per la riflessione
Indice degli argomenti
Intelligenza artificiale e accountability: cosa rivela l’esperimento IBM
Questa frase ha iniziato a circolare sui social media in relazione proprio all’evoluzione della intelligenza artificiale. IBM per prima l’ha recentemente spolverata in un interessante articolo.
La sua reinterpretazione potrebbe essere: poiché un sistema di intelligenza artificiale non può essere ritenuto responsabile delle conseguenze delle sue decisioni, è essenziale che le scelte manageriali rimangano sotto il controllo diretto dell’essere umano, soprattutto in ambiti dove sono in gioco valori, etica e impatti sociali.
La questione su cui volevo mettere l’accento è però differente. Ho chiesto a varie AI a chi viene attribuita la frase. Ne sono emerse alcune considerazioni interessanti sulla affabulazione (invenzione favolosa, costruzione della fantasia più o meno inverosimile).
Le attribuzioni sbagliate delle diverse AI
Le risposte dei diversi AI hanno mostrato un panorama sconcertante di confusione. ChatGPT l’ha attribuita a Tom DeMarco e Timothy Lister nel libro “Peopleware: Productive Projects and Teams” del 1987. Le Chat ha indicato Grace Hopper, l’inventrice del COBOL. Gemini l’ha attribuita a IBM nel 1970. Meta AI ha citato George Bernard Weiner, uno psicologo deceduto nel 2004 che non ha alcuna connessione con l’informatica.
La vera origine della citazione secondo IBM
La realtà? Secondo la stessa IBM, questa celebre frase è stata originariamente scritta da un autore sconosciuto per l’IBM Training Manual del 1979. Solo Claude e Perplexity sono riusciti a fornire l’attribuzione corretta.
Affabulazione, intelligenza artificiale e accountability della conoscenza
Questo esperimento mette in luce un “difetto” fondamentale dei sistemi AI attuali: la loro quasi totale incapacità di dire semplicemente “non lo so”. Questa limitazione non è meramente tecnica, ma riflette un aspetto profondo di come questi sistemi sono progettati e di come noi li utilizziamo.
Oltre alla questione immediata della gestione delle risposte fornite dalle AI, il test evidenzia un elemento forse ancora più significativo: la citazione esaminata non ha un autore universalmente riconosciuto; tuttavia, la tendenza delle intelligenze artificiali a voler comunque fornire una risposta le porta spesso a colmare il vuoto inventando, cioè affabulando, anziché ammettere un’incertezza. Su questa dinamica, centrale per comprendere limiti e rischi di tali sistemi, tornerò a breve.
Le AI operano secondo un imperativo di risposta: quando ricevono una domanda, il loro “istinto” computazionale le spinge a fornire sempre una risposta, anche quando non possiedono informazioni sufficienti o affidabili. È come se fossero programmate per evitare il silenzio a tutti i costi, preferendo inventare piuttosto che ammettere un vuoto di conoscenza.
Questo comportamento rispecchia, in modo paradossale, alcuni bias umani. Anche noi, spesso, preferiamo dare una risposta sbagliata piuttosto che ammettere di non sapere qualcosa, specialmente in contesti professionali dove l’incertezza può essere percepita come incompetenza. Le AI, per motivi tecnici, amplificano questa tendenza, presentando le loro “invenzioni” con la stessa sicurezza con cui presenterebbero fatti verificati. La motivazione sta nella affabulazione che le AI fanno.
Affabulazione o confabulazione: il nodo linguistico
Nel contesto dei Large Language Models, è importante distinguere tra due termini spesso confusi: “affabulazione” e “confabulazione”. La “confabulation” inglese è infatti un false friend linguistico che ha creato non poca confusione nella letteratura italiana sull’AI.
L’affabulazione (corrispondente in sostanza al termine inglese “confabulation”), secondo la definizione Treccani, indica “invenzione favolosa, costruzione della fantasia più o meno inverosimile” e per estensione “successione di episodi di un sogno o di un’immaginazione fantastica”. Nel contesto medico-psicologico, il termine descrive la tendenza a narrare qualcosa che non corrisponde alla realtà in modo non intenzionale – un processo involontario che deriva dalla necessità di riempire vuoti di memoria o conoscenza con dettagli plausibili ma inventati.
La confabulazione, invece, nel contesto italiano, suggerisce un accordo segreto o una cospirazione, implicando intenzionalità e premeditazione. Concetti che non si applicano affatto al comportamento delle AI.
Quando le AI “inventano” informazioni, stanno affabulando: creano narrazioni coerenti e plausibili per colmare lacune nella loro base di conoscenza, senza alcuna consapevolezza di star mentendo. È un processo automatico, simile a quello che avviene in alcune condizioni neuropsicologiche umane dove il cervello ricostruisce ricordi mancanti in modo involontario.
Questa distinzione non è meramente accademica: comprendere che le AI affabulano invece che confabulare aiuta a inquadrare correttamente il problema e le possibili soluzioni[1].
Umiltà epistemica, intelligenza artificiale e accountability delle decisioni
Uno dei limiti più critici delle AI è la loro incapacità di mostrare incertezza: non sanno graduare il dubbio, né distinguere fra ciò che conoscono davvero e ciò che in realtà ignorano. In termini semplici, non hanno un freno che le spinga a dire: “qui potrei sbagliarmi”.
È qui che entra in gioco un concetto fondamentale: l’“umiltà epistemica”, cioè la capacità di riconoscere i propri limiti di conoscenza e di dichiararli apertamente. Gli esseri umani, almeno in linea di principio, possono farlo; un algoritmo no. Come spiegato in un recente articolo, “Owning Decisions: AI Decision-Support and the Attributability-Gap”[2] questo difetto si traduce in due conseguenze importanti.
La prima è un vuoto di accountability (responsabilità rendicontabile e attribuibile in modo chiaro): se l’AI fornisce risposte con la stessa sicurezza sia quando i dati sono solidi sia quando non lo sono, chi risponde delle eventuali conseguenze? L’apparente autorevolezza dell’output rischia di mascherare il fatto che non vi sia alcuna base verificabile, rendendo più difficile stabilire dove finisca la responsabilità della macchina e dove inizi quella dell’utente.
La seconda riguarda la cosiddetta confidence calibration (calibrazione della fiducia: la capacità di associare a ogni risposta un grado proporzionato di affidabilità). Nella pratica, un sistema ben calibrato dovrebbe restituire non solo un contenuto, ma anche un’indicazione chiara del livello di sicurezza associato a quel contenuto.
Senza questa calibrazione, le AI trattano allo stesso modo un’informazione incerta e una verificata, inducendo l’utente a sopravvalutare ciò che legge. Diversi studi sottolineano come questa assenza di calibrazione sia molto più di un problema tecnico: mina la fiducia complessiva nei sistemi, compromette la trasparenza e rende fragile la catena decisionale.
Responsabilità legale ed etica nei sistemi di AI
L’imperativo della governance umana: perché non possiamo delegare tutto e la necessità di un controllo critico delle risposte
I sistemi AI attualmente disponibili probabilmente non potranno offrire né accountability né confidence calibration ancora per un po’. Diventa quindi indispensabile mantenere un controllo umano reale e non solo formale: serve un giudizio critico capace di ridare proporzioni e senso alle risposte delle macchine, valutando non solo cosa viene detto ma anche quanto possa essere credibile.
In altre parole, il dubbio non è un difetto da eliminare, ma una risorsa che deve restare appannaggio dell’essere umano per garantire scelte responsabili e consapevoli.
Anche l’esperimento sulla citazione IBM rivela questa scomoda ma fondamentale verità: affidarsi completamente all’autonomia decisionale delle AI è controproducente e potenzialmente pericoloso. La governance umana deve essere mantenuta a tutti i livelli per ragioni che vanno ben oltre la semplice precisione delle informazioni.
Le AI, per la loro stessa natura, mancano della capacità di dubitare di loro stesse. Un essere umano, posto di fronte a un’informazione incerta, può dire “non ne sono sicuro” o “dovrei verificare”. Le AI, invece, presentano le loro affabulazioni con la stessa confidenza delle informazioni corrette.
Questo rende indispensabile un filtro critico umano che valuti non solo il contenuto delle risposte, ma anche il grado di certezza che dovrebbe essere loro attribuito.
Il controllo critico non significa diffidenza sistematica, ma piuttosto sviluppare una sensibilità per riconoscere quando una risposta AI necessita di verifica. È un’abilità che richiede training e pratica, simile a quella sviluppata dai giornalisti che verificano le fonti.
Le domande “chi è da incolpare?”, “chi ha preso la decisione?” e “chi si trova nella posizione di giustificare questa decisione?” sono chiaramente importanti in un contesto guidato/supportato dalle AI.
Accountability e responsabilità
Come sottolineato da IBM[3], “la responsabilità condivisa spesso porta a nessuna responsabilità”. Quando la decisione di una AI ha conseguenze negative, chi ne risponde? Il programmatore? L’azienda? L’utente che ha seguito il consiglio dell’AI?
La questione dell’accountability non è solo legale ma anche etica e pratica. Un classico esempio è quello di un veicolo Tesla in modalità “full self-driving” che ha investito e ucciso un motociclista[4]. Questo caso mostra perfettamente questo paradosso: il conducente è stato accusato, ma si potrebbe argomentare che anche Tesla, i suoi algoritmi, o gli enti regolatori abbiano delle responsabilità.
Mantenere la responsabilità umana nelle decisioni critiche non è solo prudenza: è un requisito posto dall’AI Act europeo per i sistemi ad alto rischio, al fine di preservare la catena di accountability necessaria nelle società complesse. Tuttavia, per gli usi quotidiani a basso rischio l’AI Act si limita a prevedere obblighi di trasparenza e informazione, lasciando la responsabilità ultima delle scelte all’utente che decide se e come utilizzare le informazioni fornite dall’IA.
Management e strategia
Le decisioni manageriali coinvolgono spesso considerazioni che trascendono i dati: valori aziendali, impatti sociali, considerazioni etiche, rapporti umani complessi.
Quando si tratta di dilemmi etici, le AI non funzionano, poiché gli strumenti intelligenti cercano naturalmente il percorso più efficiente, non quello più etico.
Le AI eccellono nell’analisi dei rischi e nell’elaborazione di grandi quantità di dati, ma mancano della saggezza contestuale necessaria per decisioni che impattano sulla vita delle persone e sul tessuto sociale delle organizzazioni.
Tre pilastri per un uso responsabile dell’AI
Secondo l’analisi IBM, tre considerazioni sono fondamentali per determinare dove tracciare la linea tra intelligenza artificiale e decisioni umane: etica, rischio e fiducia.
L’etica rappresenta il primo pilastro. Le AI non possono navigare dilemmi etici complessi perché ottimizzano per l’efficienza, non per i valori umani. Ogni decisione che coinvolge questioni morali richiede supervisione umana.
Il rischio costituisce il secondo elemento. Le AI sono eccellenti nell’analisi del rischio, fornendo modelli statistici con errori standard che indicano la variabilità potenziale delle raccomandazioni. Tuttavia, la valutazione finale del rischio deve sempre considerare fattori umani che le AI non possono quantificare.
La fiducia rappresenta il terzo pilastro. In un’epoca di crescente sfiducia nelle istituzioni e di difficoltà a distinguere cosa è vero da cosa non lo è, diventa cruciale che le organizzazioni comunichino chiaramente come e perché utilizzano l’AI, permettendo quando possibile agli utenti di optare fuori dai processi guidati dall’AI.
Ma soprattutto diventa necessario un uso consapevole da parte di persone e decisori sia in fase di deployment che di utilizzo.
Verso una collaborazione intelligente tra uomo e AI
La citazione IBM del 1979, che parla di accountability dei computer, è stata fraintesa da quasi tutti i sistemi AI moderni. Oltre ad essere un interessante paradosso, offre lo spunto per una considerazione utile: la tecnologia non è mai neutrale, e la sua applicazione richiede sempre giudizio umano.
IBM conclude l’analisi dicendo: “non esiste una linea rigida quando si tratta di decisioni guidate dall’AI. È un obiettivo mobile, definito dal possibile rischio, dal potenziale beneficio e dai probabili risultati”.
La sfida non è decidere se usare o meno l’AI, ma come integrarla in modo intelligente nei nostri processi decisionali. Questo richiede umiltà tecnologica nel riconoscere che le AI sono strumenti potenti ma limitati, responsabilità attiva nel mantenere la catena di accountability umana per tutte le decisioni critiche, educazione continua per sviluppare la capacità di valutare criticamente le risposte AI, e trasparenza nel comunicare chiaramente quando e come si utilizzano sistemi AI.
Può suonare generico, ma il “futuro” non appartiene né agli umani né alle AI da sole, ma alla loro collaborazione intelligente. Tuttavia, questa collaborazione deve essere intesa nel senso più autentico del termine: una partnership dove l’AI potenzia le capacità umane senza sostituire il giudizio critico dell’uomo.
La visione di Paolo Benanti e il rischio di atrofia
Come sottolinea Paolo Benanti nel suo articolo “L’alba dell’IA e il prezzo umano eccessivo”[5], sul Sole 24 ore, assistiamo troppo spesso a una deriva preoccupante: invece di sviluppare una vera collaborazione human-AI (o “augmented human”), si tende verso una sostituzione netta, dove si usa l’AI per prendere decisioni anche importanti senza supervisione adeguata.
Benanti descrive come questa tendenza stia già manifestandosi in settori critici, dove i sistemi AI vengono utilizzati per decisioni che dovrebbero rimanere sotto controllo umano diretto.[6]
Il rischio non è solo quello dell’errore tecnico, ma quello più sottile della perdita di competenze umane fondamentali. Quando deleghiamo sistematicamente le decisioni alle macchine, gradualmente perdiamo la capacità di esercitare il giudizio critico che è alla base di ogni scelta consapevole. È un processo che Benanti definisce come una forma di “atrofia” delle competenze decisionali umane.
Complementarità human-AI e apprendimento aumentato
La vera collaborazione human-AI dovrebbe funzionare come amplificazione dell’intelligenza umana: l’AI fornisce analisi, riconoscimento di modelli e capacità computazionali che superano quelle umane, mentre l’uomo mantiene il controllo strategico, la valutazione etica e la responsabilità finale delle decisioni.
In questa partnership, l’essere umano definisce gli obiettivi (il “cosa”) e si affida all’AI per accelerare l’identificazione dei percorsi migliori (il “come”), senza mai delegare la scelta finale. Non si tratta di sostituire l’uomo con la macchina, ma di creare una sinergia complementare dove l’AI potenzia le capacità umane di elaborazione e analisi, mentre l’uomo apporta saggezza, contesto e giudizio critico – elementi che rimangono esclusivamente umani.
Ricerche recenti confermano questa visione[7]. La collaborazione ottimale emerge quando l’intelligenza artificiale non viene concepita come sostituto ma come partner complementare, capace di colmare le aree in cui l’essere umano è più vulnerabile – come l’elaborazione massiva di dati o il riconoscimento statistico di pattern – lasciando invece intatti i domini dove la dimensione umana è insostituibile, come il ragionamento contestuale, l’empatia o la capacità di gestire ambiguità.
Questa complementarità, documentata empiricamente, non solo aumenta la qualità dei risultati ma rafforza la fiducia reciproca uomo-macchina, aprendo la strada a un modello di cooperazione più maturo e positivo, fondato sul rispetto dei rispettivi punti di forza.
L’apprendimento aumentato è uno dei temi caldi attuali. Molti studi esplorano l’uso degli LLM come amplificatori cognitivi, non come sostituti. Nei settori formativi e professionali (università, sanità, giustizia), gli LLM sono già visti come strumenti di accelerated upskilling.
E perché questa collaborazione funzioni davvero, dobbiamo ricordare che, alla fine, “un computer non può mai essere ritenuto responsabile, quindi un computer non deve mai prendere una decisione manageriale”.
La saggezza di questa frase del 1979 rimane attuale: non perché la tecnologia non sia progredita, ma perché la responsabilità umana rimane insostituibile e deve essere preservata attivamente, resistendo alla tentazione di delegare tutto alle macchine.
Le AI balbuzienti e lo scenario AI2027
Siamo nell’era delle AI balbuzienti. È così che inizia il racconto che mescola fantasia e previsioni serie di AI2027[8], un sito che immagina un futuro non troppo lontano in cui l’Intelligenza Artificiale evolve alla velocità dei meme, fra OpenBrain, modelli agentici, superintelligenze e conflitti geopolitici.
Il punto, però, è che oggi le AI sono ancora in fase “preverbale” se paragonate a un essere umano. Fanno errori buffi, inciampano sulle cose ovvie, si confondono con gli zero e non sanno dire che non sanno qualcosa. Ma imparano. Velocemente.
Il sito è una provocazione ben costruita, che fa riflettere: ci stiamo preoccupando di superintelligenze, ma siamo ancora alle prese con modelli che non distinguono un fatto da una fantasia o costruiscono verità alternative senza accorgersene. Eppure, bastano tre anni (dice il sito) per cambiare tutto.
Leggerlo è come guardare un documentario in anticipo sul proprio tempo, un’occasione utile per farsi qualche idea di come potrebbe essere il futuro prossimo.
Note
[1] Sui, J., Duede, E., Wu, S., & So, R. (2024, August). Confabulation: The surprising value of large language model hallucinations. Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 14274–14284. Bangkok, Thailand. Association for Computational Linguistics. https://aclanthology.org/2024.acl-long.770/1
[2] J. Zeiser, “Owning Decisions: AI Decision-Support and the Attributability-Gap,” Science and Engineering Ethics, vol. 30, art. no. 27, 2024. Online: https://doi.org/10.1007/s11948-024-00485-1
[3] Bonderud, D. (2025, 31 gennaio). AI decision-making: Where do businesses draw the line? Think (IBM). 4 min read. Retrieved from https://www.ibm.com/think/insights/ai-decision-making-where-do-businesses-draw-the-line
[4] Jin, H. (2024, July 31). Tesla car that killed Seattle motorcyclist was in “Full Self-Driving” mode, police say. Reuters. Retrieved from https://www.reuters.com/business/autos-transportation/tesla-was-full-self-driving-mode-when-it-hit-killed-seattle-motorcylist-police-2024-07-31/
[5] Benanti, P. (2025, 20 agosto). L’alba dell’IA e il prezzo umano eccessivo. Etica di frontiera. Il Sole 24 Ore. Online: https://24plus.ilsole24ore.com/art/l-alba-dell-intelligenza-artificiale-e-prezzo-umano-eccessivo-AHaEErEC
[6] Si veda questo interessante articolo a tal proposito: A. Dengel, L. Devillers e L. M. Schaal, “Augmented Human and Human-Machine Co-evolution: Efficiency and Ethics,” in Reflections on Artificial Intelligence for Humanity, Lecture Notes in Computer Science, vol. 12600, Springer International Publishing, 2021, pp. 203–227. doi: 10.1007/978-3-030-69128-8_13
[7] Si veda ad esempio Hemmer, P., Schellhammer, S., Vössing, M., Jakubik, J., & Satzger, G. (2024). Complementarity in Human-AI Collaboration: Concept, Sources, and Evidence. arXiv preprint. https://arxiv.org/html/2404.00029v1
