A oltre due anni dal debutto di ChatGPT, i sistemi di intelligenza artificiale sono diventati strumenti onnipresenti per scrivere testi, programmare codice e automatizzare compiti. Ma l’aumento dell’affidabilità promessa da aziende come OpenAI, Google e DeepSeek sembra essersi fermato.
I nuovi modelli AI, più sofisticati e capaci di “ragionare”, stanno commettendo errori a tassi mai visti prima. Le cause sono ancora sconosciute, e le allucinazioni informatiche rischiano di minare la fiducia nel loro impiego in ambiti sensibili come giustizia e medicina oltre a quelli più legati al business.
Indice degli argomenti
AI sempre più potente, ma anche sempre più imprecisa
Nel marzo 2025, un bot AI impiegato dal servizio clienti di Cursor, una piattaforma in rapida ascesa pensata per facilitare il lavoro degli sviluppatori software, ha diffuso per errore una comunicazione a diversi utenti affermando che da quel momento in poi, l’uso del servizio sarebbe stato limitato a un solo computer per utente. Una restrizione mai esistita. La reazione degli utenti non si è fatta attendere: tra lamentele sui forum e cancellazioni di account, il malcontento si è diffuso rapidamente. Solo in un secondo momento il CEO dell’azienda, Michael Truell, è intervenuto pubblicamente su Reddit per smentire la notizia, chiarendo che si era trattato di una comunicazione errata prodotta da un bot di supporto basato su AI.
Questo episodio, apparentemente circoscritto, in realtà evidenzia un problema di portata ben più ampia: l’aumento della frequenza con cui i sistemi di intelligenza artificiale generano risposte imprecise o totalmente inventate, un fenomeno noto come hallucination.
A preoccupare è il fatto che i modelli di AI più avanzati e recenti, in particolare quelli sviluppati per compiere operazioni di ragionamento complesso, sembrano più inclini a questo tipo di errore rispetto ai loro predecessori.
Tra i casi più significativi figurano modelli come o3 e o4-mini di OpenAI, R1 di DeepSeek e diversi sistemi in fase avanzata di sviluppo da parte di Google. OpenAI ha recentemente reso pubblici i risultati di alcuni test interni, tra cui il benchmark PersonQA, utilizzato per valutare la capacità dei modelli di rispondere correttamente a domande su figure pubbliche. I dati parlano chiaro: il modello o3 ha generato informazioni false nel 33% delle risposte, o4-mini nel 48%, mentre il sistema precedente, o1, si attestava su un più contenuto 15%. Il divario si amplia ulteriormente nel benchmark SimpleQA, che misura la correttezza delle risposte a domande generiche: in questo caso, le allucinazioni sono state rilevate nel 51% delle risposte di o3 e addirittura nel 79% di o4-mini, contro il 44% di o1. Questi dati, provenienti direttamente da OpenAI, mettono in discussione l’assunto secondo cui l’aumento della potenza computazionale e della complessità dei modelli porti necessariamente a una maggiore affidabilità delle risposte. Al contrario, sembrano suggerire che, almeno per ora, l’ambizione di rendere l’AI più “intelligente” comporti anche un prezzo in termini di coerenza e aderenza ai fatti.
Cosa sono le allucinazioni AI
Le AI generative si basano su modelli matematici probabilistici, non su un sistema di regole definite da esseri umani. “Indovinano” la risposta più probabile, senza sapere se sia vera o falsa. Per questo, possono “inventare” dati e informazioni. Il fenomeno è noto come hallucination, su cui anche OpenAI ammette di non avere pieno controllo: “Nonostante gli sforzi, questi sistemi allucineranno sempre”, afferma Amr Awadallah, CEO di Vectara ed ex dirigente Google . Secondo la ricercatrice Hannaneh Hajishirzi (University of Washington), anche se è stato sviluppato un metodo per tracciare il comportamento delle AI fino ai dati di addestramento originali, il volume e la complessità rendono impossibile spiegare completamente i risultati errati https://allenai.org/blog/olmotrace.
Quando gli errori fanno danni
Ci sono errori che fanno sorridere, come quando un chatbot consiglia una maratona a Philadelphia a chi chiedeva un evento sulla West Coast. Ma ci sono altri errori che hanno implicazioni molto più gravi.
Nel momento in cui le tecnologie di intelligenza artificiale vengono adottate per attività ad alto impatto informativo, come la redazione di documenti legali, la diagnosi medica, la pianificazione finanziaria o l’elaborazione di policy pubbliche, anche una singola risposta errata o un’informazione inventata può avere conseguenze critiche. In questi contesti, la fiducia non è un accessorio, ma una condizione necessaria.
Le allucinazioni delle AI, ossia la generazione di contenuti falsi o fuorvianti con tono assertivo e verosimile, mettono in discussione la possibilità stessa di affidarsi a questi strumenti per decisioni che richiedono rigore, accuratezza e responsabilità. Il rischio, come avverte Pratik Verma, CEO della start-up Okahu, non è solo quello di prendere decisioni errate, ma di sprecare tempo e risorse nel tentativo di distinguere ciò che è corretto da ciò che non lo è: “Passi troppo tempo a capire quali risposte siano affidabili. Questo annulla il valore dell’AI stessa, che dovrebbe semplificarti il lavoro”.
Il paradosso è evidente: strumenti progettati per aumentare l’efficienza rischiano di rallentare i processi decisionali quando non sono accompagnati da solidi meccanismi di verifica. In assenza di tali strumenti di controllo, siano essi algoritmici o umani, l’impiego della AI in settori sensibili finisce per richiedere un lavoro supplementare di supervisione, che contraddice la promessa iniziale di risparmio e semplificazione. Inoltre, l’errore prodotto da una macchina viene spesso percepito in modo diverso rispetto a quello umano, si carica di un’aura di oggettività che può trarre in inganno chi non è adeguatamente formato o preparato a distinguere la fonte e la natura dell’informazione. Quando l’AI. sbaglia in contesti critici, non si tratta solo di un difetto tecnico, ma di un problema culturale e organizzativo. È necessario che le aziende, le istituzioni e gli sviluppatori riconoscano questa vulnerabilità strutturale e investano in formazione, supervisione e trasparenza. Solo così sarà possibile trasformare questi strumenti da potenziali fonti di errore sistemico in alleati affidabili per l’innovazione.
Il limite dell’apprendimento per rinforzo
Dopo aver esaurito quasi tutte le risorse testuali in lingua inglese disponibili pubblicamente sul web, le principali aziende del settore AI hanno dovuto adottare nuove strategie per continuare a migliorare le performance dei loro modelli. Tra queste, l’apprendimento per rinforzo o reinforcement learning si sta affermando come una delle tecniche più promettenti, sebbene con risultati contrastanti. Questo metodo consente ai modelli di apprendere attraverso l’esperienza: premiando le risposte corrette e penalizzando quelle errate, si mira a raffinare il comportamento del sistema nel tempo.
La logica del trial-and-error si rivela efficace soprattutto in ambiti altamente strutturati, come la risoluzione di problemi matematici o la scrittura di codice, mentre mostra evidenti limiti quando viene applicata a compiti più aperti, sfumati e contestuali, come la generazione di testi coerenti o l’analisi semantica complessa. Uno dei rischi associati a questo approccio è la tendenza dei modelli a specializzarsi eccessivamente.
Come ha spiegato la ricercatrice Laura Perez-Beltrachini dell’Università di Edimburgo, un sistema che viene addestrato intensamente su una determinata funzione finisce per “dimenticarne” altre, riducendo la sua flessibilità e compromettendo la qualità delle risposte in contesti non direttamente collegati al compito originario. Questo fenomeno, noto anche come catastrophic forgetting, rappresenta una sfida tecnica rilevante per lo sviluppo di AI generaliste realmente affidabili . A peggiorare il quadro vi è un altro aspetto cruciale: i modelli di ragionamento più recenti, progettati per affrontare problemi in modo sequenziale, sono particolarmente vulnerabili all’accumulo di errori. Ogni fase del processo di ragionamento può introdurre una distorsione o una deviazione dalla verità, che tende ad amplificarsi nelle fasi successive. La trasparenza promessa da questi sistemi, che mostrano passo dopo passo la logica seguita per giungere a una conclusione, spesso si rivela solo apparente.
Secondo Aryo Pradipta Gema, ricercatore all’Università di Edimburgo e fellow presso Anthropic, ciò che il sistema “dice” di pensare non coincide necessariamente con i calcoli effettivamente compiuti al suo interno. Questo scollamento tra il ragionamento mostrato e quello realmente eseguito rende particolarmente difficile la verifica, tanto da minare la fiducia nell’affidabilità del sistema anche per utenti esperti. In sintesi, mentre l’apprendimento per rinforzo apre nuove strade per l’evoluzione dell’AI, i suoi limiti nel trattamento delle informazioni testuali e nei modelli complessi di ragionamento dimostrano che la ricerca di una vera intelligenza artificiale affidabile è ancora in corso e ben lontana dall’essere risolta.
Il paradosso dell’IA: più potenza meno affidabilità
La traiettoria attuale dello sviluppo dell’intelligenza artificiale, guidata da attori come OpenAI, Google, Anthropic e DeepSeek, mostra chiaramente un paradosso, mentre aumenta la sofisticazione dei modelli linguistici e delle loro capacità di ragionamento, diminuisce la nostra capacità di comprenderli e controllarli. L’ambizione di creare sistemi in grado di elaborare pensieri complessi e svolgere compiti sempre più articolati ha condotto alla nascita di modelli che producono risultati sorprendenti, ma anche imprevedibili. In questo scenario, l’errore non è più un’eccezione, ma una componente sistemica e strutturale.
Le cosiddette “hallucinations” non rappresentano soltanto una fastidiosa imperfezione tecnica. Sono il sintomo di una fragilità epistemologica profonda.
Questi sistemi, per quanto avanzati, non hanno consapevolezza del vero o del falso, né possiedono strumenti per verificare autonomamente la correttezza delle informazioni che generano. Si tratta di macchine statistiche che operano su base probabilistica, e che quindi, per loro natura, sono inclini a generare affermazioni errate con un grado variabile di verosimiglianza.
Questa imprevedibilità rende particolarmente rischioso l’uso delle AI in contesti ad alta criticità informativa. In ambito legale, medico, finanziario o educativo, un errore non è soltanto una disfunzione tecnica, può tradursi in decisioni sbagliate, danni reputazionali, conseguenze giuridiche o perfino pericoli per la salute pubblica. In assenza di validi meccanismi di controllo e verifica, anche i sistemi più potenti rischiano di rivelarsi inaffidabili proprio dove più servirebbe la certezza.
Il progresso dell’intelligenza artificiale non può dunque essere misurato soltanto in termini di performance computazionale. Serve una riflessione più profonda sul concetto di affidabilità, che va inteso non come promessa di infallibilità, ma come capacità di fornire risposte verificabili, trasparenti e contestualizzabili. Fino a quando questa dimensione non verrà pienamente integrata nei processi di progettazione e impiego dei modelli AI, la fiducia degli utenti, siano essi consumatori, professionisti o istituzioni, rimarrà fragile e con essa l’effettiva utilità di queste tecnologie in ambiti realmente strategici.
