Un anno fa nasceva il test pensato per essere troppo difficile per qualunque intelligenza artificiale. Nel frattempo quel test è stato pubblicato su Nature, i punteggi sono quintuplicati, e la domanda che si fanno i ricercatori non è tanto riferita a se e come i modelli riusciranno nell’esame, quanto al senso che tale esame possa avere oggi. La misura dell’intelligenza artificiale ha bisogno di un cambio di paradigma, più che di domande difficili.
Indice degli argomenti
Un esame nato per essere impossibile
Nel gennaio 2025, Dan Hendrycks, direttore del Center for AI Safety, e il team di Scale AI pubblicarono un benchmark con un nome che non lasciava spazio a equivoci: Humanity’s Last Exam. L’origine del progetto, secondo quanto riportato da diverse testate al momento del lancio, nasce da una conversazione con Elon Musk, convinto che i test allora in uso, MMLU su tutti, fossero diventati troppo semplici per i modelli più avanzati.
La risposta fu un esame di 2.500 domande, raccolte da quasi mille esperti provenienti da oltre cinquecento istituzioni in cinquanta paesi, messi in competizione per un monte premi di 500.000 dollari. Le domande coprivano discipline che vanno dalla traduzione di iscrizioni palmirene su tombe romane all’anatomia dei tendini sesamoidi dei colibrì, passando per la pronuncia tiberiana dell’ebraico biblico: un campionario deliberatamente concepito per non poter essere risolto con una semplice ricerca su internet.
Il meccanismo di selezione era brutale. Semplificando in modo estremo: se un modello rispondeva correttamente durante la fase di test, la domanda veniva scartata. Quello che restava era, per definizione, ciò che nessuna intelligenza artificiale sapeva ancora fare. Nel frattempo, a gennaio 2026, il progetto ha raggiunto un traguardo che pochi benchmark possono vantare: la pubblicazione sulla rivista Nature, con un team internazionale guidato anche dal giovane ricercatore vietnamita Phan Nguyen Hoang Long.
È il segnale che la comunità scientifica ha riconosciuto a questo esercizio uno status che va oltre la classifica tra laboratori: quello di strumento diagnostico per capire, sistematicamente, dove l’intelligenza artificiale non arriva ancora. Eppure, con l’incessante aumento di complessità dei modelli stessi, tutto questo potrebbe già essere, se non obsoleto, da rimettere in discussione.
I punteggi di Humanity’s Last Exam in un anno
Quando l’esame fu pubblicato, i risultati furono quasi imbarazzanti per chi in quei mesi parlava di intelligenza artificiale come di una tecnologia ormai prossima a eguagliare l’essere umano su ogni fronte. GPT-4o si fermò al 2,7%. Claude 3.5 Sonnet arrivò al 4,1%. Il modello o1 di OpenAI, presentato come una svolta nel ragionamento, toccò appena l’8%. Gli esperti umani, nei rispettivi domini di competenza, si attestano invece su risultati molto più alti.
Dodici mesi più tardi, il quadro è cambiato in modo sostanziale, ma non nella direzione che molti avrebbero previsto. Le classifiche più aggiornate, aggiornate a giugno 2026, mostrano Gemini 3.1 Pro Preview in testa con un punteggio del 46,44%, seguito da GPT-5.4 Pro al 44,32%. Pochi mesi prima, a inizio 2026, il podio era composto da Gemini 3 Pro Preview al 37,5%, Claude Opus 4.6 Thinking Max al 34,4% e GPT-5 Pro al 31,6%. Si tratta di una progressione impressionante in termini relativi, dal singolo cifra al quasi 50%, ma resta un dato che parla chiaro: anche il modello più capace fallisce ancora più della metà delle domande pensate apposta per essere irrisolvibili. Ma ha davvero senso interrogarsi su quella soglia percentuale? Può aver senso ragionare sull’emergere di un limite strutturale nel modo in cui misuriamo l’intelligenza dei modelli?
A proposito dell’esame: chi controlla il controllore?
C’è un secondo livello di complessità, meno raccontato del primo, ma altrettanto decisivo. Raccontiamolo con alcuni esempi. Già pochi mesi dopo l’uscita dell’esame in questione, il laboratorio FutureHouse, specializzato in agenti per la ricerca scientifica, aveva un’analisi che ne metteva in discussione l’affidabilità. Utilizzando il proprio sistema Crow, costruito sull’agente PaperQA2, il team verificò le 321 domande testuali di biologia e chimica contro la letteratura scientifica peer-reviewed. Il risultato: circa il 29% delle risposte ufficiali risultava in conflitto diretto con le evidenze pubblicate.
Un esempio diventato emblematico riguarda una domanda sul gas nobile più raro sulla Terra, alla quale la risposta attesa era “oganesson”, elemento sintetico esistito per pochi millisecondi in un reattore nucleare russo, di cui sono stati creati solamente cinque atomi: una scelta che diversi chimici contestano persino sul piano della definizione, non solo su quello del dato.
Scale AI rispose con la propria verifica interna, rivedendo il preprint del paper e correggendo la stima dell’errore al 18%, una cifra che gli autori hanno definito comunque coerente con il tasso di disaccordo tra esperti osservabile su altri benchmark di livello specialistico. Più recentemente, nel 2026, un lavoro accademico intitolato “HLE-Verified” ha riproposto la questione con un linguaggio ancora più diretto, segnalando che parte della performance misurata sui modelli potrebbe riflettere artefatti di annotazione piuttosto che reali differenze di capacità.
È la dimostrazione plastica di un paradosso che attraversa tutta la cultura dei benchmark contemporanei: costruiamo test sempre più difficili per gli algoritmi, ma la difficoltà aggiuntiva spesso non deriva dalla profondità del ragionamento richiesto, quanto dall’ambiguità o dall’errore nelle stesse domande. Insomma, può quasi sembrare una riunione di condominio, ma decisamente più complicata: quando i criteri diventano soggettivi, articolati, oggetto di confronto scientifico e approfondimento… la riunione potrebbe paradossalmente non avere troppo senso, poiché non porterebbe comunque a niente di sensato.
Perché i benchmark statici hanno il fiato corto
Gli stessi autori di Humanity’s Last Exam, in una nota ripresa da diversi osservatori accademici al momento della pubblicazione su Nature, hanno scritto che il progetto avrebbe idealmente dovuto rendersi obsoleto, costringendo la comunità scientifica a sviluppare paradigmi di valutazione radicalmente diversi. È un’ammissione importante, perché certifica dall’interno un’intuizione che da tempo circola tra chi studia la misurazione delle capacità dei modelli: il formato del benchmark statico, fatto di domande chiuse con una risposta univoca, sta esaurendo la propria capacità informativa.
Il motivo è strutturale. Un esame come HLE misura conoscenza specialistica cristallizzata: sapere tradurre il palmireno, riconoscere una struttura anatomica rara, ricostruire una regola fonologica. Sono competenze reali, ma distanti dal modo in cui un’intelligenza artificiale viene effettivamente impiegata oggi nel mondo del lavoro e della ricerca, dove il problema non è quasi mai rispondere a una domanda isolata e ben formulata, quanto sostenere un compito complesso, ambiguo, distribuito su più passaggi, per un tempo prolungato. Lo confermano indirettamente anche i lavori più recenti sulla saturazione dei benchmark tradizionali: già MMLU, che pochi anni fa rappresentava lo stato dell’arte, è oggi superato da quasi tutti i modelli di fascia alta con margini superiori al 90%, al punto da non distinguere più nulla. HLE ha allungato la vita di questo paradigma di un paio d’anni, ma il problema di fondo, misurare la conoscenza statica invece del comportamento nel tempo, resta identico.
Misurare il tempo, non solo la conoscenza
Mentre il dibattito sulla affidabilità di HLE proseguiva, un filone di ricerca alternativo guadagnava terreno con una proposta diversa nella sua impostazione di fondo. METR, organizzazione indipendente dedicata alla valutazione delle capacità autonome dei modelli, ha sviluppato una metrica chiamata “time horizon“: non quante domande un modello sa rispondere correttamente, ma quanto è lunga, misurata in tempo umano equivalente, l’attività che un agente AI riesce a portare a termine in autonomia con una probabilità di successo del 50%. Nel 2020 un primo agente costruito su GPT-3 faticava a sostenere il ritmo di pochi minuti di lavoro umano equivalente. Da quel momento, facendo un raffronto tra vari studi, si può stimare indicativamente il raddoppio di questo tempo ogni circa 7 mesi.
La differenza concettuale rispetto a un test come HLE è chiara. Non si misura quanto un modello sa, ma quanto a lungo riesce a restare coerente, produttivo e autonomo dentro un compito reale, di tipo ingegneristico o di ricerca, prima di smarrirsi o fallire. È una fotografia molto più vicina a quello che davvero conta quando un’azienda decide se affidare a un sistema AI un progetto che dura giorni o settimane, non minuti.
Un percorso simile sta emergendo anche su un altro fronte storicamente legato al ragionamento puro: ARC-AGI, ideato da François Chollet per misurare l’intelligenza fluida attraverso griglie di trasformazione visiva. Dopo che ARC-AGI-2 ha visto i punteggi salire fino al 68,8% nel 2026 (Claude Opus 4.6), il progetto ha già introdotto una terza versione, ARC-AGI-3, che abbandona del tutto il formato della domanda statica per trasformarsi in un ambiente di gioco interattivo, dove l’agente deve scoprire da solo obiettivi e regole esplorando lo spazio a disposizione.
Nella fase di anteprima, il miglior sistema artificiale ha raggiunto appena il 12,58% di efficienza nelle azioni, contro oltre 1.200 giocatori umani capaci di completare con successo la stragrande maggioranza delle partite proposte. È un segnale netto di dove si sta spostando l’attenzione di chi progetta strumenti di valutazione seri: dalla domanda con risposta univoca al comportamento adattivo dentro ambienti che nessuno ha preconfezionato per essere risolti in un colpo.
L’esame più interessante è quello che impariamo a non fare più?
Humanity’s Last Exam ha avuto un merito che resta intatto anche dentro le critiche che ha ricevuto: ha reso visibile, con numeri pubblici e verificabili, quanto fosse fragile l’idea che l’intelligenza artificiale fosse già prossima a eguagliare l’esperto umano su ogni fronte specialistico. Un anno dopo, però, l’oggetto più interessante da osservare non è più il punteggio che un modello ottiene su quelle 2.500 domande, quanto il modo in cui l’intera comunità scientifica ha iniziato a interrogarsi sulla legittimità del metodo stesso. Un esame pensato per essere l’ultimo, nel nome, sta paradossalmente accelerando la propria sostituzione.
Non è un fallimento. È, semmai, l’esito più sano che un benchmark possa avere: generare la consapevolezza che la propria architettura, fatta di domande chiuse e risposte univoche, racconta solo una fetta di quello che oggi chiamiamo capacità di un’intelligenza artificiale. La vera competizione, nei prossimi mesi, non sarà più sulla difficoltà delle domande da porre ai modelli, piuttosto sulla capacità di costruire l’ambiente fedele alla complessità del mondo reale, dentro il quale osservare, finalmente, non cosa un’AI sa, ma cosa un’AI riesce davvero a fare quando nessuno le ha preparato in anticipo la via di uscita.
Sitografia ad uso interno
• Wikipedia, “Humanity’s Last Exam” – https://en.wikipedia.org/wiki/Humanity’s_Last_Exam
• Center for AI Safety, Scale AI, HLE Contributors Consortium, “A benchmark of expert-level academic questions to assess AI capabilities”, Nature, 2026, DOI: 10.1038/s41586-025-09962-4
• VnExpress International, “Vietnamese engineer co-leads Nature paper introducing Humanity’s Last Exam for AI” – https://e.vnexpress.net/news/news/education/vietnamese-engineer-co-leads-nature-paper-introducing-humanity-s-last-exam-for-ai-5013275.html
• The Conversation, “AI is failing ‘Humanity’s Last Exam’. So what does that mean for machine intelligence” – https://theconversation.com/ai-is-failing-humanitys-last-exam-so-what-does-that-mean-for-machine-intelligence-274620
• FutureHouse, “About 30% of Humanity’s Last Exam Answers are Wrong” – https://www.futurehouse.org/research-announcements/hle-exam
• LessWrong, “About 30% of Humanity’s Last Exam chemistry/biology answers are likely wrong” – https://www.lesswrong.com/posts/JANqfGrMyBgcKtGgK/about-30-of-humanity-s-last-exam-chemistry-biology-answers
• arXiv, “HLE-Verified: A Systematic Verification and Structured Revision of Humanity’s Last Exam” – https://arxiv.org/pdf/2602.13964
• Wikipedia, tabella punteggi aggiornata (Gemini 3.1 Pro Preview, GPT-5.4 Pro, Claude Opus 4.6) – https://en.wikipedia.org/wiki/Humanity’s_Last_Exam
• IntuitionLabs, “Humanity’s Last Exam: The AI Benchmark for LLM Reasoning” – https://intuitionlabs.ai/articles/humanitys-last-exam-ai-benchmark
• METR, “Time Horizon 1.1” – https://metr.org/blog/2026-1-29-time-horizon-1-1/
• METR, “Task-Completion Time Horizons of Frontier AI Models” – https://metr.org/time-horizons/
• arXiv, “ARC-AGI-2: A New Challenge for Frontier AI Reasoning Systems” – https://arxiv.org/abs/2505.11831
• arXiv, “The ARC of Progress towards AGI: A Living Survey of Abstraction and Reasoning” – https://arxiv.org/html/2603.13372v1
• AI Wiki, “Humanity’s Last Exam” – https://aiwiki.ai/wiki/humanity_s_last_exam
Partecipa alla community