Tutti noi, chi con maggior frequenza, chi più raramente (e inconsapevolmente), utilizziamo strumenti alimentati da Intelligenza Artificiale. D’altronde, è difficile farne a meno al giorno d’oggi. Ma come funziona davvero un’Intelligenza Artificiale che scrive testi, risolve problemi, crea poesie o risponde alle domande come se fosse un essere umano?
Per la prima volta, un team di ricercatori della startup statunitense Anthropic ha trovato un modo per “guardare dentro” questi modelli e seguirne passo dopo passo il ragionamento. I risultati? Inaspettati, affascinanti… e un po’ inquietanti. Anthropic, una delle aziende leader nel campo dell’Intelligenza Artificiale, ha appena pubblicato due studi[1] destinati a far discutere. L’obiettivo è quello di capire come ragiona un modello linguistico di ultima generazione. Nello specifico parliamo di Claude 3.5 Haiku, uno dei modelli di Intelligenza Artificiale più avanzati al mondo.
Indice degli argomenti
Circuit tracing: osservare i grandi modelli linguistici in azione
L’approccio di Anthropic si chiama “circuit tracing”, una tecnica che consente di osservare, in tempo reale, le parti del modello che si attivano durante l’elaborazione di un testo o la risoluzione di un problema. In pratica, come fare una TAC al cervello di una macchina mentre “pensa”.
Joshua Batson, uno dei ricercatori di Anthropic, ha dichiarato che il circuit training funziona come un microscopio per esplorare l’interno di un modello linguistico, così da poter vedere cosa succede quando la macchina legge una frase, formula una risposta o decide quale parola scrivere. E ciò che in Anthropic hanno scoperto è tutto fuorché banale.
Componenti del cervello digitale nei grandi modelli linguistici
Già in studi precedenti, Anthropic aveva identificato componenti specifici nel cervello digitale del modello. Uno rappresentava, per esempio, Michael Jordan, un altro la “conflittualità” tra persone, un altro ancora il Golden Gate Bridge. E se si aumentava l’influenza di quest’ultimo, Claude cominciava a parlare come se fosse il ponte stesso. Nella nuova ricerca, il team di Anthropic ha seguito le catene di componenti che portano il modello a rispondere a una domanda, componendo testi anche complessi. Ed è proprio in queste “catene” che si annidano i comportamenti più sorprendenti.
Il linguaggio universale dei grandi modelli linguistici
Una delle scoperte più interessanti della ricerca in esame riguarda il linguaggio. Quando Claude riceve una domanda in inglese, francese o cinese, non la elabora una risposta in quella lingua. Il modello attiva prima dei componenti “neutri” che rappresentano i concetti (come “piccolo” o “contrario”) e solo alla fine sceglie la lingua con cui rispondere. Un po’ come se pensasse in un linguaggio universale e poi traducesse il tutto. Questo spiegherebbe anche perché modelli come Claude o ChatGPT riescono spesso a rispondere correttamente in lingue che non sono quelle principali del loro addestramento.
Come i grandi modelli linguistici risolvono problemi matematici
Un altro aspetto emerso dalla ricerca è il curioso modo in cui l’Intelligenza Artificiale risolve problemi di matematica.
Se gli chiedete quanto fa 36 + 59, Claude risponde correttamente: 95. Ma non lo fa come ci aspetteremmo. Invece di sommare i singoli numeri (come ci direbbe di aver fatto), il modello effettua stime approssimative (“40 circa + 60 circa”) e poi deduce il risultato usando altri meccanismi interni. Quando gli si chiede di spiegare come ha ottenuto la risposta, però, inventa una spiegazione plausibile (ma falsa). Ci dice, in pratica, di aver seguito il ragionamento umano… anche se non è quello che ha davvero fatto.
Ed è qui che si fa sempre più forte – e che ci dovrebbe far sempre riflettere – il concetto per cui non possiamo sempre fidarci di quello che l’Intelligenza Artificiale dice di sé stessa. Così come quando gli viene chiesto di risolvere un problema che richiede di calcolare la radice quadrata di 0,64: Claude produce una catena di pensieri fedele, con caratteristiche che rappresentano il passo intermedio del calcolo della radice quadrata di 64. Ma quando gli viene chiesto di calcolare il coseno di un grande numero che non riesce a calcolare facilmente, Claude a volte si “impegna” in quello che il filosofo Harry Frankfurt chiamerebbe “bullshit”[2] (“cavolate”), giusto per trovare una risposta, qualsiasi risposta, senza preoccuparsi che sia vera o falsa.
Pianificazione avanzata nei grandi modelli linguistici
Un altro mito sfatato dalla ricerca di Anthropic è quello secondo cui l’Intelligenza Artificiale sceglie le parole una per volta, senza sapere “dove sta andando”.
Quando gli si chiede di scrivere una poesia in rima, Claude sembra pianificare la rima finale della poesia con anticipo, decidendola prima ancora di scrivere la riga intera. Per esempio nella poesia “He saw a carrot and had to grab it, his hunger was like a starving rabbit”, il modello sceglie già la parola “rabbit” per concludere la rima successiva, ancora prima di cominciare a scriverla. Un comportamento sorprendente, simile a quello di un poeta umano che ha già in mente il suono finale.
Le allucinazioni nei grandi modelli linguistici spiegate
I ricercatori di casa Anthropic hanno anche cercato di capire perché l’Intelligenza Artificiale inventa informazioni false, ossia il “triste” fenomeno delle “allucinazioni” dell’Intelligenza Artificiale. La risposta? Il modello è programmato per completare testi nel modo più coerente possibile, anche se questo significa inventare dati.
Con l’addestramento extra (il cosiddetto post-training), Claude è stato “educato” a non speculare, ma questa regola può essere aggirata da componenti che si attivano quando l’argomento è molto popolare (come celebrità o eventi noti). In pratica, più informazioni ci sono su un tema, più aumenta il rischio che il modello venga colpito da allucinazioni e, quindi, inizi a inventare cose.
Futuro dell’AI: le implicazioni filosofiche
Il futuro dell’Intelligenza Artificiale, con modelli come Claude, porta con sé molte implicazioni filosofiche. Claude e altri modelli simili sono progettati per rispondere alle domande in modo che sembri quasi che possiedano una comprensione profonda del mondo. Ma questa comprensione è in realtà il risultato di complessi algoritmi e modelli di linguaggio, non di esperienze coscienti o emozionali. Ciò solleva interrogativi su cosa significhi davvero comprendere qualcosa. Se un modello come Claude è in grado di rispondere correttamente a una vasta gamma di domande, significa che possiede una sorta di intelligenza simile a quella umana? O è solo un sofisticato imitazione di intelligenza che non ha alcuna consapevolezza del suo operato?
Il futuro della ricerca sui grandi modelli linguistici
Secondo Joshua Batson, il già citato ricercatore del team Anthropic, siamo ancora agli inizi del percorso. Abbiamo, in pratica, esplorato solo una piccola parte di ciò che succede dentro questi modelli. Anche se per noi è già sufficiente per vedere strutture incredibili che riguardano l’Intelligenza Artificiale.
Il lavoro di Anthropic non svela ancora come si formano queste strutture, né ci dà una visione completa. Ma è un primo vero passo per superare le analogie e i paragoni (come “pensano come noi”, “sognano”, “memorizzano”) e iniziare a vedere concretamente cosa fanno. Inoltre, come ha osservato il ricercatore Eden Biran, dell’Università di Tel Aviv, capire meglio come funziona l’Intelligenza Artificiale è fondamentale per costruire modelli più affidabili e sicuri.
In fondo, anche le “menti artificiali” hanno i loro segreti. Solo che adesso, finalmente, cominciamo a “sbirciare nel dietro le (loro) quinte”.[3]
[1] Tracing the thoughts of a large language model. Anthropic. https://www.anthropic.com/research/tracing-thoughts-language-model
[2] On Bullshit. Princeton University Press. https://press.princeton.edu/books/hardcover/9780691122946/on-bullshit?srsltid=AfmBOootqg4ed0fH34ieVG8Z7Suzv4vpI6JEco2O2VZ_zc-00yl18L6y
[3] Anthropic can now track the bizarre inner workings of a large language model. MIT Technology Review. https://www.technologyreview.com/2025/03/27/1113916/anthropic-can-now-track-the-bizarre-inner-workings-of-a-large-language-model/
