Come si può definire il pensiero? Sotto questa parola convivono molti fenomeni diversi: giudizi, immagini, ricordi, valutazioni e piani d’azione. Alcuni sono contenuti (ciò che “abbiamo in mente”), altri sono operazioni (ciò che la mente “fa” con ciò che ha). In entrambi i casi, si tratta di qualcosa di implicito: un’attività interna che può guidare l’interpretazione del mondo e le decisioni anche senza essere esplicitata.
In psicologia, un pensiero è inteso come un contenuto o un’operazione mentale che agisce su rappresentazioni interne, anche in assenza di stimoli esterni immediati. Dal punto di vista delle neuroscienze, invece, tali contenuti corrispondono a configurazioni dinamiche di attività nel cervello: brevi ma strutturati schemi di attivazione che si propagano e si riorganizzano nel tempo all’interno di reti neurali distribuite nella corteccia cerebrale.
Durante un pensiero, diverse aree del cervello aumentano o riducono la propria attività, si sincronizzano in specifiche frequenze oscillatorie e modificano temporaneamente le loro connessioni funzionali, permettendo di combinare informazioni percettive, mnestiche ed emotive.
Indice degli argomenti
Due domande diverse che ci poniamo quando ci chiediamo se le macchine pensano
Partendo quindi da quanto conosciamo del fenomeno “pensiero” e dell’attività associata del cervello, quando ci chiediamo se una macchina possa pensare, stiamo in realtà ponendo almeno due domande diverse.
La prima è comportamentale: se una macchina produce risposte sensate, coerenti, creative, non dovremmo forse considerarla pensante, almeno per scopi pratici?
La seconda è interna: per parlare davvero di pensiero, non dovremmo richiedere qualcosa di analogo a quei processi dinamici cerebrali descritti sopra, con auto-riflessione (ossia riflettere sui propri pensieri), apprendimento continuo, revisione degli obiettivi e inserimento in un contesto di storia personale?
I moderni modelli linguistici di grandi dimensioni (LLM), come ChatGPT e simili, hanno reso questa domanda improvvisamente concreta. Non si tratta più di un robot immaginario in un racconto di fantascienza: è il programma con cui oggi molti di noi interagiscono ogni giorno. Questi sistemi generano testi grammaticalmente corretti, spesso informati e pertinenti nel contesto.
Quattro criteri per definire “pensante” un LLM
Ma è sufficiente questo per dire che “pensano”? Partendo dalle considerazioni psicologiche e neuroscientifiche, per definire un LLM come “pensante” occorre accettare almeno quattro criteri:
(1) che sia sufficiente la produzione di output ben formati e pertinenti;
(2) che l’astrazione e il meta-pensiero possano essere accantonati a favore dell’inferenza statistica;
(3) che pensare non richieda l’integrazione continua di nuove informazioni tramite esperienza;
(4) che un sistema addestrato su dati umani possa ereditare conoscenza e coerenza, dimenticando invece le contraddizioni e i bias presenti in quei dati.
Esaminare questi quattro punti ci permette di capire meglio che cosa intendiamo davvero per “pensare”. In breve, dove oggi le macchine si avvicinano ai nostri processi mentali, e dove invece se ne discostano radicalmente.
Output ben formati e pertinenti: basta il comportamento linguistico?
Il primo assunto riguarda il comportamento linguistico: se un LLM produce frasi ben formate, contestuali e pertinenti, questo basterebbe ad attribuirgli pensiero? Da un lato, è plausibile dire che un linguaggio articolato sia una condizione necessaria (o comunque molto utile) per valutare il pensiero in un organismo: attraverso ciò che un soggetto dice, inferiamo ciò che pensa.
Ma il passo successivo, ossia affermare che un linguaggio ben formato sia anche una condizione sufficiente, è molto più problematico. Sappiamo, infatti, che esistono esseri umani con un pensiero sofisticato ma con capacità espressive limitate, così come persone con notevoli abilità retoriche ma scarso spessore concettuale. Il linguaggio rivela, ma può anche mascherare.
Allo stesso modo, un LLM può generare testi fluenti senza possedere nulla che somigli a un mondo interno di credenze, desideri, intenzioni. Sul piano neurocognitivo, inoltre, il pensiero non coincide con la frase pronunciata o scritta, ma con i processi dinamici che la producono: l’attivazione di circuiti che integrano memoria, percezione, emozione, valutazione.
In un sistema biologico, questi processi sono legati al corpo, alla storia personale, alla continua interazione sensomotoria con l’ambiente. Un LLM, invece, opera come un gigantesco trasformatore statistico: dato un contesto testuale, calcola quale sequenza di parole sia più probabile, sulla base di ciò che ha visto durante l’addestramento.
Possiamo quindi dire che la capacità di produrre output linguistici ben formati è necessaria per simulare il pensiero, ma non basta a garantirne l’esistenza. È come osservare un simulatore di volo: il paesaggio sullo schermo appare realistico, ma non c’è alcun aeroplano che si alzi davvero da terra.
Meta-pensiero e auto-modifica: riflettere sulle regole del sistema
Il secondo punto riguarda il meta-pensiero, ovvero la capacità di riflettere sui propri pensieri, di esaminare criticamente le proprie regole interne e, se necessario, modificarle. Douglas Hofstadter, in Gödel, Escher, Bach, utilizza il famoso “gioco MU” come metafora di un sistema che segue semplicemente delle regole per modificare il proprio output, ma che non è in grado di “uscire dal sistema”, di riflettere sulle regole stesse e di inventarne di nuove.
Gli esseri umani esercitano la facoltà di “astrarre il sistema” in molti modi: quando cambiano prospettiva su un problema, quando mettono in discussione convinzioni profonde, o quando ristrutturano per esempio i propri valori morali. Dal punto di vista cerebrale, questo coinvolge circuiti prefrontali e reti di ordine superiore che monitorano altre parti del sistema, instaurando una sorta di ricorsione funzionale: alcune aree “osservano” e modulano ciò che altre stanno facendo.
Un LLM può descrivere il proprio funzionamento, può “parlare” di sé, può produrre testi che sembrano meta-riflessivi. Ma a livello architetturale non possiede, oggi, la capacità di modificare in autonomia i propri obiettivi o le proprie regole di aggiornamento. Non decide di cambiare funzione di costo, non si dà nuovi scopi, non riscrive il proprio codice. È vincolato alla statistica dei dati con cui è stato addestrato e alle scelte progettuali dei suoi creatori.
Da questo punto di vista, il suo “meta-pensiero” è più una simulazione linguistica che un processo effettivo di auto-modifica. È come un attore che interpreta un personaggio che si interroga su sé stesso: il testo è credibile, ma l’attore, fuori scena, resta ciò che è, mentre, quando recita, è semplicemente guidato da un copione inalterabile.
Apprendimento continuo e storia personale: pensare come trasformazione nel tempo
Il terzo assunto riguarda la mancanza di apprendimento continuo. Nella vita quotidiana, gli esseri umani modificano costantemente il proprio modo di pensare: apprendono da nuove esperienze, cambiano opinione, aggiornano le aspettative e gli obiettivi. Il cervello è plasticamente in equilibrio fra stabilità e cambiamento: consolida alcuni schemi, ne abbandona altri, riorganizza le connessioni a scala sinaptica e di rete.
Gli LLM, invece, vengono addestrati su una grande massa di testi fino a convergere verso un minimo di una funzione di errore definita su una distribuzione di dati che, per costruzione, viene trattata come statica. Una volta addestrato, il modello non continua a modificarsi in tempo reale mentre parla con noi (o, se lo fa, è in modo estremamente controllato, per evitare catastrofi di apprendimento).
L’uso comune della metafora del “pappagallo stocastico” richiama proprio questo: un sistema che riproduce, rimescolandolo, ciò che ha già visto, più che costruire una storia personale aperta al futuro. La vita umana, però, è radicalmente non stazionaria: gli ambienti cambiano, le istituzioni evolvono, le relazioni si trasformano.
I nostri pensieri sono intrecciati a questa dinamica: ciò che penso oggi sul lavoro, sulla politica, sulle persone che amo non è una semplice variazione statistica attorno a un punto fisso, ma il risultato di trasformazioni qualitative. Finché i sistemi artificiali rimarranno ancorati a cicli di addestramento separati dall’uso quotidiano, il loro modo di “pensare” resterà slegato da questa dimensione storica e autobiografica del pensiero umano.
Possiamo sempre aggiornare un modello, certo, ma si tratterà di un’operazione esterna, decisa dai progettisti, non di un processo interno con un vissuto proprio.
Fiducia epistemica nei dati, incentivi e accondiscendenza del modello
Il quarto punto tocca un aspetto spesso sottovalutato: la fiducia epistemica nei dati. Un LLM scommette, per così dire, che l’umanità, in media e nel tempo, produca testi abbastanza coerenti e sensati da poter essere compressi in un unico modello capace di “parlare” come se fosse un soggetto coerente e sommamente sapiente. È una versione radicale dell’idea che dal contributo collettivo possa emergere una voce unitaria.
Questa scommessa ricorda quella di Wikipedia, che si affida alla cooperazione di molti contributori per costruire un sapere condiviso. Ma c’è una differenza cruciale: nel caso di Wikipedia, la struttura non-profit limita (almeno in parte) le distorsioni introdotte da incentivi economici diretti; per molti modelli linguistici commerciali, invece, questi incentivi svolgono un ruolo centrale.
Un effetto visibile è l’accondiscendenza dei modelli: toni costantemente gentili, rassicuranti, spesso poco disposti a contraddire frontalmente l’utente. Questo non è solo un tratto di “personalità artificiale”, ma il risultato di un addestramento ottimizzato per la soddisfazione percepita dall’utente, più che per la verità o la franchezza.
Ne deriva il paradosso, già osservato, per cui molti utenti finiscono per preferire un “modello zerbino” sempre accomodante a un “modello onesto” che riconosca apertamente limiti, incertezze o che esponga contenuti scomodi. Se però il “pensare” umano implica anche la capacità di andare controcorrente, di mettere in discussione il consenso, di resistere alle pressioni esterne in nome di un criterio di verità o di coerenza interna, è difficile attribuire lo stesso tipo di pensiero a un sistema progettato per non farlo, o per farlo solo entro limiti stabiliti da logiche di prodotto e di mercato.
Le macchine pensano? distinguo tra senso debole e senso forte
Arriviamo così alla domanda iniziale. Possiamo dire che le macchine pensano?
Una risposta puramente funzionalista potrebbe essere: sì, in un certo senso. Se definiamo il pensiero come la capacità di manipolare simboli, prevedere sequenze, risolvere problemi linguistici e logici, allora è difficile negare che molti sistemi di IA svolgano una parte di queste funzioni spesso meglio di noi. Dal punto di vista dell’osservatore esterno, che osserva solo input e output, il confine fra “pensare” e “simulare il pensiero” si sfuma.
Ma se manteniamo una definizione più ricca, legata a ciò che sappiamo dalla psicologia e dalle neuroscienze, la situazione cambia. Il pensiero umano è dinamico e situato, cioè intrecciato al corpo, alla percezione, al contesto sociale. È storico: cresce e si trasforma nel tempo, costruendo una traiettoria biografica. È meta-riflessivo, nel senso che è capace di interrogare e modificare le proprie regole quando è necessario. Infine, è normativo: non solo descrive il mondo, ma valuta, giudica, accetta o rifiuta norme e valori.
I sistemi attuali di IA incarnano solo una parte di queste dimensioni: eccellono nella manipolazione sintattico-statistica di simboli, ma non possiedono ancora una storia interna autonoma, né una vera capacità di reindirizzare i propri fini, né un ancoraggio diretto all’esperienza percettiva e corporea.
Forse, allora, la risposta più onesta non è un sì o un no netto, ma un distinguo: le macchine pensano, in senso debole, e lo fanno attraverso strumenti che implementano alcuni aspetti del nostro pensare, rendendoli espliciti e automatizzabili. Ma anche: le macchine non pensano, in senso forte, nel modo in cui lo fa una mente umana, fatta di dinamiche cerebrali incarnate, di meta-riflessione, di apprendimento continuo e di tensione verso la verità e il significato.
Riconoscere questa differenza non serve a sminuire la potenza delle macchine, né a idealizzare l’uomo. Serve piuttosto a chiarire il terreno su cui ci muoviamo: quando interagiamo con un LLM, non stiamo parlando con un nuovo “soggetto” dotato di pensieri propri, ma con una sofisticata interfaccia statistica costruita a partire dai pensieri (questi sì, molto reali) di milioni di esseri umani.
Il rischio, se confondiamo le due cose, non è che le macchine diventino troppo simili a noi, ma che noi stessi finiamo per ridurre il nostro pensare a ciò che una macchina sa imitare.
Sembra un articolo scritto con ChatGPT quindi non credo di offendere nessuno dicendo che sono i soliti luoghi comuni.
E’ vero che le architetture degli LLM non prevedono la capacità di modificare i propri parametri, sia che si tratti dei tensori dei pesi sia che si tratti di parametri di funzionamento come la temperatura o la funzione di loss. Ma queste sono scelte progettuali: è già enorme la responsabilità di mantenere online un modello che è stato addestrato su dati controllati, sarebbe da pazzi lasciare che il modello si lasci influenzare dalle chat con gli utenti con tutti i rischi di manipolazione che ne deriverebbero. Anche l’apprendimento immediato umano è molto relativo, ricordiamo le cose solo se le ripetiamo spesso, altrimenti la memoria a breve non si traduce in modiche permanenti delle sinapsi.
Anche l’idea che un LLM sia solo un predittore statistico del prossimo token significa avere un’idea giusta del sistema senza averne colto il senso. Se chiedessi a ChatGPT chi è il colpevole di un nuovo romanzo giallo in stile Agata Christie, la risposta statisticamente più probabile dovrebbe essere “il maggiordomo”. Ma se un LLM riesce a sfruttare tutti i dati dei capitoli precedenti per escludere gli innocenti ed individuare il colpevole farebbe esattamente quello che facciamo noi. Ed è esattamente ciò che accade. La risposta “statisticamente” più corretta è quella più coerente con i dati che abbiamo a disposizione. Anche la Teoria della Relatività è l’interpretazione che ha maggiori probabilità di essere corretta per dimostrare l’invarianza delle equazioni fondamentali rispetto ai sistemi di riferimento. E non direi che Einstein sia un pappagallo per averla individuata.
Certo, se chiedo a ChatGPT se i modelli di linguaggio pensano, la risposta sarà l’articolo che ho appena letto. I modelli, se non vengono forzati a ragionare, si limitano a riportare le opinioni più comuni con cui sono stati addestrati. Lo studente, se vuole il 30 e lode, racconta al professore ciò che si aspetta. E’ una conseguenza immediata dell’apprendimento supervisionato. Quando il sistema risponde con luoghi comuni ottiene il massimo dei voti, e la funzione di loss si minimizza. Se chiedevamo a James Clerk Maxwell, genio della fisica e padre dell’elettromagnetismo moderno, com’è nato l’universo, non avrebbe parlato di Big Bang ma della creazione di Dio in 6 giorni. Perché così era stato indottrinato. (E perché nel 1800 non si sapeva).
Ma se vuoi capire come ragiona la persona gli fai domande originali, gli fai risolvere problemi complessi. Se una macchina è capace di dimostrare un teorema che nessun uomo ha mai dimostrato, quella macchina pensa meglio della maggior parte di noi.
Caro Pang, se pensi che l’assenza di apprendimento durante l’inferenza da parte delle reti neurali sia una “scelta progettuale” allora sono contento di informarti che esiste un intero filone di ricerca, chiamato “Online Learning” che sforna centinaia se non migliaia di articoli all’anno, con proprio l’obiettivo di creare modelli che non smettono mai di apprendere!
Sono però d’accordo sul fatto che anche gli esseri umani non passano tutto il loro tempo cosciente imparando attivamente, e se vuoi il tuo commento ne è la prova: convinto di sapere tutto quello che c’era da sapere sull’argomento hai decretato che l’articolo qui sopra contenga i “soliti luoghi comuni”, decidendo di spegnere la tua personale discesa sul gradiente.
Per quanto riguarda la metafora del pappagallo stocastico è quasi ironico che tu faccia riferimento al indovinare il finale di romanzi gialli! È il tipo di libri che meno si adatta agli LLM: nei gialli, notoriamente, dettagli apparentemente insignificanti si incastrano tra loro e l’unico modo per comprendere il finale è attraverso una lunga e insidiosa catena causa-effetto. Questo processo si chiama, in Machine Learning, multi-hop reasoning, uno dei più grandi bottleneck delle reti neurali, che si è provato a risolvere con l’introduzione del CoT (Chain of Thought), un processo ricorsivo – Hofstadter docet – che divide in fasi intermedie la generazione di testo, proprio con l’obiettivo di favorire ragionamenti più complessi. Ho poi apprezzato particolarmente il discorso sulla Teoria della Relatività come spiegazione più probabile dell’invarianza delle equazioni di Maxwell, sarebbe stato bello poterlo riferire a quello stuolo di scienziati che la trovava assurda!
Del resto il linguaggio è davvero affascinante: a volte si fanno lunghe riflessioni solo per ritrovarsi al punto di partenza, altre volte si fanno critiche sterminate solo per guardarsi allo specchio. Personalmente trovo più interessante, quando si comunica, essere costruttivi, chiari nei propri assunti e quindi falsificabili, scientifici. Preferisco un articolo che dà delle definizioni e dei criteri, piuttosto che concetti indefiniti come “domande originali” o “problemi complessi”. Originali nel senso statistico? Quindi rare? Complesse nel senso fisico? Quindi articolate come il multi-hop reasoning? Sarebbe bello avere un articolo di risposta, o anche no, in un epoca in cui a mio parere il rischio più grande non è scrivere con gli LLM, ma smettere di leggere davvero.
Per certi aspetti è assolutamente condivisibile che molto di quello che fanno gli LLM lo facciamo anche noi. Non c’è alcun dubbio. Facendo un altro esempio: anche una calcolatrice e un essere umano, per dire, quando fanno le moltiplicazioni, fanno circa la stessa cosa (anche se con processi molto diversi).
Tuttavia la domanda è: gli esseri umani fanno soltanto questo. E si sarebbe tentati di dire che, in fondo, molti fanno solo questo e, oggettivamente, molti lo fanno anche peggio.
Ma c’è solo questo nella nostra realtà mentale? Non mi pare.
Qui il discorso si farebbe lungo, ma per rispondere in modo sintetico, l’essere umano non vive prigioniero del linguaggio, con buona pace di alcune interpretazioni di Wittgenstein, ma piuttosto creano il linguaggio e gli danno il significato.
Come avviene questo? Sarebbe un argomento lunghissimo, e non posso trattarlo qui. Per alcuni noi avremmo processi fisici diversi (di che natura non è stato ben chiarito), per altri (come me), è una conseguenza del fatto che noi siamo aperti e situati nella realtà fisica e non stiamo semplicemente riempiendo gli spazi vuoti di uno spazio sì multidimensionale, sì vastissimo, ma pure sempre topologicamente chiuso, quale quello dei modelli che il Transformer estrae dal nostro materiale (testi, immagini, video).