A inizio mese è uscito un paper, a firma di alcuni ricercatori di OpenAI.
Fin qui poca roba, openAI, Google e Meta sono ormai delle fabbriche di paper sulle tecnologie del nulla note al pubblico come “modelli linguistici”.
Ma questo paper è diverso. Si intitola “Why Language Models Hallucinate”, perché i modelli linguistici hanno le allucinazioni.
Indice degli argomenti
Allucinazioni sono inevitabili con l’AI
Sapete che non accetto il termine “allucinazioni” perché è inutilmente antropomorfico: in un modello linguistico non c’è nessuna coscienza che possa allucinare, così come non c’è alcuna intelligenza. Tanto “intelligenza artificiale” quanto “allucinazioni” sono termini di marketing, non si riferiscono a niente di tangibile.
Ma non divaghiamo. Il paper è molto interessante per un motivo: nonostante la vaselina linguistica, i “forse”, i condizionali, i “prevediamo che”, dice chiara e semplice una cosa che tutti sapevamo: le confabulazioni (chiamate allucinazioni per motivi di marketing) sono una caratteristica inerente dei modelli linguistici.
Non si scappa. Non si mitiga. I modelli linguistici sono, per costruzione, intrinsecamente soggetti alla produzione casuale di frasi senza alcun contenuto di verità.
E qui potremmo finire la puntata, se nel digitale fosse rimasta un minimo di dignità. Ma non c’è.
La cosa interessante del paper è il sommario. Poi va avanti per sedici pagine, enuncia teoremi, ragiona, discute, poi altre sedici pagine di dimostrazioni dei teoremi e di bibliografia.
Ma davvero, tutto quello che c’è da capire è nel sommario, tutto il resto serve solo a fare finta che il problema sia ancora aperto e che sia una cosa troppo matematica per capirla a fondo, e quindi dovremmo fidarci dei ricercatori di openAI e Meta e Google.
Sciocchezze. Questa gente si nasconde inutilmente dietro la matematica nemmeno fossero degli economisti, ma la verità è perfettamente comprensibile a chiunque.
E la verità è quella descritta controvoglia nel sommario. Ve ne leggo le parti salienti, poi commentiamo. Apprezzate, vi prego, l’obliquità e lo sforzo di indorare la pillola anziché ammettere il tristemente ovvio:
Come studenti di fronte a domande difficili, i modelli linguistici a volte tirano a indovinare quando non sono sicuri, producendo asserzioni plausibili ma scorrette anziché ammettere la propria incertezza.
[…] i modelli hanno allucinazioni perché il training e le procedure di valutazione premiano il tirare a indovinare rispetto all’ammissione di incertezza..
[…] Se non si possono distinguere i fatti da asserzioni non corrette, allora le allucinazioni emergeranno tramite la naturale pressione statistica.
[…] i modelli linguistici sono progettati per comportarsi bene nei test, e tirare a indovinare nei momenti di incertezza migliora la prestazione nei test.
Studente a chi?
Intanto partiamo dall’inizio. Quel “come studenti” pesa come un macigno. Paragonare il comportamento di un programma a quello di un essere umano è il peccato originale dell’Intelligenza Artificiale, nome che è stato coniato esplicitamente come strumento di marketing allo scopo di ottenere fondi di ricerca.
Il problema è che si tratta di un nome azzeccato e terribilmente evocativo, che è andato immediatamente a incastonarsi nelle psicosi latenti della prima generazione di programmatori, facendogli mettere radici.
Quando dico psicosi latenti intendo esattamente il termine clinico per il quale una persona considera reali le proprie fantasie. Nel caso della programmazione la psicosi nasce dalla universalità del computer (cioè un computer può risolvere qualsiasi problema risolvibile) e dal senso di onnipotenza, o almeno di superiorità rispetto alla gente comune, che questo genera nei programmatori:
io con il computer posso fare qualsiasi cosa.
Nel campo specifico dell’IA questo si traduce nella banalizzazione del pensiero e dell’essere umano: per il programmatore psicotico è solo un problema di scrivere il programma *giusto*. Questo, a sua volta, porta alle previsioni tanto millenaristiche quanto fantasiose che ci hanno accompagnato negli ultimi anni.
Sentite questa:
Fra tre, al massimo otto anni avremo una macchina con l’intelligenza generale dell’essere umano medio.
Chi l’ha detto: Altman? Amodei? LeCun? O magari Satya Nadella?
Sbagliato. Sono le parole di Marvin Minsky, in un’intervista del 1970 a Time Magazine. Mille novecento settanta.
E Minsky, credo che possiamo essere tutti d’accordo, gli dà tre giri a quel venditore di pentole di Altman.
Vince il chatbot che inventa in modo convincente
Veniamo al secondo punto. I ricercatori di OpenAI ci dicono che “il training e le procedure di valutazione premiano il tirare a indovinare rispetto all’ammissione di incertezza”. Cioè, non c’è niente di casuale nel fatto che i modelli linguistici inventino le risposte. Sono costruiti così.
Abbiamo una intera industria che sta bruciando quantità inimmaginabili di risorse naturali ed economiche per produrre macchine capaci di esprimere falsità in modo convincente.
Riflettiamo un attimo su questa cosa. L’obiettivo premiante di un modello linguistico non è azzeccare la risposta, ma esprimersi in modo convincente. Poi tanto ci pensano le clausole a fondo pagina in corpo sei a scaricare ogni problema sull’utente.
- ChatGPT può commettere errori. Controllare le informazioni importanti.
- NotebookLM può essere inaccurato. Per favore controlla le risposte.
La macchina è costruita per tirare a indovinare quello che non sa. Se vi fidate, è solo colpa vostra.
Questo punto non viene sottolineato abbastanza: abbiamo a che fare con strumenti costruiti per essere intrinsecamente inaffidabili. Non mi importa un fico secco se a cento domande di fila il vostro modello linguistico del cuore dà la risposta corretta: ognuna di quelle cento volte è stata esclusivamente fortuna.
E dico esclusivamente intendendo dire esclusivamente: perché un modello linguistico non ha la possibilità di distinguere se ciò che dice sa vero o falso. Ce lo dicono gli stessi ricercatori:
L’AI non distingue tra verità e finzione
[…] Se non si possono distinguere i fatti da asserzioni non corrette, allora le allucinazioni emergeranno tramite la naturale pressione statistica.
I nostri prodi non si spingono oltre, ma non serve. Un modello linguistico è un generatore di testo. Non ha alcun modello del mondo né alcun concetto di “verità”. Un modello linguistico non ha una lista di “cose vere” cui attingere e poi, non trovando quello che cerca un motore per tirare a indovinare.
Un modello linguistico genera ogni frase esattamente con lo stesso procedimento. Come ha acutamente osservato Quintarelli, ogni output di un modello linguistico è una cosiddetta allucinazione: soltanto l’utente è in grado di distinguere se l’output è vero o falso.
E siccome, come dicono i ricercatori, un modello linguistico non può “distinguere i fatti da asserzioni non corrette” , le confabulazioni sono una conseguenza “naturale”.
Mi piace questo aggettivo, “naturale”. Come se fosse qualcosa di intrinseco alla natura del mondo e non una fottuta decisione di progetto. Questi idioti dell’IA cercano di cavarsela dicendo “eh ma le allucinazioni sono naturali se non si può distinguere il vero dal falso” come se non fossero stati esattamente loro a costruire macchine che generano testo senza alcun vincolo di realtà.
“La naturale pressione statistica”: ossia i criteri che loro hanno scelto per indirizzare il modo in cui la macchina deve generare le frasi. Naturale stocazzo, branco di pigiatasti, talmente stupidi che al campionato mondiale di stupidità arrivereste secondi.
Ok, mi ricompongo.
AI: bene nei test, la realtà chissà
I modelli linguistici sono progettati per comportarsi bene nei test.
Ma questa gente si ascolta quando parla? Si legge quando scrive? “comportarsi bene nei test” è quella cosa che perfino gli americani iniziano a trovare controproducente. E parliamo di gente che arriva alle soglie del dottorato a suon di test a crocette.
Il problema di andare bene nei test è che non occorre capire una mazza della materia. Basta semplicemente fare abbastanza test di prova, e dopo un po’ vedi che le domande e le risposte sono sempre le stesse. In pratica, un meccanismo per produrre idiot savant, meravigliose macchine da quiz che al primo problema del mondo reale sanno solo balbettare, o tirare a indovinare.
Perché i ricercatori ci dicono che in un test, tirare a indovinare alza la media. E grazie Graziella, questo è il livello di competenza di un alunno delle medie.
Questa cosa dei test ci dice anche tutto quello che occorre sapere sui famosi “benchmark” che vengono annunciati come superati all’uscita di ogni nuova versione. Sono test, gli stessi che la macchina viene costruita per passare e su cui viene fatto il training. Prendi abbastanza test e prima ritrovi le stesse domande.
Ritorni e investimenti senza senso: prove della bolla AI
E non è ancora tutto. Noi quattro gatti che non abbiamo mai creduto al potenziale rivoluzionario di questa tecnologia inutile spacciata per Intelligenza Artificiale abbiamo sempre detto che gli investimenti deliranti dei fedeli costituivano una bolla speculativa che prima o poi sarebbe scoppiata. Leggete Ed Zitron, leggete Cory Doctorow, leggete DataKnightmare che lo ripete dal primo giorno.
Fin che lo dicono tre cani sciolti, ovviamente, lascia il tempo che trova, anche se i cani sciolti hanno ragione da vendere. E quindi tutti a investire cento, duecento, trecento miliardi di dollari in startup senza un’idea e, soprattutto, in data center.
Perché il data center, signora mia, è il modo di assicurare la supremazia tecnologica statunitense quando l’IA avrà cambiato il mondo.
Ora, due cose: uno, i generatori di stronzate di Altman e compagnia non cambieranno niente, non stanno cambiando niente, e il 95% delle aziende che ci ha investito non sta riuscendo a capire come avere qualsivoglia ritorno dagli investimenti, mentre il 5% che ci riesce è rumore statistico.
E per quello che riguarda la tecnologia statunitense, si riassume tutta nell’etichetta del vostro iPhone e del vostro MacBook: disegnato in California, costruito in Cina.
Quanto alla supremazia, qualsiasi tecnologia degna di nota ormai può venire sviluppata solo come collaborazione internazionale. Le aziende USA sono brave soltanto a mettere l’etichetta sul risultato e a fare i monopoli, aiutate da uno Stato che ha abdicato alla propria funzione regolatrice del mercato e, infatti, si è trasformato in una plutocrazia con una marionetta come presidente.
Ma dicevamo gli investimenti.
Da quando è apparso ChatGPT le cifre in gioco sono diventate sempre più ridicole. Dieci miliardi, cento, trecento, mille.
Il tutto per una tecnologia che promette tutto e mantiene niente o giù di lì.
I problemi
Ci sono quattro problemi tecnici di base:
- Il primo è che ogni successiva generazione di queste mitologiche “intelligenze artificiali” costa sempre di più, sia in termini di training che in termini di costo per singolo utilizzo;
- Il secondo è che le prestazioni non crescono linearmente con i costi di training, nonostante i veri credenti vadano ripetendo che se si produrrà un modello abbastanza grosso, allora come per magia apparirà dal nulla la Intelligenza Artificiale Generale e da quel momento vivremo per sempre in una etera utopia, e ci fonderemo con la macchina per vivere in eterno; uno si chiede da quale desiderio di compensazione posa derivare questa fissazione con le dimensioni del modello, e comunque per valutare la plausibilità di questo articolo di fede basta guardare il flop mostruoso che è stato chatGPT 5, annunciato a destra e a manca come il grande botto e poi rivelatosi un petardo umido; la verità è che da anni i progressi sono incrementali, e sempre minori, per costi sempre maggiori.
- Il terzo è che non ci sono semplicemente dati per addestrare modelli significativamente più grossi di quelli esistenti. Gli imbecilli dell’intelligenza artificiale hanno saccheggiato la totalità dei testi prodotti nell’intera storia dell’umanità, violando ogni impunemente ogni diritto d’autore, e il risultato è qualcosa in grado di spiegarti con sicumera che ci sono due lettere “t” in pterodattilo.
- Il quarto è che di generazione in generazione, questi strumenti sono rimasti generatori di stronzate (autocit.), e adesso perfino i ricercatori di openAI dicono che è una loro caratteristica intrinseca e lo rimarranno sempre.
Conti che non tornano
A questi quattro problemi di base si aggiungono i problemi relativi ai soldi:
- Primo, gli investimenti diventano sempre più incestuosi quanto le cifre diventano ridicole; Microsoft fa credito a open AI per dieci miliardi di dollari sui server di Azure. OpenAI lo riporta come un investimento di dieci miliardi, che riscuote usando i server di Microsoft, che riporta dieci miliardi di introiti. NVIDIA investe in Oracle, che finanzia openAI, che compra schede NVIDIA. È una partita di giro in cui la stessa cifra passa di mano sempre più in fretta, ognuno la contabilizza nel modo che gli fa fare la figura migliore, e nessuno genera un solo dollaro di profitto.
- Secondo, i mega datacenter di cui si favoleggia richiederanno 200GW di elettricità entro il 2030. Ma i soldi per costruire 200GW di centrali non ci sono, e la rete elettrica non potrebbe mai sostenere una crescita del genere.
- Terzo, nessuno ha idea di come rientrare degli investimenti. Entro il 2030, occorrerebbe investire circa 500 miliardi di dollari, e raccogliere almeno 2mila miliardi di dollari di introiti, quando nel 2024 secondo Morgan Stanley l’AI ha prodotto 45 miliardi di dollari di introiti.
- Quarto, la bolla dell’IA si basa sul sogno di poter sostituire i lavoratori con le macchine, ma secondo l’MIT il 95% delle aziende che hanno provato la IA non ne ha tratto alcun guadagno, o ne ha avuto una perdita.
Il problema non è che l’IA è una bolla speculativa.
Il problema è che l’IA è la bolla speculativa più grande che si sia mai vista, e che in questo momento rappresenta l’intera crescita dell’economia statunitense, che altrimenti sarebbe in recessione. E non lo dico io, lo dice il Wall Street Journal.
Il problema è che questa bolla, come tutte le bolle, esploderà, e come in tutte le bolle i soldi pubblici saranno usati per salvare i colpevoli mentre noi dovremo pulire le maceria e tirare la cinghia per anni, come è successo nel 2008.
Io vedo che il digitale è in mano a un culto di algopirla in preda alle allucinazioni millenaristiche di trascendenza tecnologica.
Io vedo che l’economia è in mano a un branco di tecnopaninari che finanzia a occhi chiusi chiunque riesca a imbastire una favola abbastanza convincente (ricordatevi di builder.ai, la favolosa “intelligenza artificiale” che invece erano settecento ingegneri indiani, e chiedetevi se i deliri di Altman sono così più credibili).
Io vedo che le aziende si lanciano con erotico abbandono in questa allucinazione collettiva dove i lavoratori verrebbero sostituiti da generatori di stronzate (sempre autocit.).
Tutti allucinati dall’AI
Io vedo che i governi fanno a gara per saltare sul carro degli allucinati; quelli che fino a ieri i dicevano che detassando i ricchi avremmo guadagnato tutti, oggi ci raccontano che finanziando le allucinazioni dei ricchi ci faremo anche noi un bel trip.
Il risveglio sarà durissimo. E la mia sola speranza è che ci ricorderemo abbastanza da non dimenticarci di tutti quelli, miliardari, politici, industriali, manager, che ci hanno condotto allegramente al disastro. Potremo rialzarci solo se mentecatti del genere verranno messi in condizione di non decidere più nulla e, al massimo, di campare con un onesto stipendio.
