La Biblioteca di Babele è la metafora perfetta dell’era dell’IA

“L’universo (che altri chiama la Biblioteca) si compone di un numero indefinito, e forse infinito, di gallerie esagonali, con vasti pozzi di ventilazione nel mezzo.” Questo è il famoso incipit de “La biblioteca di Babele” di Jorge Luis Borges, pubblicato nel 1941 nella raccolta “Il giardino dei sentieri che si biforcano“. La Biblioteca è composta da libri di 410 pagine, contenenti 40 righe di 80 caratteri ciascuna, cioè ogni volume contiene esattamente 1.312.000 caratteri.

Questo ordine apparente nasconde l’orrore di un caos di dimensioni inimmaginabili. I libri della Biblioteca infatti contengono tutte le possibili combinazioni dei 25 caratteri dell’alfabeto di Babele. Un semplice calcolo mostra che il numero di libri diversi che possono essere così composti è 25 elevato alla potenza di 1.312.000. In notazione decimale, sarebbe 1 seguito da 1,8 milioni di zeri. Per provare a capirne l’enormità, diremo che il numero stimato di atomi nell’universo osservabile è circa 10 elevato alla 80, cioè 1 seguito da 80 zeri. In questo mare sconfinato di nonsenso, la Biblioteca contiene anche “tutto ciò ch’è dato di esprimere, in tutte le lingue.

Tutto: la storia minuziosa dell’avvenire, le autobiografie degli arcangeli, il catalogo fedele della Biblioteca, migliaia e migliaia di cataloghi falsi, la dimostrazione della falsità di questi cataloghi, la dimostrazione della falsità del catalogo vero, il vangelo gnostico di Basilide, il commento di questo vangelo, il commento del commento di questo vangelo, il resoconto veridico della tua morte, la traduzione di ogni libro in tutte le lingue, le interpolazioni di ogni libro in tutti i libri.”

La Biblioteca di Babele e la probabilità del senso

Ma qual è la probabilità di trovare un libro “sensato” in questo oceano di nonsenso? La teoria dell’informazione di Shannon ci può aiutare a farci un’idea di massima. Claude Shannon introdusse il concetto di entropia come misura della quantità di informazione presente in una data combinazione di simboli, come per esempio una stringa di testo. Più l’entropia è elevata, più la stringa di testo è casuale o, in termini informativi, meno prevedibile. Più l’entropia è bassa, più la stringa è prevedibile in quanto contiene una struttura ridondante: questa struttura è ciò che rende una sequenza di caratteri sensata per un essere umano. Per esempio, una pagina generata scegliendo i caratteri a caso ha un’entropia elevata, mentre la stessa pagina che contiene un sonetto di Shakespeare ha un’entropia bassa, perché i caratteri che la compongono non possono essere scelti in modo completamente casuale: devono obbedire a una serie di vincoli grammaticali, semantici e stilistici.

Entropia di Shannon e linguaggio umano

Un modo per dare una stima a spanne della percentuale di libri “sensati” della Biblioteca sarebbe quindi, per esempio, quello di considerare il sottoinsieme dei libri che hanno un’entropia paragonabile a quella del linguaggio umano. Studi recenti assegnano all’entropia (per la precisione, al tasso di entropia o entropy rate) della lingua inglese un valore fra 1,1 e 1,2 bit per carattere, mentre l’entropia di un testo completamente casuale che utilizza i caratteri dell’alfabeto inglese è di 4,75 bit per carattere. L’entropia di altre lingue può essere leggermente diversa, ma è comunque prossima a 1 bit per carattere. Possiamo quindi assumere un valore h=1 per semplicità. Un teorema della teoria dell’informazione (teorema di Shannon-McMillan-Breiman) dice che il numero N di stringhe di lunghezza pari a L caratteri aventi entropia h è pari a 2 elevato alla potenza hL, cioè N=2hL. Poiché il numero totale M di stringhe di lunghezza L generabili con 25 caratteri è M=25L=24,64 L, se di queste stringhe consideriamo solo quelle con un’entropia h=1, possiamo calcolare facilmente la frazione di stringhe “sensate” rispetto al totale: N/M=2(1 – 4,64) L=2- 3,64 L.

Quanto è rara una pagina sensata

Così non ci dice molto. Proviamo ad applicare la formula a una pagina di un libro qualsiasi della Biblioteca, che contiene esattamente 3.200 caratteri. La frazione di pagine “sensate” sarebbe 2( – 3,64 * 3.200 )=10-3.400, cioè in altre parole un numero decimale con 3.400 zeri dopo la virgola. La probabilità di trovare una pagina sensata sfogliando a caso un libro della Biblioteca sarebbe quindi migliaia di ordini di grandezza inferiore alla probabilità di pescare a caso un atomo specifico nell’intero universo osservabile. Se chiedessimo un intero libro sensato, la frazione sarebbe così infinitesima da risultare inconcepibile. Non sorprende che gli abitanti della Biblioteca, dopo secoli di ricerche, si arrendano al caos:

“Già da quattro secoli gli uomini affaticano gli esagoni… Alla speranza smodata, com’è naturale, successe un’eccessiva depressione. La certezza che un qualche scaffale d’un qualche esagono celava libri preziosi, e che questi libri preziosi erano inaccessibili, parve quasi intollerabile.”

Eresie, superstizioni e verità irraggiungibile

La certezza di una verità nascosta e irraggiungibile genera eresie e superstizioni:

“Una setta blasfema suggerì che s’interrompessero le ricerche e che tutti gli uomini si dessero a mescolare lettere e simboli…”

“Altri, per contro, credettero che l’importante fosse di sbarazzarsi delle opere inutili. Invadevano gli esagoni, esibivano credenziali non sempre false, sfogliavano stizzosamente un volume e condannavano scaffali interi.”

“Sappiamo anche di un’altra superstizione di quel tempo: quella dell’Uomo del Libro. In un certo scaffale d’un certo esagono (ragionarono gli uomini) deve esistere un libro che sia la chiave e il compendio perfetto di tutti gli altri: un bibliotecario l’ha letto, ed è simile a un dio.”

La forza bruta non basta a trovare il significato

Che cosa ci dice questa matematica dell’insensatezza? Per esempio ci dice che l’idea di generare la Biblioteca sfruttando la straordinaria potenza di calcolo dei supercomputer moderni, per poi filtrare i libri sensati e, fra questi, i libri che contengono nuova conoscenza, teorie fisiche più profonde, nuove Iliadi e nuove Divine Commedie, cioè in altre parole l’idea di sfruttare le moderne tecnologie per trovare la verità o il significato a forza bruta, rimane irrealizzabile. Il numero di combinazioni possibili è così spaventosamente smisurato che anche un supercomputer consumerebbe tutta l’energia disponibile nell’universo ben prima di arrivare a una qualche conclusione.

Intelligenza artificiale e Biblioteca di Babele

Potrebbe l’Intelligenza Artificiale, riducendo drasticamente lo spazio di ricerca, salvarci dalla marea del nonsenso? In fondo, un modello linguistico di grandi dimensioni, un LLM, genera contenuti sulla base della distribuzione statistica del linguaggio umano, quindi il testo generato è quasi sempre sensato. Quale sarebbe la probabilità che fosse anche genuinamente innovativo? Potrebbe un modello di IA generativa produrre, per esempio, una teoria fisica rivoluzionaria come fu la relatività di Einstein? Che io sappia non esistono stime attendibili a riguardo, tendo però a pensare che questa probabilità sia molto bassa. Gli LLM sono addestrati per essere il meno “sorprendenti” possibile. La loro missione è scegliere la parola più probabile, ovvero quella che avrebbe scritto un umano in un contesto simile. Ma l’innovazione, per definizione, è un evento a bassa probabilità. In una generazione standard (con bassa “temperatura”), la probabilità che il modello devii dai percorsi tracciati per creare un concetto rivoluzionario è vicina allo zero, perché il modello è penalizzato se si allontana dai sentieri battuti.

IA, scienza e innovazione incrementale

Tuttavia, questo non significa che l’IA non possa essere di grande utilità per il progresso della scienza e nei fatti viene utilizzata sempre più massicciamente. I modelli di IA possono navigare lo spazio delle ipotesi scientifiche con efficacia maggiore rispetto agli scienziati, individuando pattern, e quindi possibili teorie, grazie alla capacità di gestire una quantità di dati che un umano non può processare. Secondo Terence Tao, uno dei maggiori matematici viventi, l’IA eccelle nell’ampiezza (cioè, nell’applicare tecniche note a una vasta gamma di problemi), mentre gli esperti umani eccellono nella profondità. Un altro aspetto da considerare è che il progresso della conoscenza non passa necessariamente attraverso l’ideazione di teorie radicalmente nuove, ma è dato anche dal lento accumularsi di miglioramenti incrementali e in questo i modelli di IA generativa moderni sono un aiuto prezioso. Infine, bisogna riconoscere che, anche in campo umano, l’innovazione radicale è un evento rarissimo. Basti pensare che la geometria di Euclide è rimasto il paradigma fondamentale per duemila anni, prima dell’introduzione della geometria analitica nel 1600 e delle geometrie non euclidee nel 1800. La quasi totalità di ciò che chiamiamo comunemente “innovazione” non è altro che una ricombinazione di concetti già noti.

Umano e macchina nella ricerca della conoscenza

La collaborazione dell’umano con la macchina è il paradigma che sta emergendo con sempre maggior forza, non solo in ambito scientifico. Se l’umano ha bisogno dell’IA per dominare la quantità di dati disponibili, anche l’IA ha bisogno dell’umano per salvarsi dalla banalità.