Più token, più costi: perché l’AI deve cambiare architettura

Dopo quasi un decennio dal famoso articolo “Attention is all you need” l’intelligenza artificiale generativa è divenuta il vettore di crescita e sviluppo dell’economia mondiale grazie alle indiscusse nuove capacità dei modelli e al conseguente costo computazionale necessario per il loro funzionamento che è arrivato a stimolare dibattiti sulle risorse necessarie per una AI globale.

Il costo computazionale necessario per avere modelli sempre più capaci e affidabili è inevitabilmente divenuto uno degli aspetti dirimenti del dibattito e non sorprende quindi che il tema di come rendere più efficiente il calcolo dei token sia assolutamente centrale e molti approcci cercano di superare i limiti intrinseci dell’approccio corrente sia con ottimizzazioni al funzionamento degli LLM come li conosciamo oggi che proponendo complete revisioni o addirittura un ripensamento completo dell’intero sistema.

Cerchiamo di capire cosa sta succedendo e soprattutto quali sono i punti chiave che dominano il dibattito odierno e cosa possiamo aspettarci nel breve futuro.

L’attenzione è tutto quello che serve

Il meccanismo dell’attenzione viene spesso menzionato dai commentatori sull’AI come il punto di svolta (ed effettivamente lo è stato) nell’architettura degli LLM basata sui transformer, ma raramente si spiega in cosa consista. Senza entrare in dettagli troppo tecnici è utile però capire come questo sistema influenzi in modo determinante il costo dell’elaborazione di un modello AI e perché si lavori incessantemente per ridurlo.

L’attenzione è un meccanismo importante per valutare un testo perché cerca di correlare i termini di una frase confrontandoli progressivamente. Il linguaggio infatti definisce l’importanza dei singoli termini attraverso numerosi meccanismi che collegano porzioni di testo potenzialmente distanti, non a caso il testo viene spesso analizzato con strutture non lineari secondo meccanismi che studiamo sin dalle scuole elementari.

Consideriamo ad esempio la frase “Mario mise il libro sul tavolo perché era troppo pesante.”

Per capire “troppo pesante” a cosa si riferisce una macchina deve capire quali delle parole precedenti siano importanti e qui interviene il meccanismo dell’attenzione. In pratica un modello associa tre valori a ciascun token (che ricordiamo essere una frazione di una parola): una query (Q) che la possiamo pensare come l’informazione che si cerca, una chiave (K) che rappresenta per quali ricerche potrebbe essere rilevante e un valore (V) che rappresenta l’informazione che quel token può fornire. In pratica con i tre valori Q, K, e V si etichettano i token (e quindi le parole) e poi si confrontano l’un l’altro con i termini del contesto per correlarli. Ecco quindi che in GPT ogni token viene confrontato con tutti i precedenti calcolando l’attenzione per ciascun termine in modo da rappresentare non solo il valore dei singoli token/termini ma il valore pesato nel contesto (ecco quindi che lo stesso termine può avere rappresentazioni differenti in frasi differenti), un elemento che ha evidentemente fatto la differenza nell’elaborazione del linguaggio.

Va però notato come questi confronti progressivi richiedano una tabella e quindi il costo computazionale è di fatto quadratico rispetto al numero dei token (tecnicamente n*(n+1)/2). Ecco quindi che con 10 token paghiamo 55 confronti, con 100 token 5.050 e con un milione di token circa 500 miliardi di confronti.

Ovviamente i sistemi fanno uso di cache KV per evitare i ricalcoli non necessari ma comunque almeno i primi confronti servono facendo esplodere il costo computazionale dell’analisi. Per questo motivo i modelli LLM non supportano grandi finestre di contesto e ci sono voluti anni per raggiungere finestre da un milione di token.

Ottimizzare il meccanismo dell’attenzione

Una linea di pensiero per ottimizzare l’esecuzione dei modelli LLM è sicuramente quella di cercare di preservare la qualità da un meccanismo dell’attenzione denso che confronti tutti i token cercando però di confrontarne solo una parte. Questi approcci sono spesso riferiti come sub-quadratici e vi sono numerose startup come, ad esempio, Subquadratic che sostiene che il suo modello SubQ sia capace di individuare i termini rilevanti in un testo senza dover fare tutti i confronti. In altri casi come nel più famoso Kimi K3 il meccanismo della delta attention cerca di costruire una sorta di stato che riassuma il contesto elaborato fino ad un certo punto abbassando il costo computazionale da quadratico a sostanzialmente lineare.

Esecuzione efficiente di modelli LLM

Un altro approccio molto popolare a cui siamo tutti abituati è quello delle attivazioni parziali di una rete come avviene nel caso dei modelli Mixture of Experts, questi modelli riducono i parametri attivati durante l’elaborazione cercando di conseguenza di ridurre il costo computazionale successivamente al calcolo del meccanismo di attenzione.

Oltre ad ottimizzare l’architettura sempre più spesso assistiamo ad approcci di caricamento incrementale nella memoria video di parti del modello, rendendo possibile l’esecuzione di grandi modelli con risorse computazionali limitate. Un progetto molto interessante è sicuramente FreeToken, sviluppato da ricercatori di Berkeley e altre università statunitensi, capace di ottimizzare l’esecuzione di modelli MoE con centinaia di miliardi di parametri su hardware come computer da gaming.

Alla ricerca di nuovi approcci

Altre linee di ricerca e pensiero cercano approcci più radicali rispetto alle architetture attuali LLM, come ad esempio puntare alla generazione di interi frammenti di testo in un singolo passo invece che un token alla volta. È il caso della startup Inception, lanciata dal ricercatore Stefano Ermon della Stanford University che usa un modello a diffusione per la generazione di testo e che sostiene che il suo nuovo modello Mercury 2 si comporti come GPT-4. Un’altra startup californiana, Pathway, cerca invece di sostituire interamente il meccanismo dell’attenzione sostituendolo con una struttura più astratta chiamata spazio degli stati.

Conclusioni

Mentre il mondo continua a costruire AI basate sull’architettura dei transformer continua la corsa non solo ad aumentare la capacità dei modelli (sviluppo che sempre più attori, a partire da Sam Altman, ritengono debba essere rallentato per evitare di perderne il controllo) ma anche e soprattutto ad eseguirli in modo sempre più efficiente, per consentirne l’esecuzione in locale e con una richiesta di risorse computazionali che sia sostenibile.

Si tratta di una necessità se vogliamo che l’AI agentica possa davvero compiersi: il rischio che il costo per l’esecuzione di un agente su un compito complesso sia sproporzionato rispetto al beneficio. I nuovi approcci possono essere sicuramente interessanti, ma siamo ancora nello spazio della sperimentazione ed è presto per valutare la reale efficacia, va detto che il modello funzionale non cambia e quindi qualora emergano modelli più efficienti potranno essere sostituiti senza dover ripensare tutto il software costruito sopra di essi.