Nel giugno del 2017 un gruppo di ricercatori di Google pubblicò su arXiv un lavoro dal titolo poco solenne, “Attention Is All You Need”, in cui veniva descritta una rete neurale battezzata transformer. Chi allora lavorava sull’elaborazione del linguaggio naturale usava reti ricorrenti che masticavano le sequenze un passo alla volta e sulle GPU rendevano male, perché il calcolo era seriale.
Il transformer risolse il problema in modo brutalmente elegante, sostituendo la ricorrenza con un meccanismo di attenzione che confronta ogni token con tutti gli altri in una moltiplicazione di matrici, quindi parallelizzabile. Nove anni dopo quel blocco è ancora il cuore di ogni modello linguistico commerciale, ed è la sua onnipresenza a renderne evidenti i limiti.
Indice degli argomenti
Perché servono alternative al transformer
Il punto debole lo conosce chiunque abbia profilato l’inferenza di un modello. L’attenzione densa costruisce una matrice di punteggi di dimensione n per n, dove n è la lunghezza della sequenza; quindi, raddoppiando il contesto, il lavoro quadruplica. In prefill i tempi crescono in modo non lineare con la dimensione del prompt, mentre in decodifica la cache delle chiavi e dei valori diventa il vincolo dominante sulla memoria dell’acceleratore molto prima dei pesi del modello. Ottimizzazioni come FlashAttention hanno reso assai più efficienti gli accessi in memoria senza toccare l’ordine asintotico, perché il quadrato resta un quadrato.
Il costo si vede nelle bollette e nelle reti elettriche. L’Agenzia internazionale per l’energia, infatti, stima che i consumi dei data center passeranno dai circa 485 terawattora del 2025 a circa 950 nel 2030, con i carichi di intelligenza artificiale in crescita ben più rapida della media. Il paradosso è che quasi tutte le innovazioni recenti, dai modelli di ragionamento che scrivono lunghe catene di pensiero agli agenti che si scambiano output, vanno a produrre proprio ciò che il transformer regge peggio, cioè contesti lunghissimi.
Le alternative al transformer che riducono l’attenzione
La strada più diretta è cambiare il modo in cui l’attenzione sceglie le coppie di token da confrontare. L’idea circola da anni tra pattern fissi, finestre scorrevoli e varianti a stato latente, e il risparmio si è sempre pagato in qualità.
Subquadratic, azienda di Miami uscita dallo stealth il 5 maggio 2026 con ventinove milioni di dollari di seed, sostiene di avere superato il compromesso con un meccanismo in cui la sparsità viene appresa in preaddestramento e l’attenzione esatta si calcola solo sui token rilevanti per quella sequenza. I numeri dichiarati sono grossi, con una finestra da dodici milioni di token, l’81,8 per cento su SWE-Bench Verified e un prefill indicato come oltre cinquanta volte più rapido di FlashAttention al milione di token.
Buona parte della comunità di ricerca ha però chiesto verifiche indipendenti prima di accettare la tesi forte, quella secondo cui il collo di bottiglia quadratico sarebbe risolto.
Power retention: modelli linguistici senza attenzione
Manifest AI ha scelto la via radicale, sostituendo i layer di attenzione con quelli che chiama layer di power retention, un meccanismo ricorrente il cui stato ha dimensione costante e viene aggiornato token dopo token tramite potenze simmetriche dell’input, così da rappresentare dipendenze di ordine superiore senza una cache che cresce con il contesto. Il costo per token smette così di dipendere dalla lunghezza della sequenza.
Ma l’aspetto interessante è la conversione: sfruttando la parentela matematica tra attenzione e retention, l’azienda ha riaddestrato Qwen3-14B-Base in un modello privo di attenzione, Brumby-14B-Base, con sessanta ore su trentadue schede H100 e un costo dichiarato di circa quattromila dollari, contro le centinaia di migliaia di un preaddestramento da zero. Lo stesso trattamento ha prodotto PowerCoder-3B da StarCoder2-3B, e i kernel CUDA sono open source.
Modelli ibridi per portare l’AI oltre il data center
Liquid AI, spinout del MIT, attacca il problema dal lato del deployment. Le sue famiglie di Liquid Foundation Models combinano pochi blocchi di attenzione con blocchi convoluzionali a gate derivati dalla ricerca sulle reti a tempo continuo, e sono dimensionate per girare su processori che non stanno dentro un rack.
Non competono con i modelli di frontiera sui benchmark generalisti e non ci provano: il terreno di gioco è la latenza di poche decine di millisecondi, l’assenza di connessione, la memoria misurata in centinaia di megabyte e il dato che non lascia il dispositivo. Ad aprile 2026 Mercedes-Benz ha annunciato una collaborazione pluriennale per portarli a bordo dei veicoli con MBUX di terza e quarta generazione in Nord America. L’efficienza architetturale, insomma, apre categorie di prodotto che con un modello da data center non esisterebbero.
Generazione parallela e diffusione oltre l’autoregressione
Un altro filone attacca la generazione autoregressiva anziché l’attenzione, produrre un token alla volta significa rileggere l’intero set di pesi a ogni passo, e su hardware moderno il collo di bottiglia diventa la banda di memoria mentre le unità di calcolo restano ferme. I modelli a diffusione applicati al testo partono da una sequenza mascherata e la raffinano in parallelo su molte posizioni insieme, trasformando un problema limitato dalla memoria in uno limitato dal calcolo, che è ciò per cui le GPU sono nate.
Inception, nata dal lavoro di Stefano Ermon a Stanford, ha lanciato a febbraio 2026 Mercury 2, che dichiara oltre mille token al secondo su hardware Blackwell e una finestra da 128 mila token. In un’architettura ad agenti, dove la latenza si accumula a ogni passo del ciclo, un fattore dieci sul tempo di risposta non è un dettaglio di ottimizzazione ma un cambio di ciò che si riesce a costruire.
Architetture post-transformer oltre la sequenza di parole
La proposta più teorica arriva da Pathway, che con il lavoro sul Dragon Hatchling descrive un’architettura fondata su una rete a invarianza di scala di particelle neuronali che interagiscono localmente, con lo stato conservato nelle sinapsi anziché in una cache esterna e regole di aggiornamento di tipo hebbiano. L’obiettivo non è risparmiare calcolo, è ottenere generalizzazione nel tempo e interpretabilità intrinseca a prestazioni paragonabili a un transformer di pari scala. È ricerca lontana dalla produzione, però mette in discussione un assunto che diamo per scontato, cioè che ogni forma di ragionamento debba passare per una sequenza lineare di parole.
Come valutare le alternative al transformer
Nessuna di queste architetture sostituirà il transformer in un trimestre, e non di certo per ragioni scientifiche. L’intero stack di produzione, dai kernel ottimizzati ai motori di serving fino alla quantizzazione, è stato costruito attorno all’attenzione, e l’inerzia di un ecosistema pesa più di un guadagno del venti per cento su un benchmark.
Le domande da porsi restano poche: quanto costa il token utile a parità di qualità, come si comporta la memoria quando il contesto cresce di un ordine di grandezza, esistono misure indipendenti e riproducibili, quanto codice va riscritto per infilare il modello nella pipeline esistente.
Il segnale più interessante degli ultimi mesi non è però un benchmark, è un’economia: se convertire un modello preaddestrato in un’architettura diversa costa migliaia di dollari invece di milioni, la sperimentazione smette di essere un privilegio dei laboratori di frontiera. È lì che di solito cominciano i cambi di paradigma, e anche il transformer, nel 2017, era soltanto un paper con un titolo poco solenne.
Partecipa alla community