Si è da poco conclusa l’edizione 2026 della conferenza International SuperComputing (ISC), l’appuntamento europeo dedicato ai sistemi cosiddetti di supercalcolo, utilizzati nei grandi centri di ricerca.
Anche questo appuntamento, tradizionalmente dedicato ai cluster di calcolo scientifico, è sempre più dominato dalle architetture per l’AI, con un radicale cambiamento che sta definendo nuovi standard volti a supportare gli enormi carichi computazionali e le densità di calcolo necessarie a caricare mega modelli ed effettuare miliardi di calcoli semplicemente per generare un token.
La conferenza ha sancito una frattura che andava formandosi da quando l’AI ha reso necessaria una maggiora densità di calcolo rispetto ai workload tradizionali del supercalcolo: nuovi standard per i rack di datacenter, nuovi sistemi di distribuzione dell’energia e della potenza, e nuovi standard per il raffreddamento.
Cosa significano questi cambiamenti per le organizzazioni? Le nuove architetture sono ancora sostenibili per le piccole e medie imprese italiane? Come è possibile dotarsi di apparati per l’esecuzione di modelli AI locali e non solo cloud? Cerchiamo di dare risposte a queste domande alla luce di nuove architetture sempre più dense e che sembrano sempre meno a dimensione aziendale.
Indice degli argomenti
Infrastrutture AI e supercalcolo: la frattura degli standard
A partire dalla fine degli anni novanta i vendor di PC hanno incalzato i produttori di mainframe contribuendo a definire il nuovo assetto dei datacenter: i primi datacenter erano fatti con computer tower installati in scaffalature e raffreddati da semplici condizionatori a parete, ma poi sono arrivati i server disegnati per essere installati in armadi rack da 19 pollici, sistemi di ridondanza e di raffreddamento dedicati sempre più sofisticati. I grandi service provider hanno quindi utilizzato queste stesse tecnologie su scala globale grazie ad evidenti economie di scala: Google, Microsoft, Facebook sono tutti partiti da datacenter basati sugli stessi componenti usati dalle aziende per la realizzazione dei propri datacenter, contribuendo a finanziare lo sviluppo di sistemi via via più complessi ma all’interno di un insieme di standard che hanno resistito oltre vent’anni e che sono messi in discussione dall’arrivo dei modelli di AI generativa.
Dai rack standard all’Open Compute Project
In realtà già a partire dalla fine degli anni 2000 i grandi service hanno cominciato a superare i limiti imposti dagli standard per ottimizzare i propri datacenter, e Facebook dopo un paio di anni di incubazione nel 2011 contribuisce a lanciare la fondazione Open Compute Project: un’iniziativa per standardizzare le architetture dei grandi datacenter. Le necessità dei grandi service provider richiedevano maggiori densità di processori e dischi per erogare servizi su scala globale, e così la prima grande frattura si è consumata con l’introduzione di nuovi formati come, ad esempio, il rack OCP per esempio è di 21 pollici, due in più del rack standard, nato per aumentare del 30% la densità di CPU per unità di rack. Per tutta la decade del 2010 il settore si è quindi attestato su un doppio standard: le architettura per i grandi service provider che sono cresciute e si sono affermate e quelle enterprise che sono rimaste sugli standard precedenti per mantenere gli investimenti infrastrutturali fatti.
In effetti per tutti gli anni dieci i cambiamenti sembravano per lo più solo di formato, gli standard energetici e delle schede rimanevano gli stessi consentendo ai grandi vendor come Dell, HPE, Lenovo, Supermicro di fornire sistemi ad entrambi offrendo economie di scala tali da offrire prezzi competitivi alle aziende grazie agli enormi volumi di produzione assicurati dai grandi provider.
Energia, raffreddamento e costo dei nodi
La diffusione dei dischi a stato solido avvenuto nel corso della scorsa decade ha consentito l’elaborazione di quantità di dati sempre maggiori, tali da richiedere una sempre maggiore densità ai processori per assicurare la capacità di elaborazione necessaria a fronteggiare un fattore iniziale di 20x tra la velocità dei dischi HDD e i dischi SSD (ora fino a 70x). Di conseguenza il Thermal Design Power (TDP) dei processori, e di conseguenza la necessità di dissipazione di calore è cresciuta, e con l’arrivo dell’AI alle CPU si sono aggiunte le GPU, anche loro che hanno cominciato a dover elaborare strutture dati sempre più grandi (i modelli) che richiedono una maggiore densità di calcolo per spazio fisico.
Ecco quindi che la potenza richiesta è cresciuta al punto tale che il raffreddamento dei server ad aria è divenuto inadeguato ed è cominciata l’era del raffreddamento a liquido (prevalentemente ad acqua). Il successo di ChatGPT 3.5 a fine 2022 ha quindi dato il via finale ad una nuova generazione di computazioni di interesse generale che ha spinto una crescita di quasi 200x nella potenza utilizzata nei datacenter su scala globale come testimoniato dall’AI Index Report di Stanford.
Questa spinta alla densità di calcolo unitamente alla sempre crescente domanda per memorie e processori ha fatto lievitare i costi di un nodo di un fattore 5x in dieci anni, rendendo sempre più costoso per un’azienda gestire un proprio datacenter locale.
L’incremento di costo degli apparati è sicuramente legato alla maggiore capacità del singolo nodo ma anche e soprattutto alla domanda di memorie e dischi che sta mandando in crisi l’intero settore IT e che vede investimenti enormi che contribuiscono a tenere alto il prezzo dei dispositivi. La pagina web “Is AI profitable” raccoglie gli investimenti nel settore da fonti pubbliche e mostra in modo molto efficace il giro di soldi che sta rendendo sempre più complesso l’approvvigionamento alle aziende.
La scala dei datacenter AI oltre la dimensione aziendale
Ecco quindi che alla conferenza ISC26 è apparso evidente come non sia più vero che i vendor producano apparati per l’azienda che poi anche i grandi usano in grandi volumi. Le architetture, per lo più disegnate da nVidia, sono ormai orientate alle grandi installazioni e di conseguenza è sempre più difficile trovare soluzioni compatibili con i datacenter sviluppati negli ultimi dieci anni. Anche disponendo della liquidità per investire resta aperto il problema dell’alimentazione, ormai non è infrequente vedere soluzioni da 500KW per rack, tanto per metterlo in prospettiva la potenza di 0,5MW era considerata medio alta fino a due anni fa.
Ma dove si può pensare di realizzare infrastrutture così dense in Italia? E soprattutto se un rack per fare AI richiede un investimento di 8 milioni di euro più l’infrastruttura intorno come è possibile invocare una strategia della sovranità digitale e all’esecuzione locale dei modelli di intelligenza artificiale?
Modelli AI locali e workstation: il ritorno dei piccoli cluster
Ricordo bene quando nella seconda metà degli anni novanta costruivo come tanti i primi cluster di PC workstation per consentire di eseguire i servizi internet ad una frazione del costo di un mainframe o di un server di Sun Microsystems. Oltre ai budget oggettivamente limitati le nostre necessità non richiedevano molte delle funzioni della classe enterprise e quindi il loro costo era scarsamente giustificato.
DGX Spark, GB10 e cluster Beowulf
Adesso sembra di rivivere quegli anni, e in particolare abbiamo cominciato ad utilizzare sistemi basati su GB10 di nVidia come il DGX Spark, si tratta di sistemi ad un costo ragionevole da un punto di vista aziendale (circa cinquemila euro a pezzo) e che consentono una discreta potenza di calcolo, capace di eseguire modelli di AI generativa come GPT-oss con 120B o Nemotron 3 Super 120B. Si tratta di modelli con una capacità paragonabile ai modelli di frontiera dello scorso anno, e che possono eseguire decentemente in locale collegati all’alimentazione di una stanza e senza obbligo di raffreddamento.
Sempre maggiori realtà stanno investendo in cluster di queste piccole meraviglie, e allora diviene possibile anche in Italia immaginare un futuro in cui è possibile eseguire localmente modelli AI. Inoltre, soprattutto l’esecuzione di modelli AI è funzionale (senza stato) e quindi se uno implementa un cluster di queste piccole workstation in caso di fallimento di una il servizio non subisce interruzioni. Si tratta di una scelta che ricorda i primi cluster Linux Beowulf.
Tra poco l’architettura Grace e Blackwell con 128GB di RAM condivisa sarà estesa ai laptop come recentemente annunciato da Jensen Huang e Satya Nadella, e quindi sarà davvero possibile un esecuzione pervasiva di modelli AI che sebbene non capaci come quelli di frontiera, offrono capacità di tutto rispetto e che possono essere impiegate veramente in produzione.
Infrastrutture AI sostenibili tra workstation e cloud
Il modello a taglia singola non funziona più nell’IT moderna, e i costi degli apparati e soprattutto delle infrastrutture per poterli ospitare sono sempre più alti. Per molte organizzazioni ed aziende questo significa dover abbandonare il progetto di mantenere in casa tutti i servizi, ma differenziando i software e soprattutto i modelli AI sarà possibile eseguire su sistemi workstation che fino a pochi anni fa erano ad uso esclusivo dei datacenter. E soprattutto le nuove workstation AI di nVidia e AMD consentono di immaginare un futuro in cui modelli fino 300B si possano eseguire localmente senza investimenti a cinque o sei zeri. Conviene quindi cominciare a sperimentare con i modelli open weight di queste dimensioni per accelerare l’adozione di una AI che sia sostenibile anche in costi infrastrutturali per progetti piccoli, per poi utilizzare i cloud con modelli open weight o di frontiera per affrontare i problemi più complessi.
In ogni caso è imperativo cominciare a familiarizzare con queste nuove architetture per disegnare consapevolmente il proprio futuro IT.
Partecipa alla community