A pochi giorni dall’annuncio della disponibilità dei modelli GPT 5.6 per competere con Fable 5 anche i grandi produttori AI cinesi hanno rilasciato i nuovi modelli dimostrando un costante avvicinamento ai modelli Americani. I modelli Kimi K3 e Qwen 3.8 Max sembrano capaci di competere con i modelli della Silicon Valley e, nonostante il presidente Xi stia considerando di impedire questa pratica, sono rilasciati anche come Open weight. In attesa di conoscere i dettagli del nuovo modello Qwen di Alibaba per ora solo annunciato diamo uno sguardo al nuovo Kimi K3, per capire le caratteristiche di un modello di classe Mythos e alla dimensione di un modello che quantomeno può confrontarsi con i modelli di frontiera.
Indice degli argomenti
Kimi K3 e l’avanzata dei modelli open weight cinesi
Sul sito si trovano i dettagli del nuovo modello insieme ad alcuni dettagli su come è stato addestrato. Sono informazioni utili per capire come questi modelli mastodontici sono realizzato e perché richiedano così tante risorse di calcolo per la loro esecuzione. Si pensi che l’esecuzione del modello richiede 1TB di memoria GPU, una quantità di memoria che è disponibile solo condividendo la memoria di più schede e sicuramente al di là della disponibilità dei molti; quindi anche se è open weight non c’è da illudersi di poterlo provare sui propri sistemi.
Dimensioni, MoE e memoria GPU
I numeri del modello sono impressionanti: si tratta di un modello da 2,8 tera parametri (2.800 miliardi di parametri), ed è un modello sparso, ovverosia ha un’architettura Mixture of Experts (MoE) con 896 esperti di cui 16 alla volta sono attivi per token. Per mettere questi dati in prospettiva basta ricordare che GPT-3.5 era un modello da 175 miliardi di parametri, quindi in poco meno di quattro anni la dimensione dei modelli di punta è cresciuta di un fattore 16x.
Ma ormai abbiamo imparato che le architetture con grandi quantità di parametri ormai non sono più dense, ovverosia il calcolo di un token non attiva tutti i parametri ma solo dei sottoinsiemi che chiamiamo esperti. In questo caso il modello attivando 16 esperti per token si limita ad attivare 50 miliardi di parametri per volta. Nuovamente, per mettere in prospettiva questo numero basta pensare che la generazione di 3 caratteri circa costa circa cinquanta miliardi di operazioni matematiche (pensiamoci la prossima volta che chiediamo quanto fa 2+2 ad un modello AI).
Contesto, multimodalità e ragionamento
La finestra del contesto è ormai quella standard da un milione di token, e il modello supporta nativamente input multimodale, supportando testo e immagini. Il modello usa un meccanismo di attenzione ibrido per contenere il costo computazionale della finestra di contesto, un tema tecnico ma molto importante per determinare la qualità del modello. Il modello è stato anche rilasciato con la modalità ragionamento sempre attiva, indicazione che il modello ha una buona capacità di modulare il tempo di ragionamento a seconda del prompt anche se, a detta di Kimi stessa, questa scelta tende a consumare un po’ più di token rispetto ad un modello senza ragionamento.
Swarm e agenti software
Parametri a parte un aspetto interessante del modello è sicuramente costituito dallo swarm, ovverosia un supporto esplicito all’esecuzione multi-agente. Non è chiaro dalla documentazione in cosa consista esattamente la modalità swarm e cosa significhi davvero che è parte del modello l’esecuzione multiagente. Questa modalità sembra essere indirizzata a supportare quegli scenari in cui l’esecuzione in parallelo possa accelerare l’esecuzione di compiti multi-agente senza dover sequenzializzare le operazioni, e questo è un aspetto sempre più importante soprattutto per gli agenti che sviluppano codice e che devono analizzare grandi repository di codice.
Benchmark e costi di Kimi K3 nella corsa AI
Sebbene i dati dei benchmark siano sempre più difficili da interpretare è interessante osservare come ciascuna entità che annunci un nuovo modello presenti le prestazioni e i confronti con gli altri modelli. Kimi non fa eccezione, e seppur riconoscendo l’esistenza del gap con i modelli di frontiera il modello viene presentato come “just behind the very top of the closed frontier”.
Il confronto con i modelli americani
E, anche se osservatori come Ethan Mollick mettono in guardia sul comportamento in aree specifiche più distante dai grandi modelli da quanto ci si aspetti, il nuovo modello sembra indiscutibilmente superare le prestazioni dei modelli Opus 4.8 e GPT 5.5. Le maggiori prestazioni rispetto a Opus 4.8 in particolare sollevano degli interrogativi sulla politica di Anthropic che sembra voler restringere Fable alle chiamate API lasciando un modello che a questo punto mostra limiti evidenti sulla competizione non solo di OpenAI ma anche dei grandi modelli cinesi.
Prezzi, token e sviluppo software
Sul lato dei costi i prezzi del nuovo modello sono molto competitivi rispetto alle controparti americane, basti pensare che per i token in input Fable 5 costa 33 volte Kimi K3 e GPT 5.6 Sol 16 volte, mentre il rapporto scende a 3x e 2x rispettivamente per i token di output; si tratta di costi che rendendo molto appetibile il modello per chi intende svolgere compiti che richiedono l’elaborazione di grandi quantità di dati e in particolare nell’ambito dello sviluppo di software dove Kimi sembra volersi posizionare anche grazie alla variante swarm del modello.
Modelli cinesi open weight e infrastrutture AI
È sempre più difficile capire le novità dei nuovi modelli di frontiera, si tratta di modelli enormi con capacità sempre più sofisticate. La natura open weight dei modelli cinesi consente ancora di avere un’idea di cosa succede all’interno del modello, ma è possibile che questi siano gli ultimi modelli rilasciati in questa modalità. Ma in ogni caso le informazioni di questo modello e, presumibilmente quelle che saranno rilasciate per Qwen 3.8 Max, consentono di aver un’idea sulle effettive dimensioni e sui costi computazionali collegati.
Sicuramente il rilascio in modalità aperta non li rende praticamente eseguibili da organizzazioni che hanno datacenter anche di taglia media, ma consentono di valutare gli investimenti necessari per eseguire un modello quasi di frontiera al giorno d’oggi. Le risorse in gioco sono così elevate che è comprensibile la corsa alla realizzazione di AI factories capaci di eseguire questa nuova generazione di AI, anche se modelli più piccoli offrono già capacità utili che realisticamente si possono impiegare localmente.
Ma se cinquanta miliardi di operazioni matematiche e 1TB di RAM sono necessari per generare 3 caratteri sarebbe opportuno che anche l’Italia e l’Europa si dotassero di infrastrutture adeguate per non rimanere ferme con un pugno di regolamenti e in balia di USA e Cina.
Partecipa alla community