Sulla pagina che Artificial Analysis dedica ai modelli disponibili presso Mistral, il più capace non è francese. È GLM-5.2, cinese, con 39 punti di indice; i modelli del campione europeo seguono più in basso, il migliore a 15. Il laboratorio su cui l’Europa ha costruito quasi per intero il proprio discorso sull’autonomia tecnologica offre come opzione più potente del proprio catalogo un modello sviluppato a Pechino.
Il dato arriva mentre lo strumento che lo misura sta attraversando la fase più instabile della sua storia. Artificial Analysis, la società indipendente che pubblica l’Intelligence Index, ha rilasciato la versione 4.2 il 4 settembre e la 4.3 il 7, dopo otto mesi di stabilità sulla versione uscita a gennaio, e in mezzo la graduatoria dei modelli di frontiera si è riordinata senza che i modelli venissero toccati. Per chi scrive capitolati, valuta offerte o costruisce politiche industriali su questi numeri, la sequenza pesa più della classifica.
Indice degli argomenti
Artificial Analysis, dalla versione 4.2 alla 4.3
Le due revisioni non sono cosmetiche. La 4.2 fa entrare una prova sul lavoro di conoscenza agentico con progetti lunghi settimane e migliaia di file sorgente, e una seconda costruita su cento documenti per 4.592 pagine complessive con 1.275 criteri di valutazione scritti da esperti; esce la prova di ragionamento scientifico che i modelli avevano ormai saturato. La 4.3, tre giorni dopo, aggiorna il banco di prova da riga di comando alla versione 4.0 e introduce l’implementazione del banco di Zapier su 657 flussi di lavoro aziendali, dove qualsiasi violazione di una regola azzera il punteggio del compito anche se il resto è stato svolto correttamente.
Artificial Analysis dichiara di aver anticipato pezzi della versione 5 perché il fronte si muove troppo in fretta perché l’indice resti utile così com’è. È una scelta metodologicamente difendibile e istituzionalmente scomoda: il termometro insegue la febbre, e chi lo consulta trova un valore diverso a distanza di settantadue ore.
L’effetto si legge sui modelli. GPT-6 Astra il 3 settembre valeva 61 punti, esattamente quanto il modello che sostituiva, e il 7 ne vale 53 in testa alla graduatoria a pari merito con Claude Fable 5.1, seguiti da Claude Opus 5 a 51, Claude Fable 5 a 50, Muse Spark 1.3 di Meta a 48 e GPT-5.6 Sol a 47. Nessuno di questi modelli è stato riaddestrato in quei quattro giorni. Sono cambiate le prove: sono entrate quelle in cui un agente lavora dentro strumenti reali, ed è uscita quella su cui i modelli avevano smesso di distinguersi.
Un secondo aspetto riguarda l’oggetto stesso della misura, ed è quello che rende più fragile l’uso amministrativo di questi numeri. L’indice non classifica modelli, classifica configurazioni. Il primo in graduatoria compare come “massimo sforzo con fallback”, cioè con il ragionamento esteso al massimo e il reindirizzamento automatico verso un altro modello attivo per alcune categorie di richieste; del modello di OpenAI sono in classifica cinque livelli di sforzo diversi, con punteggi e costi che cambiano parecchio fra l’uno e l’altro; il punteggio di Meta è misurato su una modalità che l’azienda aveva annunciato come a disponibilità limitata in attesa di verifiche di sicurezza. La riga di classifica e il servizio che un ente può effettivamente attivare, con le proprie credenziali e le proprie condizioni contrattuali, non sempre coincidono.
Il 45% di prove riservate
La revisione più rilevante per chi ragiona in termini di governance riguarda la trasparenza delle prove. Il peso delle valutazioni con domande o risposte tenute riservate era il 20% a gennaio, è salito al 40% con la versione 4.2 e al 45% con la 4.3.
Fonte: elaborazione dell’autore su changelog Artificial Analysis, Intelligence Index v4.2 e v4.3
La motivazione dichiarata è impedire ai laboratori di ottimizzare i modelli sulle domande di esame invece che sul lavoro reale, e in un mercato dove i benchmark pubblici si saturano nel giro di mesi è una difesa ragionevole. Il rovescio riguarda tutti gli altri: quasi metà del giudizio di capacità che circola nei consigli di amministrazione e nelle relazioni tecniche di gara si fonda su prove che nessun soggetto terzo può replicare, contestare o sottoporre a verifica indipendente.
Per un’amministrazione che deve motivare una scelta tecnologica in un atto amministrativo, la differenza fra un dato verificabile e un dato attendibile ma non ripetibile è sostanziale. Nel diritto degli appalti la motivazione deve poter essere sindacata, e un punteggio composito prodotto da un soggetto privato, calcolato per il 45% su materiale riservato e revisionato due volte in una settimana, regge male il peso che gli stiamo mettendo addosso.
GLM-5.3 e Kimi K3 a nove punti
Ad agosto i due migliori modelli a pesi aperti, il cinese GLM-5.3 e Kimi K3, segnavano 60 punti contro i 63 del migliore proprietario, tre punti di distanza, il 5%. Sulla versione 4.3 restano in testa agli open weights con 44 punti contro i 53 dei primi: nove punti, il 17%. Gli stessi modelli, non aggiornati fra le due rilevazioni.
Fonte: elaborazione dell’autore su dati Artificial Analysis, Intelligence Index v4.1.1 e v4.3
Le letture possibili sono due, ed entrambe hanno conseguenze. La prima è che i banchi di prova pubblici e ormai saturi mascheravano una distanza reale, che prove più difficili e riservate fanno emergere; se è così, l’idea che i modelli aperti avessero raggiunto la frontiera era in parte un artefatto della misura. La seconda è che l’indice ha cambiato oggetto, spostandosi verso il lavoro agentico dentro strumenti reali, che è esattamente la direzione in cui i laboratori occidentali hanno investito di più; se è così la parità non è scomparsa, si è spostata su un altro terreno e va ridiscussa carico per carico.
Nessuna delle due letture autorizza a dire che i modelli cinesi siano diventati peggiori in una settimana, e nessuna delle due autorizza il contrario. Entrambe raccomandano prudenza a chi ha impostato una strategia di adozione sul presupposto della parità raggiunta.
Artificial Analysis e il catalogo di Mistral
Il dato da cui siamo partiti merita di essere maneggiato con precisione, perché è un fatto commerciale prima che tecnologico. Mistral distribuisce sulla propria piattaforma diciannove modelli, e fra questi ne serve anche di terzi; quello con il punteggio più alto risulta oggi GLM-5.2 del laboratorio cinese Z.ai, seguito dai modelli di casa. La società francese resta il principale attore europeo per capitali, occupati e infrastruttura, ma la sua offerta di punta in termini di capacità misurata passa da pesi sviluppati altrove.
C’è una lettura consolatoria e una scomoda. Quella consolatoria dice che i modelli sono open weight con licenze permissive, che possono girare su infrastruttura europea sotto controllo europeo, e che la sovranità che conta è quella sul luogo dove i pesi vengono eseguiti e sui dati che li attraversano, non sulla nazionalità di chi li ha addestrati. Ha basi solide, ed è la strada che molte amministrazioni stanno già percorrendo.
L’altra ricorda che chi addestra il modello decide cosa il modello sa fare, come si comporta nei casi limite, quali lingue tratta meglio e quali valori incorpora nelle risposte, e che ogni servizio costruito sopra pesi altrui consolida una dipendenza tecnologica che nessuna clausola contrattuale rimuove. Le due letture non si escludono, e la politica industriale europea le sta trattando come alternative quando sono due livelli diversi dello stesso problema.
Soglie sull’Intelligence Index nei capitolati
La conseguenza operativa è che una soglia di punteggio dentro un capitolato è un’ancora che si muove. Una clausola del tipo “modello con punteggio non inferiore a X sull’indice Y” era già discutibile ad agosto, oggi rimanda a una grandezza che è stata ridefinita due volte in quattro giorni e che verrà ridefinita ancora con la versione 5 annunciata come imminente.
Il ricorso a più indici non risolve, perché gli indici stanno divergendo. La programmazione si misura su una graduatoria separata che valuta coppie di modello e ambiente di lavoro, dove l’ordine cambia rispetto a quello generale. Il video si misura in arene dedicate con punteggi calcolati su voti umani in cieco, e in testa compaiono modelli che nella classifica di intelligenza non figurano affatto. Nelle dieci prove dell’indice principale non c’è niente che tocchi i mondi virtuali o i sistemi interattivi in tempo reale.
Fonte: elaborazione dell’autore su dati Artificial Analysis, Intelligence Index v4.3
Il costo si comporta allo stesso modo. A parità di punteggio 53, un modello costa in media 3,26 dollari per compito e l’altro 7,63, con listino identico; a parità di punteggio 42, la distanza fra 25 centesimi e 1,40 dollari è di cinque volte. Su carichi reali le proporzioni cambiano ancora, perché in un agente collegato a strumenti esterni gran parte dei token sono risultati delle chiamate e non dipendono dal modello scelto, e la decisione di riusare il contesto invece di rimandarlo integralmente vale sulla bolletta più della scelta del fornitore.
Ne discende un criterio praticabile per il procurement pubblico ed enterprise: sostituire le soglie di punteggio con l’obbligo di prova sul carico dell’amministrazione, cioè un insieme di compiti reali, definiti dalla stazione appaltante, su cui i fornitori dimostrano risultato e costo per compito completato, con la configurazione dichiarata per esteso. Costa più tempo di una riga in un capitolato, e produce una motivazione che regge in giudizio.
La costruzione di quel banco di prova è meno onerosa di quanto sembri, perché il materiale esiste già dentro l’ente sotto forma di pratiche chiuse, richieste ricorrenti, documenti da istruire, e serve soprattutto la disciplina di fissare in anticipo cosa si considera una risposta accettabile. Chi lo ha fatto si porta a casa due cose che nessuna classifica fornisce: una misura che non cambia quando cambia l’indice, e la possibilità di sostituire il modello sottostante senza rimettere in discussione l’intero servizio, che in un mercato dove la vetta si riordina ogni settimana vale quanto una clausola di reversibilità.
Resta il quadro regolatorio, che nel frattempo si è allungato. Dal 2 agosto si applicano gli obblighi di trasparenza dell’AI Act su interfacce conversazionali e contenuti sintetici insieme al regime sanzionatorio, mentre il pacchetto Digital Omnibus ha spostato a fine 2027 gli obblighi sui sistemi ad alto rischio. Quella finestra è tempo guadagnato per costruire capacità di valutazione interna, che è la sola cosa che non dipende da chi pubblica la classifica.
L’Europa ha passato tre anni a discutere se costruire i propri modelli. La questione che le si presenta adesso è più stretta e più praticabile: chi misura le capacità dei sistemi su cui poggiano servizi pubblici, sanità e istruzione, con quali prove e con quale possibilità di verifica da parte di terzi. Un laboratorio di valutazione indipendente, finanziato con denaro pubblico europeo e con banchi di prova aperti alla revisione, costerebbe una frazione di un data center e peserebbe più a lungo di una classifica che dura quattro giorni, perché deciderebbe le regole con cui si giudica anche il catalogo di Mistral e di chiunque venga dopo.
Partecipa alla community