Nel mese di agosto OpenAI ha rilasciato i primi modelli open weight della propria storia recente (i primi LLM dopo GPT 2), suscitando un certo clamore anche se il successivo rilascio, a distanza di pochi giorni, di GPT-5 ha rapidamente distolto l’attenzione da questo importante annuncio.
Indice degli argomenti
Il ritorno di OpenAI all’open source
Si tratta di un passo importante per molte ragioni: da una parte il ruolo di OpenAI è ancora centrale nell’evoluzione delle tecnologie LLM, dall’altra l’ultimo rilascio di un modello open weights risale al modello GPT-2 ben prima che ChatGPT fosse lanciato e cambiasse il mondo. In realtà la compagnia aveva rilasciato qualche modello open come Whisper e CLIP, ma non si trattava di modelli LLM orientati alla conversazione come ChatGPT. Il rilascio getta qualche luce anche su come vengono addestrati i modelli da OpenAI, ad esempio il post-training ha seguito un processo simile a quello seguito per l’addestramento del modello o4-mini.
Sono stati rilasciati due modelli, uno da venti e l’altro da centoventi miliardi di parametri e sono disponibili sia sul sito Hugging face che attraverso sistemi per l’esecuzione di modelli come il popolare ollama che ne consente una facile esecuzione.
Prestazioni competitive dei modelli aperti
Un aspetto molto interessante dell’articolo che ha accompagnato il rilascio sono i confronti di questi modelli open weight di OpenAI con modelli blasonati della compagnia come, ad esempio, i modelli o3 e o4-mini. Appare evidente come questi modelli non siano modelli minori ma mostrino in benchmark importanti delle prestazioni di tutto rispetto indicando come il rilascio non sia un semplice specchietto per le allodole.
In alcuni casi anche il modello più piccolo si comporta meglio di modelli come o3-mini, un modello che solo pochi fa consideravo tra i migliori.
Architettura Mixture of Experts: efficienza e innovazione
L’architettura scelta per questi modelli è quella del Mixture of experts, un approccio in cui sostanzialmente nell’esecuzione della rete si attiva solo una parte dei pesi riducendo in modo significativo il carico computazionale rispetto a modelli monolitici (ma la memoria rimane molto importante per contenere il modello ed assicurare un’esecuzione efficiente). Era stata l’azienda europea Mistral a portare alla luce del grande pubblico questo approccio con un modello da 56B formato da sette esperti da 8B ciascuno.
Nel caso dei modelli OSS il numero di esperti scelto è decisamente superiore, ed in effetti il comportamento nei test che ho effettuato e di cui parleremo a breve mostra una notevole efficienza.
Quando ho letto inizialmente la struttura dei due modelli non ho potuto non pensare alle affermazioni di Altman al tempo del rilascio di GPT-4 in cui disse che molti speculatori sarebbero rimasti molto delusi se avessero visto l’architettura in un momento in cui tutti speculavano modelli monolitici con triliardi di parametri. Magari questi modelli gettano un po’ di luce sull’architettura dei modelli chiusi e più blasonati.
Come testare GPT-OSS in locale
Come si possono provare questi nuovi modelli? Il modo più semplice è quello di usare ambienti come Ollama o LM Studio e scaricare il modello GPT-OSS scelto. Se si intende provarlo sul proprio computer probabilmente è consigliabile utilizzare la versione 20B, infatti ciascun esperto usa circa 600M di parametri in questo caso contro quasi 1B usato da un esperto della versione 120B. Soprattutto la versione più grande richiede decisamente più memoria per l’esecuzione.
Test pratici: ragionamento e prestazioni
Personalmente ho fatto i miei test su un laptop ARM con uno Snapdragon X con 12 core e una GPU Qualcomm Adreno, eseguendo il modello 20B nel sottosistema Linux di Windows. La prima cosa che colpisce dei modelli è che effettuano ragionamento, sono un po’ più lenti a rispondere ma le risposte sono decisamente più accurate dei modelli open che ho avuto modo di testare. Anche le prestazioni risultano buone data la dimensione dei modelli, e per la prima volta sono riuscito ad ottenere da un modello on-prem capace di eseguire sul mio laptop delle buone risposte a domande che ricevo sul sistema open source Oraculum.
Quasi un anno fa scrivevo di o1-mini e dei primi modelli capaci di ragionare, ponendo indovinelli e questioni logistiche. Sicuramente non mi aspettavo che dopo meno di un anno avrei potuto eseguire la stessa domanda ed ottenere la risposta sul mio laptop completamente offline:
“Senti ho pescato 5 casse di pesci, ho due mezzi uno che porta 1 scatola e l’altro 2 ma il primo ci mette 20 min per portarlo il secondo 35. Come mi conviene organizzare i viaggi?”
L’esecuzione in poco meno di 2 minuti ha generato stessa risposta del primo modello o1-mini di OpenAI che ragionava. Una velocità che sembrava riservata solo ai grandi. La risposta è stata quella corretta, una risposta che GPT-4o non era capace di produrre.
Limiti linguistici e specializzazioni
Il modello 20B è dichiaratamente addestrato privilegiando l’inglese e l’elaborazione del codice, non stupisce quindi che quando ho chiesto di decifrare un messaggio il modello abbia faticato non poco, anche seguendo la stessa strategia di o1 ma con una minora comprensione dell’italiano.
Applicazioni RAG e confronti prestazionali
Un’applicazione sempre più popolare dei modelli, soprattutto quelli piccoli, è quella di interpretare i dati provenienti da un vector database secondo l’architettura RAG.
Il sistema open source Oraculum è impiegato presso il mio Ateneo dal dicembre 2023 usando l’API di OpenAI. Per la prima volta un modello open weight è riuscito a dare risposte paragonabili a quelle di modelli online a parità di input.
Prospettive future dell’AI locale
Dopo due anni spesi a testare modelli LLM capaci di eseguire sul mio laptop per la prima volta i modelli di OpenAI mi hanno mostrato comportamenti che lasciano intravedere applicazioni realistiche e risposte a prompt che sono confrontabili con modelli disponibili solo on-line.
I modelli GPT-OSS sembrano quindi molto più rilevanti di quanto si pensasse: in molti osservatori era nota la convinzione che OpenAI si sentisse pressata per un rilascio di modelli open ma i modelli rilasciati sarebbero stati solo modelli giocattolo. Non sembra questo il caso: i modelli funzionano molto bene e soprattutto sembrano aprire qualche spiraglio sull’approccio seguito da OpenAI al proprio interno. La scelta di avere un grande numero di esperti e di fornire un modello che ragiona lascia pensare che questi siano analoghi ai modelli interni e che forse il mega modello che molti ipotizzavano in fondo non esiste.
Fa piacere il contributo anche se rimane il problema che i modelli open weight non sono interamente aperti. Speriamo che questo rilascio spinga altri big a rilasciare modelli significativi che contribuiscano comunque alla crescita dell’ecosistema open, un elemento che ricopre un importante ruolo nel panorama dell’AI odierna.
