Come sempre accade nel frenetico mondo dell’AI quando pensavi di avere un ragionevole controllo sullo stato delle cose tutti cominciano a parlare di un nuovo modello e ti senti di nuovo all’inizio.
Recentemente è successo per Jev, un cosiddetto modello di decisione, sviluppato da un ex-OpenAI.
Jev ha scosso il mondo dell’AI al punto che OpenAI ha rilasciato un proprio modello che svolge un compito analogo e anche Microsoft ha appena annunciato il modello MD-1 (Model Decision 1).
Ma di cosa si tratta? E perché i modelli di decisione sono divenuti così importanti in così poco tempo? Cerchiamo di scoprirlo prima con qualche esempio e poi con un’applicazione che ho sviluppato in “vibe coding” per provarli.
Indice degli argomenti
Modelli di decisione AI nei processi aziendali
Un compito classico di qualsiasi programma è quello di classificare l’informazione, ad esempio etichettare un testo come il contenuto di una email come importante o meno, oppure un’immagine in cui si vuole sapere se contiene o meno una persona.
Gli LLM hanno dimostrato una notevole capacità di analizzare l’input, sia esso testuale o in formato immagine, e sembra naturale l’idea di specializzarne il funzionamento per etichettare i dati in ingresso e generare una risposta strutturata in accordo alle istruzioni per la classificazione invece di ottenere una risposta testuale che costa generare e che va poi elaborata.
Da questa semplice idea nascono questi nuovi modelli che, grazie alla semplice formulazione, consentono di svolgere un compito molto importante nello sviluppo di sistemi beneficiando della capacità degli LLM di comprendere in modo flessibile l’input per prendere decisioni all’interno di un sistema tradizionale. Inoltre, la formulazione semplificata rende la loro esecuzione molto efficiente, consentendo di superare le trecento classificazioni al minuto su un hardware accessibile a molti, soprattutto in ambito aziendale (basta una workstation con una GPU).
Da un punto di vista aziendale questi modelli affrontano in modo efficace la questione di impiegare l’AI generativa in un processo produttivo: qualsiasi software già in essere ha al suo interno comportamenti decisionali che dipendono da dati utente, siano essi immagini da telecamere, documenti da analizzare, o qualsiasi altro tipo di informazione che va classificata per decidere come trattarla.
Soprattutto nel caso di input complessi molte euristiche tradizionalmente impiegate per compiere queste decisioni possono essere sostituite dal giudizio di un modello AI ottenendo ad un costo computazionale contenuto decisioni migliori e più efficaci che possono migliorare la qualità dell’intero processo e soprattutto questi modelli sono sufficientemente piccoli da poter essere eseguiti localmente e non necessariamente in cloud consentendo un’applicazione senza il problema del trattamento del dato da parte di terzi.
Come funzionano i modelli di decisione con clef-flash 9B
Vediamo subito un esempio di input e output del modello clef-flash 9B disponibile con ollama:
Come si indovina facilmente dalla richiesta nel campo state è presente l’informazione da classificare mentre nel campo questions sono indicate le domande a cui si vuole risposta, che possono essere di vario tipo (in questo esempio binarie, con etichette, e con un punteggio) e per ciascuna si possono specificare i criteri che portano ad una particolare classificazione.
Il modello risponde quindi con le informazioni rilevanti per ciascuna domanda indicando anche le probabilità che attribuisce ad ogni possibile risposta e la confidenza che il modello ha nella classificazione proposta. Nell’esempio si classificano comunicazioni in quello che potrebbe essere un router di informazioni all’interno di un’organizzazione che deve decidere chi gestisce un problema.
Un modello di decisione non è però una nuova forma di AI, si tratta piuttosto di un modello LLM raffinato per dare risposte strutturate a delle domande, e questo rende questi modelli estremamente interessanti perché subito impiegabili in un software tradizionale. Inoltre, le prestazioni di un modello piccolo come un 9B sono decisamente adeguate per molte applicazioni e offrono quindi un’efficace uso dell’AI su sistemi propri e non solo a sistemi online.
Decisioni in tempo reale con i modelli AI
Una delle demo che ha subito colpito e reso popolari i modelli di decisione è stata quella dell’AI che gioca ad un videogioco arcade prendendo in ingresso il fotogramma corrente del gioco e decidendo tra le poche mosse disponibili la prossima mossa.
Si tratta di un compito di classificazione in cui si vuole decidere l’azione in base a quello che vede il modello ed è stata una demo di incredibile successo perché ha dato naturalmente l’idea di come l’AI possa eseguire compiti anche in tempo reale grazie alla rapidità di svolgimento del compito affidato.
I videogiochi storicamente rappresentano compiti di decisione, spesso con vincoli di tempo, che noi umani affrontiamo per divertimento ma che hanno molti degli elementi comuni a problemi del mondo reale, sono quindi una palestra per mettere alla prova modelli alla ricerca di capacità e limiti.
Nel caso dei modelli di decisione AI giocare ad un videogioco arcade consente di valutare la capacità di elaborare immagini (i frame del gioco) e prendere decisioni che hanno qualche strategia anche senza avere memoria (ma potenzialmente si possono includere più frame nel prompt).
Tetris e clef-flash come banco di prova
Ho pensato quindi di provare anche io a sviluppare con l’aiuto di Codex (con GPT 5.6 Sol medio) un semplice arcade da controllare con uno di questi modelli per capire effettivamente il funzionamento e l’efficacia al di là delle demo che circolano online.
Tetris, oltre ad essere un gioco della mia infanzia, è un gioco arcade che richiede un po’ di ragionamento spaziale e mi sembrava un’ottima palestra per mettere alla prova un modello relativamente piccolo come clef-flash capace con i suoi nove miliardi di parametri di prendere 350 decisioni circa al minuto su un hardware GB10 relativamente economico e soprattutto non basato su una GPU in datacenter.
Ho generato quindi un ambiente di prova che ho reso disponibile su GitHub e la cui base è stata generata col semplice prompt: “Vorrei fare una semplice demo dell’uso dei decision models. Puoi generare una semplice applicazione .NET 10 per giocare a tetris e poi lo instrumenti per usare clef-flash con ollama e videogiocare automaticamente?”.
Codex mi ha generato un client HTML5 con l’interfaccia e la logica di gioco ed un server scritto in C# che si interfaccia col modello.
In realtà il server fa qualcosina di più: seleziona le 20 mosse più ragionevoli tra le 41 possibili (10 colonne, quattro rotazioni e il drop), ed è un esempio di come un software possa utilizzare il modello senza delegargli interamente la logica (anche se è stata un’altra AI a generare il codice di selezione…).
Dal prompt agli input del modello di decisione
GPT-5.6 Sol mi ha generato alcune metriche (integrando i risultati di alcuni lavori scientifici) ma dopo un po’ di prompt ho ottenuto un’interfaccia che mi permette di controllare in parte cosa viene mandato al modello di decisione. Ho anche consentito di scegliere se mandare l’immagine della scacchiera oppure una sua rappresentazione testuale per misurare come il modello si comportasse con due input radicalmente diversi.
Ecco un esempio di stato da giudicare acquisito durante il gioco:
E le domande che vengono poste al modello sono le seguenti:
Il modello risponde assegnando una probabilità a ciascuna opzione ricevuta e stimando un grado di confidenza nella propria risposta.
Cinque decisioni al secondo su hardware locale
L’esecuzione sul mio portatile richiedeva circa 1 minuto per decisione, ma non appena ho utilizzato una workstation con architettura GB10 (quella della DGX Spark) ho ottenuto cinque decisioni al secondo, un numero sufficiente per osservare una partita fluida.
Il risultato è stato un giocatore che anche senza usare metriche complesse e giudicando solo sulla rappresentazione testuale della scacchiera gioca in modo eccellente riuscendo anche a recuperare situazioni (create manualmente) in cui molte righe sono già occupate come mostra il seguente video:
<<ClefFlashTetrisEn-Started.mp4>>
Perché i modelli di decisione AI possono cambiare il software
La prima cosa che mi ha colpito è stata che grazie al vibe coding e ai modelli di decisione ho realizzato in poco meno di mezz’ora da zero un prototipo pienamente funzionante di un videogioco che viene giocato col supporto dell’AI.
Certo, dopo ho letto un po’ il codice e mi sono convinto che stesse facendo le cose giuste, ma un progetto del genere mi avrebbe richiesto una settimana pochi anni fa, e sicuramente la mia interfaccia grafica sarebbe stata più spartana.
Ma se concentro l’attenzione sul modello di decisione stesso devo dire che mi ha sorpreso ancora di più: in fondo ho scritto pochi prompt confidente che il modello conoscesse già le regole del gioco e con pochi aggiustamenti ho ottenuto un giocatore autonomo che in passato avrebbe richiesto un training set, un test set e molti cicli di apprendimento (mio e della macchina) per ottenere un risultato paragonabile.
Mi sono sentito come uno che ha scalato una montagna in elicottero invece che a piedi, certo mi sono perso il viaggio, ma se guardo al risultato a un costo molto basso ho ottenuto un ottimo risultato.
Viene quindi da chiedersi in quanti punti i nostri software hanno codice che prende decisioni usando euristiche di varia natura e che potrebbero essere facilmente sostituite con la richiesta ad un modello decisionale? Secondo me molti.
Inoltre, la possibilità di esprimere in linguaggio naturale i criteri della scelta consente anche di spostare una parte della configurazione di un software all’esterno: criteri di decisione ora possono essere, almeno in parte, esposti per poter essere aggiustati nel tempo (e con il semplice uso del linguaggio naturale).
Sembra quindi che i modelli di AI decisionale siano una novità su cui vale la pena investire da subito perché offrono una facile scorciatoia all’inserimento dell’AI generativa nei sistemi affrontando un problema più circoscritto degli altri modelli e proprio per questo più facile da impiegare efficacemente.
Partecipa alla community