Le capacità emergenti dei modelli linguistici di grandi dimensioni rappresentano un fenomeno chiave nello sviluppo recente dell’intelligenza artificiale. Queste nuove abilità, che si manifestano solo in modelli di dimensioni maggiori, aprono scenari profondamente trasformativi sia dal punto di vista tecnico che operativo, anche nel contesto della Pubblica Amministrazione.
Indice degli argomenti
Cosa sono e come si manifestano le capacità emergenti LLM
In pratica, a mano a mano che aumentano i parametri e i dati di addestramento, questi sistemi raggiungono una complessità tale da far “emergere” funzionalità inaspettate, non programmate esplicitamente dagli sviluppatori. Prima del 2022 si assumeva che le prestazioni delle reti neurali migliorassero in modo graduale e continuo all’aumentare di neuroni, strati e parametri. L’idea di un miglioramento brusco e non lineare era solo teorica – possibile ma mai osservata – finché i risultati recenti hanno dimostrato che avviene anche in pratica.
Il fenomeno è diventato oggetto di dibattito tra gli studiosi: molti lo considerano una svolta reale, altri restano scettici sulla sua interpretazione, ma tutti concordano che queste nuove abilità pongono sfide e opportunità inedite per la comunità scientifica e per l’industria.
In letteratura, una abilità emergente viene formalmente definita come “una capacità assente nei modelli piccoli, ma presente nei modelli grandi”.
Non si tratta dunque di un semplice perfezionamento di capacità già esistenti: è qualcosa di qualitativamente nuovo che il modello inizia a saper fare solo oltre una certa soglia. Jason Wei, ricercatore di Google, ha elencato oltre 100 esempi documentati di abilità emergenti osservate nei vari Large Language Model o LLM man mano che si incrementava la scala del modello.
Questo ci suggerisce che l’emergenza non è un caso raro: molti compiti sembrano “accendersi” improvvisamente quando l’AI raggiunge dimensioni sufficienti.
I salti di prestazione degli LLM e le soglie dell’emergenza
Una caratteristica cruciale delle capacità emergenti è che non aumentano in modo lineare, bensì manifestano salti improvvisi oltre una soglia critica di complessità. In altri termini, finché il modello rimane sotto quella soglia, la performance in un certo compito resta pari al “casuale” (o comunque molto bassa); ma superata una certa scala di parametri o dati, le prestazioni “esplodono” improvvisamente ben oltre il livello precedente.
Gli esperimenti mostrano ad esempio che molti compiti di tipo few-shot – in cui si chiede al modello di imparare da pochi esempi – rimangono irrisolti dai modelli piccoli (che vanno poco oltre il tirare a indovinare) fino a un certo punto, dopo il quale il modello di maggiori dimensioni li risolve con successo ben sopra il livello di causalità.
Questo indica l’esistenza di punti di svolta legati alla scala: il comportamento dell’AI cambia in modo qualitativo quando la potenza cresce sufficientemente. Le ragioni precise di questi salti non sono ancora del tutto chiare. Probabilmente, superata una massa critica di parametri e di conoscenza appresa, la rete neurale sviluppa rappresentazioni interne più astratte e generali. Si ipotizza che inizi a combinare le informazioni in modi nuovi e più complessi, scoprendo strategie risolutive invece di limitarsi a pattern superficiali. Importante è capire che la soglia di emergenza varia da compito a compito: ogni abilità può “accendersi” a scale diverse.
Inoltre, i fattori in gioco sono molteplici (numero di parametri, quantità e qualità dei dati, tipo di addestramento) e l’emergenza è il risultato combinato di queste variabili
La visione scettica: le capacità emergenti sono illusioni metriche?
Vale la pena notare che non tutti gli esperti concordano sul fatto che queste capacità siano del tutto “misteriose”. Un recente studio dell’Università di Stanford ha suggerito che ciò che chiamiamo emergenza potrebbe in parte dipendere da come valutiamo i modelli: se utilizziamo benchmark con soglie di successo (es. domande a scelta multipla con punteggio minimo), è facile vedere un balzo improvviso da 0 a 1 (da fallimento a successo) quando il modello supera quel punteggio.
Secondo i ricercatori di Stanford, le doti apparentemente nuove dei modelli giganti potrebbero essere una sorta di miraggio statistico, un’illusione dovuta ai benchmark scelti, più che un fenomeno magico reale.
Verso modelli più piccoli e mirati: un’alternativa ai giganti?
Questa visione “scettica” smonta un po’ il mito dei modelli enormi, sostenendo che spesso un modello più piccolo e specializzato potrebbe bastare per molti compiti
La questione è aperta: da un lato i salti prestazionali ci sono e sono utili, dall’altro è giusto indagare meglio perché avvengono e se si possano ottenere anche senza aumentare indiscriminatamente le dimensioni.
Esempi concreti di capacità emergenti
Quali sono, in pratica, queste nuove capacità che compaiono solo nei modelli più grandi? La ricerca ne ha individuate molte, spesso sorprendenti. Eccone alcune tra le più significative:
- Ragionamento logico “step-by-step” – I LLM di fascia maggiore mostrano un’inaspettata capacità di seguire catene di ragionamento logico complesse. Ad esempio, riescono a risolvere puzzle e problemi deduttivi articolati in più passaggi, cosa che i modelli piccoli non riescono a fare. In particolare, modelli come GPT-4 hanno iniziato a simulare un pensiero a step: forniscono soluzioni spiegando passo passo il percorso logico. Questa tattica del chain-of-thought (catena di pensiero) non era affatto programmata a mano, ma il modello l’ha “scoperta” da sé perché utile a ottenere risposte corrette
In sostanza il sistema, per rispondere a domande difficili, impara a scomporre il problema in sottoproblemi, a fare verifiche intermedie e a controllare la coerenza della soluzione – un comportamento emergente analogo a come ragionerebbe una persona
- Risoluzione di problemi matematici avanzati – Un caso emblematico riguarda l’aritmetica: modelli di piccole dimensioni non sanno fare operazioni come somme a più cifre (danno risultati casuali), ma modelli più grandi improvvisamente diventano calcolatori affidabili. Nel paper originale di GPT-3, ad esempio, si nota che solo arrivando a 13 miliardi di parametri il modello comincia a svolgere correttamente addizioni e sottrazioni a 3 cifre, mentre per risolvere operazioni a 4-5 cifre è stato necessario il modello da 175 miliardi
In altre parole, la capacità di fare calcolo aritmetico multi-cifra è emersa solo oltre una certa soglia di complessità. Allo stesso modo, abilità matematiche come la risoluzione di equazioni o problemi di algebra mostrano netti balzi in avanti con modelli di scala sufficiente. Ciò apre la strada a usare LLM avanzati come assistenti nel calcolo e nella verifica matematica, cosa impensabile con i modelli precedenti.
- Programmazione e debug automatico – Un’altra capacità emergente di grande impatto è la scrittura di codice informatico. I modelli linguistici giganteschi, addestrati anche su enormi quantità di codice, hanno mostrato di saper generare programmi funzionanti da semplici istruzioni in linguaggio naturale. Ad esempio, possono creare una funzione in Python descrivendo a parole cosa deve fare, oppure spiegare e correggere codice esistente. Questa abilità di code writing non appare nei modelli piccoli, ma diventa evidente nei più grandi (un esempio è GPT-3.5/GPT-4, capaci di risolvere problemi di programmazione competitiva). Gli esperti hanno identificato l’esecuzione di programmi e la capacità di coding tra le proprietà emergenti: a un certo livello di scala, l’LLM impara le regole della sintassi e la logica della programmazione così bene da eseguire compiti di coding mai visti prima
Ciò ha portato alla nascita di strumenti come GitHub Copilot che fungono da assistenti alla programmazione. Per sviluppatori e organizzazioni significa poter automatizzare parti di sviluppo software e debugging grazie a modelli AI di ultima generazione.
- Comprensione avanzata e seguenza di istruzioni – Modelli di grandi dimensioni dimostrano anche una maggiore comprensione del linguaggio e capacità di seguire istruzioni complesse fornite dall’utente. Questa è un’abilità cruciale: i sistemi più evoluti non si limitano a predire la parola successiva, ma adattano le risposte alle richieste specifiche, mostrando di aver compreso l’intento. Ad esempio, un modello avanzato può ricevere una consegna articolata (prompt lungo) e fornire una risposta coerente che tocca tutti i punti richiesti, oppure chiedere chiarimenti se qualcosa non è chiaro – comportamenti che emergono man mano che il modello diventa più potente. Studi hanno documentato che la abilità di seguire istruzioni (instruction following) in modo affidabile è in gran parte assente nei modelli piccoli, mentre fiorisce nei modelli più grandi soprattutto se sottoposti a tecniche come l’addestramento con feedback umano (RLHF). Il risultato è che oggi possiamo dialogare con sistemi come ChatGPT ponendo domande complesse in linguaggio naturale e ottenere risposte ben strutturate: un anno fa, con modelli più semplici, ciò non sarebbe riuscito con la stessa qualità. Questa evoluzione apre all’uso pratico degli LLM in contesti reali, dove è fondamentale capire e eseguire istruzioni dell’utente.
(Oltre a questi esempi, la letteratura cita molte altre abilità emergenti: dalla capacità di tradurre e comprendere sfumature linguistiche in lingue diverse, alla calibrazione della propria sicurezza nelle risposte (saper indicare quando non si è sicuri), fino a forme rudimentali di ragionamento comune-senso. L’elenco supera le 100 proprietà emergenti identificate finora e continua ad ampliarsi man mano che i modelli crescono e vengono testati su nuovi compiti.)
Le interpretazioni a confronto sulle capacità emergenti LLM
Le capacità emergenti hanno immediatamente acceso discussioni su cosa significhino per l’intelligenza artificiale e per la società. Da un lato, c’è entusiasmo: queste nuove abilità indicano che aumentando i dati e i parametri l’AI “impara a pensare” in modi prima impensabili, avvicinandosi a performance umane in ambiti complessi. Dall’altro lato, alcuni studiosi invitano alla cautela: si chiedono se non stiamo attribuendo ai modelli intelligenza maggiore di quella reale, quando magari stanno ancora seguendo schemi statistici, seppur molto sofisticati.
Ad esempio, se un modello piccolo ottiene sempre punteggi bassissimi in un test e un modello grande ottiene punteggi moderatamente migliori, è possibile interpretare quell’aumento come “nuova abilità” solo perché ha superato una soglia arbitraria di sufficienza. In realtà, potrebbe trattarsi di un miglioramento graduale mascherato. Insomma, i critici parlano di miraggi o illusioni ottiche nei grafici delle prestazioni
Dal fronte opposto, i ricercatori pro-emergenza (tra cui team di OpenAI, Google e altri) ribattono che, illusione o no, in pratica questi modelli fanno cose che prima non sapevano fare, e questo è ciò che conta.
Ad esempio, GPT-4 sa superare esami professionali o risolvere problemi di fisica complessa, mentre un modello di pochi miliardi di parametri non si avvicina nemmeno. Anche ammettendo che il progresso sia continuo, è un dato di fatto che oltre una certa scala assistiamo a performance di ordine superiore. Capire le cause di questi salti è importante non solo teoricamente, ma anche per prevedere quale sarà il prossimo step: dobbiamo aspettarci altre nuove capacità emergenti con modelli da migliaia di miliardi di parametri? E possiamo guidare l’emergenza verso abilità utili (es. maggior “buon senso” o interpretazione migliore delle intenzioni umane) anziché rischiose? Sono domande aperte. Nel frattempo, gli esperti consigliano di sfruttare con attenzione queste potenti capacità: riconoscerne i benefici senza farsi abbagliare dal “mito” e mantenendo spirito critico. Come sempre con l’AI, è questione di bilanciare opportunità e rischi – e le capacità emergenti ne offrono parecchi di entrambi.
Applicazioni pratiche delle capacità emergenti LLM nella pubblica amministrazione
Le abilità emergenti dei LLM non sono una curiosità fine a sé stessa: possono avere un impatto diretto sulla trasformazione digitale in molti settori, Pubblica Amministrazione inclusa. I nuovi “super-poteri” di queste intelligenze artificiali consentono infatti di affrontare compiti complessi in modo automatizzato o semi automatizzato, snellendo i processi e aprendo scenari prima impensabili. Diversi osservatori hanno già evidenziato come l’AI generativa possa velocizzare l’elaborazione di grandi moli di dati, automatizzare attività ripetitive, migliorare la comunicazione interna ed esterna e personalizzare i servizi ai cittadini.
Se piccoli modelli riuscivano solo a svolgere mansioni molto specifiche, un LLM di ultima generazione può fungere quasi da generalista esperto, adattandosi di volta in volta al compito richiesto: dalla stesura di un documento complesso, all’analisi di normative, alla conversazione con un utente per fornirgli assistenza.
Nella Pubblica Amministrazione, dove la mole di informazioni e procedure è enorme, queste capacità potrebbero tradursi in assistenti digitali evoluti per funzionari e cittadini. Immaginiamo chatbot istituzionali in grado di rispondere a domande articolate dei cittadini attingendo a regolamenti e leggi (ragionando sui casi particolari), oppure sistemi che aiutino i dirigenti a prendere decisioni analizzando dataset complessi e facendo inferenze logiche. Un esempio concreto è già stato esplorato: la creazione di un “RTD digitale” (Responsabile per la Transizione Digitale) basato su ChatGPT per affiancare i comuni nella gestione del cambiamento
In questo esperimento, l’LLM viene configurato come una sorta di collega virtuale che conosce normative, scadenze e best practice, e può supportare attivamente il personale comunale nel risolvere problemi o pianificare progetti digitali
Un esempio applicato: l’assistente digitale per la transizione digitale
Si tratta di una sperimentazione pionieristica, ma dà l’idea di come le capacità emergenti (nel caso specifico, comprendere il contesto della PA locale e fornire consigli pertinenti) possano essere applicate sul campo. Le implicazioni a lungo termine sono profonde. Con AI capaci di ragionamento autonomo e adattabilità, la PA potrebbe ripensare molti processi: documenti compilati e verificati dall’AI, codici e script generati su misura per integrare banche dati, analisi predittive sulle politiche pubbliche fatte in pochi secondi. Tutto questo promette maggiore efficienza (meno tempi morti, meno errori manuali) e anche una migliore esperienza per i cittadini, che avrebbero servizi più reattivi e personalizzati.
Ovviamente ci sono anche sfide: l’affidabilità delle risposte dell’AI (che ogni tanto può “allucinare” informazioni errate), la trasparenza delle decisioni automatizzate, la tutela dei dati e la necessità di aggiornare le competenze del personale pubblico.
La presenza di capacità emergenti nei sistemi AI non elimina il bisogno del fattore umano, anzi lo riposiziona: i funzionari dovranno sempre più fare da supervisori intelligenti dell’operato dell’AI, intervenendo in caso di risultati anomali e dedicandosi ai casi più complessi dove il giudizio umano resta insostituibile.
Capacità emergenti LLM: un’opportunità per ripensare la PA digitale
In conclusione, le capacità emergenti degli LLM rappresentano una frontiera nuova dell’innovazione digitale. Ci mostrano che aumentando scala e sofisticazione, l’intelligenza artificiale può sbloccarsi e acquisire competenze vicine a quelle umane in ambiti prima proibitivi.
Per la Pubblica Amministrazione – e per qualunque organizzazione – questo significa possibilità di accelerare la trasformazione digitale con strumenti più versatili e potenti. Ma significa anche dover affrontare con lucidità i cambiamenti organizzativi necessari: aggiornare procedure, normative e competenze per integrare al meglio questi “colleghi digitali” nei processi quotidiani.
Come spesso avviene con le innovazioni dirompenti, ci troviamo di fronte a un equilibrio delicato: abbracciare le opportunità di un’AI più capace mantenendo controllo e responsabilità. Le capacità emergenti degli LLM non sono magie incomprensibili, ma nemmeno semplici incrementi di velocità: sono un cambio di paradigma che, se ben compreso e governato, potrà davvero fare la differenza nella costruzione di una PA più efficiente, intelligente e a misura di cittadino.
