Più dati, meno conoscenza: il paradosso dell’AI che impara da sé

Nel 2024 un gruppo di ricercatori ha provato a far imparare un modello linguistico dai testi prodotti da una versione precedente dello stesso sistema. Non hanno utilizzato uno dei grandi modelli commerciali oggi più conosciuti, ma OPT-125M, un modello da 125 milioni di parametri sviluppato da Meta. Il materiale di partenza era WikiText-2, un dataset composto da testi di Wikipedia.

La procedura era semplice. Prima il modello veniva sottoposto a fine-tuning sui testi originali. Poi generava nuovi brani, che diventavano il materiale di addestramento della generazione successiva. Il secondo modello produceva altri testi e il procedimento veniva ripetuto.

Dall’esperimento ricorsivo al model collapse

Non era una simulazione dell’intero web. Era un esperimento controllato, costruito per isolare gli effetti dell’addestramento ricorsivo. Dopo alcune generazioni, i modelli continuavano a svolgere il compito, ma si allontanavano progressivamente dalla distribuzione dei dati di partenza. Alcuni errori introdotti lungo il percorso cominciavano a essere trattati come informazione.

Il fenomeno è stato definito model collapse, il collasso del modello. Non indica un sistema che smette improvvisamente di funzionare. Descrive piuttosto un deterioramento graduale: il modello conserva le caratteristiche più comuni dei dati, ma perde quelle meno frequenti e diventa più vulnerabile agli errori prodotti dalle generazioni precedenti.

La questione riguarda il modo in cui verranno costruiti i futuri dataset. Se una parte sempre più ampia del web sarà composta da contenuti generati automaticamente, i modelli successivi potrebbero trovarsi ad apprendere non soltanto dal mondo, ma anche dalle rappresentazioni che altri modelli hanno costruito del mondo.

Come il model collapse altera la distribuzione dei dati

Un modello generativo non conserva i dati come un archivio. Durante l’addestramento impara regolarità e relazioni: quali parole tendono a comparire insieme, quali forme hanno maggiore probabilità, quali caratteristiche ricorrono nelle immagini o nelle registrazioni.

In termini statistici, cerca di approssimare la distribuzione dei dati. Questa distribuzione comprende sia gli elementi frequenti sia quelli che compaiono raramente. Il modello non li apprende con la stessa facilità: le caratteristiche più comuni dispongono di molti esempi, mentre quelle meno rappresentate hanno una base statistica più fragile.

Quando genera nuovi contenuti, il modello non restituisce una copia perfetta della distribuzione iniziale. Seleziona e ricombina ciò che ha appreso. Può sovrarappresentare alcune strutture, ignorarne altre e introdurre esempi che non erano presenti nei dati originali.

Se la generazione successiva viene addestrata su quel materiale, eredita già una distribuzione modificata. Il modello seguente non riceve soltanto nuove informazioni: riceve la versione filtrata delle informazioni apprese dal modello precedente. Dopo più passaggi, le deviazioni possono accumularsi.

Le code della distribuzione e i casi rari

La prima parte a deteriorarsi tende a essere quella che gli statistici chiamano coda della distribuzione. Le code comprendono eventi poco probabili rispetto ai casi centrali: formulazioni insolite, combinazioni rare di caratteristiche, eventi estremi o categorie con pochi esempi.

Il concetto non coincide automaticamente con quello di minoranza sociale o linguistica. Un gruppo poco rappresentato può trovarsi nelle code del dataset, ma una coda può contenere anche una formulazione tecnica, un caso clinico insolito o un evento eccezionale.

Le conseguenze possono comunque essere concrete. Se un archivio contiene migliaia di testi in italiano standard e pochi documenti in un dialetto regionale, questi ultimi saranno più difficili da conservare nella distribuzione appresa. Il modello successivo avrà meno esempi da cui ricostruirne le caratteristiche, mentre continuerà a ricevere una grande quantità di materiale simile e frequente.

Lo stesso può accadere con fonti locali, linguaggi specialistici o casi medici rari. Non è necessario che scompaiano completamente: è sufficiente che il modello diventi meno capace di riconoscerli o di riprodurli correttamente.

L’esperimento di Nature sul model collapse

Lo studio di riferimento è quello di Ilia Shumailov, Zakhar Shumaylov, Yiren Zhao, Nicolas Papernot, Ross Anderson e Yarin Gal, pubblicato su Nature con il titolo “AI models collapse when trained on recursively generated data”. Shumailov et al., Nature, 2024.

Nel caso linguistico, i ricercatori hanno utilizzato OPT-125M e WikiText-2. Il modello è stato sottoposto a fine-tuning sui testi originali e poi impiegato per generare sequenze di 64 token, cioè unità linguistiche che possono corrispondere a parole intere o parti di parole. La generazione è stata effettuata con una ricerca a cinque percorsi, fino a ottenere un dataset artificiale della stessa dimensione di quello iniziale.

Perplessità, sequenze e perdita di prestazioni

La generazione successiva è stata addestrata su quei testi e valutata anche sul materiale originale. Per osservare il cambiamento, i ricercatori hanno utilizzato la perplessità, una misura che indica quanto un modello riesca a prevedere una sequenza. Su uno stesso insieme di valutazione, una perplessità più alta indica generalmente una minore capacità di prevedere correttamente i testi osservati.

Nelle generazioni successive aumentavano i campioni che il modello originario considerava molto probabili, ma comparivano anche code più lunghe di sequenze che il modello iniziale avrebbe prodotto con probabilità molto bassa o non avrebbe prodotto affatto. Da una parte il sistema si concentrava su strutture familiari; dall’altra introduceva errori e combinazioni anomale.

Sul compito originale, i modelli addestrati sui dati generati riuscivano ancora a imparare parte della distribuzione linguistica, ma con una perdita di prestazioni. Quando i ricercatori eliminavano i dati originali dalle generazioni successive, il deterioramento risultava più evidente. In un’altra configurazione veniva mantenuta una parte del materiale iniziale e la degradazione era molto più contenuta.

Questo confronto è uno dei risultati più interessanti dello studio. Suggerisce che l’effetto dipenda dal rapporto tra dati sintetici e dati originari, non dalla semplice presenza di materiale artificiale.

I limiti dello studio sul collasso del modello

L’esperimento ha però limiti precisi. OPT-125M è un modello relativamente piccolo, WikiText-2 è un dataset specifico e la procedura è un fine-tuning controllato, non un pre-addestramento su tutto il web. Il risultato non può essere trasferito automaticamente a ogni modello generativo contemporaneo.

La ricerca dimostra comunque che il meccanismo esiste. Non dimostra che il web sia già collassato, né che ogni utilizzo di dati sintetici conduca allo stesso risultato. Mostra che un sistema sottoposto a ricorsione, se perde il contatto con i dati originali, può imparare una rappresentazione sempre più lontana dalla distribuzione iniziale.

Il model collapse oltre la scrittura automatica

Il model collapse non riguarda soltanto i modelli linguistici. Il lavoro di Elvis Dohmatob, Yunzhen Feng e Julia Kempe, pubblicato negli atti di NeurIPS 2024, studia il fenomeno attraverso un modello matematico di regressione ad alta dimensionalità. Dohmatob, Feng e Kempe, NeurIPS 2024

La regressione cerca di stimare una relazione tra variabili. Nel caso analizzato, il sistema dispone di molti parametri rispetto alla quantità di informazione indipendente disponibile: è quello che si definisce un regime sovraparametrizzato. Una capacità molto ampia può essere utile, ma rende anche il modello più sensibile al modo in cui gli errori vengono trasmessi.

Gli autori mostrano che l’errore può aumentare generazione dopo generazione e che, in determinate condizioni, il deterioramento può diventare molto rapido anche quando nei dati non è presente rumore. Propongono inoltre una forma di regolarizzazione adattiva, cioè l’introduzione di vincoli che riducono la tendenza del modello ad adattarsi eccessivamente alle variazioni del campione.

Il lavoro non è una prova diretta sul comportamento di un grande modello linguistico. È un modello matematico più semplice, progettato per isolare alcune cause del fenomeno. Il suo contributo consiste nel mostrare che la ricorsione può modificare la distribuzione appresa anche quando il problema non nasce da un contenuto palesemente falso o da un attacco intenzionale.

Errore statistico, capacità e procedura di addestramento

A fini divulgativi, i meccanismi descritti dalla letteratura possono essere riassunti in tre gruppi. Il primo è l’errore statistico: un dataset finito può non contenere esempi sufficienti degli eventi rari e, durante il ricampionamento, può perderli. Il secondo riguarda la capacità del modello di rappresentare la distribuzione: una funzione troppo semplice può deformarla già alla prima generazione. Il terzo dipende dalla procedura di addestramento e dagli obiettivi scelti.

Non si tratta di una classificazione ufficiale valida per ogni studio, ma di una sintesi dei meccanismi discussi nelle ricerche sul tema. Gli errori, inoltre, non rimangono necessariamente separati. Una deviazione piccola può cambiare il materiale generato dal modello successivo; quel materiale può introdurre una seconda deviazione, che a sua volta modifica le generazioni successive.

Dati sintetici e model collapse: quando sono utili

La discussione sarebbe incompleta se trasformasse il model collapse in una condanna generale dei dati artificiali. I dati sintetici possono essere utili quando vengono prodotti per rispondere a un’esigenza precisa.

Possono servire a simulare eventi rari, creare esempi per addestrare sistemi industriali, proteggere informazioni personali o ampliare un dataset in un settore dove le osservazioni reali sono difficili da ottenere. In una simulazione controllata, il team conosce l’obiettivo, le condizioni di generazione e i limiti del materiale prodotto.

La situazione cambia quando i contenuti vengono generati soltanto perché sono economici e abbondanti, senza verificare quale informazione aggiungano. Un testo sintetico può essere corretto, ma può anche ripetere gli stessi schemi già presenti nel dataset. Un’immagine può sembrare realistica e tuttavia essere inadatta a rappresentare il caso che il modello dovrebbe imparare a riconoscere.

Una ricerca di Matthias Gerstgrasser e colleghi ha analizzato la differenza tra sostituire i dati reali e accumulare insieme materiale originale e sintetico. Il lavoro, pubblicato come preprint, mostra che nei suoi scenari sperimentali la sostituzione progressiva conduce al collasso, mentre l’accumulo evita il deterioramento osservato. Gerstgrasser et al., “Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data”, preprint, 2024

Il risultato non significa che basti conservare una piccola percentuale di dati umani per risolvere qualsiasi problema. Dipende dal modello, dalla qualità dei dati, dal rapporto tra le fonti e dalla procedura di addestramento. Indica però una direzione concreta: i contenuti sintetici devono essere trattati come una componente del dataset, non come un sostituto automatico dell’esperienza originale.

Web e provenienza nella degradazione dei modelli

Il web complica la situazione perché non è stato progettato per conservare in modo uniforme la storia dei contenuti. Una pagina può contenere un articolo originale, una traduzione automatica, un riassunto o una copia modificata. Un testo prodotto da un modello può essere pubblicato su un sito, ripreso da un aggregatore e poi utilizzato come fonte da un altro sistema.

Dopo alcuni passaggi, diventa difficile capire quante fonti indipendenti siano davvero presenti. Dieci pagine che ripetono la stessa informazione non equivalgono a dieci conferme. Possono essere dieci copie della medesima frase, magari nata da un errore iniziale.

Qui il model collapse incontra il problema della provenienza. I due fenomeni non coincidono: il collasso è un processo di deterioramento osservato in determinate procedure di addestramento; la contaminazione riguarda la composizione e la storia dei dati raccolti. Un web pieno di contenuti derivati può però rendere più difficile conservare una distribuzione ricca e indipendente.

Il rischio non richiede che la maggioranza di Internet sia già prodotta dalle macchine. Può emergere in settori dove il materiale umano è scarso, in lingue poco rappresentate o in ambiti nei quali i contenuti vengono copiati e ripubblicati rapidamente.

Per un modello, la frequenza di un’informazione non coincide con la sua affidabilità. Un contenuto ripetuto molte volte può acquistare peso statistico senza diventare più vero. Se il sistema non distingue tra una fonte e le sue riproduzioni, la quantità può mascherare la mancanza di indipendenza.

Come un team AI può prevenire il model collapse

Immaginiamo un gruppo che aggiorni ogni sei mesi il dataset di un assistente multilingue. Tra una versione e l’altra vengono aggiunti milioni di testi sintetici per aumentare la copertura delle lingue meno rappresentate.

Benchmark stabili per lingue e casi rari

Il team non dovrebbe limitarsi a controllare se l’accuratezza media è migliorata. Dovrebbe conservare un campione fisso di documenti umani, separato dal materiale utilizzato per l’addestramento, e usarlo come benchmark stabile. Nel benchmark dovrebbero entrare anche testi in lingue minoritarie, varianti regionali, formulazioni colloquiali e casi nei quali la versione precedente aveva prodotto errori.

A ogni nuova versione sarebbe utile confrontare almeno quattro aspetti: la qualità generale delle risposte, le prestazioni per lingua, il comportamento sui casi rari e il numero di risposte non supportate dalle fonti. Il termine “accuratezza” va adattato al compito: per una traduzione si possono valutare fedeltà e qualità linguistica; per un sistema di domande e risposte servono correttezza, completezza e aderenza ai documenti forniti.

Controllare la composizione del dataset

Anche la composizione del dataset dovrebbe essere controllata. Quanti documenti sono nuovi? Quanti sono duplicati o quasi duplicati? Quanti sono stati generati da un modello? Quanti derivano da fonti umane verificabili? Se il punteggio medio cresce ma la qualità in una lingua diminuisce, il risultato non dovrebbe essere presentato semplicemente come un miglioramento.

Una diminuzione delle prestazioni su una lingua poco rappresentata non equivale automaticamente al model collapse in senso formale. È però un segnale che il processo di selezione o di addestramento sta penalizzando una parte della distribuzione. Il controllo dei casi rari serve proprio a individuare questi segnali prima che diventino difficili da correggere.

Provenienza e responsabilità contro il model collapse

La gestione dei dati dovrebbe seguire una filiera riconoscibile. Durante la raccolta occorre registrare la fonte e la data del contenuto. Nella classificazione bisogna distinguere, per quanto possibile, tra materiale umano, materiale sintetico dichiarato e contenuti di origine incerta. La pulizia dovrebbe rimuovere duplicati e copie senza eliminare automaticamente le fonti rare.

Quando il dataset viene composto, il rapporto tra le diverse categorie deve essere conosciuto. Se i dati sintetici vengono usati per creare esempi aggiuntivi, il team dovrebbe poter spiegare quale problema intendono risolvere e come è stata controllata la loro qualità.

La provenienza non garantisce da sola la verità. Un contenuto umano può essere falso, mentre un contenuto generato può descrivere correttamente un fatto. Serve però a ricostruire la storia del dato e a capire quali trasformazioni abbia subito.

C2PA, inventari e versionamento delle fonti

In questo ambito si inseriscono standard come C2PA, che definisce credenziali firmate digitalmente per descrivere la creazione e le modifiche di un contenuto. C2PA Specifications Un sistema di questo tipo può fornire segnali utili sulla provenienza di un’immagine o di un altro file, ma non certifica automaticamente la correttezza dell’informazione. Inoltre, l’assenza di una credenziale non dimostra che il contenuto sia stato generato dall’intelligenza artificiale.

Per i dataset di addestramento servono quindi anche inventari delle fonti, versionamento, controlli sui duplicati, benchmark indipendenti e test mirati sui casi meno frequenti. Il dataset non è una materia prima anonima che cresce aggiungendo nuove pagine: è una componente del prodotto finale.

Ogni organizzazione decide, attraverso i propri criteri di raccolta, quali parti del mondo diventeranno più visibili al modello e quali resteranno ai margini. Con l’aumento dei contenuti sintetici, questa responsabilità diventa più difficile da delegare a procedure automatiche.

Evitare il collasso conservando fonti e conoscenza

Le ricerche sul model collapse non dimostrano che i dati sintetici siano incompatibili con lo sviluppo dell’intelligenza artificiale. Dimostrano che, quando le generazioni successive sostituiscono i dati originari con le proprie produzioni, le informazioni rare e gli errori possono essere progressivamente amplificati.

Per chi costruisce sistemi AI, la qualità del dataset diventa quindi una responsabilità tecnica e organizzativa. Conservare le fonti originali, documentare le trasformazioni, controllare i duplicati e valutare i casi meno frequenti sono condizioni necessarie per capire se un modello sta ancora rappresentando il proprio dominio oppure soltanto le tracce lasciate dai modelli precedenti.

Il futuro dei dati sintetici dipenderà da questa capacità di distinguere tra una fonte e la sua derivazione. Senza quella distinzione, un archivio può diventare sempre più grande mentre la conoscenza che contiene si restringe.