intelligenza artificiale

Idee per la ricerca, la creatività dell’IA super quella umana: lo studio Stanford



Indirizzo copiato

Uno studio della Stanford University esplora la capacità dei modelli linguistici di grandi dimensioni (LLM) di generare idee di ricerca innovative rispetto agli esperti umani. Con oltre 100 ricercatori coinvolti, i risultati mostrano che le idee degli LLM, seppur meno fattibili, sono percepite come più innovative, delineando un futuro di collaborazione tra AI e scienziati

Pubblicato il 25 ott 2024

Maurizio Carmignani

Founder & CEO – Management Consultant, Trainer & Startup Advisor



ricerca e ia (1)

Un team di ricercatori della Stanford University ha condotto uno studio su larga scala, intitolato “Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers” per confrontare le capacità di generazione di idee di ricerca tra modelli linguistici di grandi dimensioni (LLM) e esperti umani di elaborazione del linguaggio naturale (NLP).

Con oltre 100 ricercatori coinvolti e centinaia di idee valutate senza rivelarne l’origine, i risultati mostrano che le idee generate dagli LLM sono percepite come significativamente più innovative rispetto a quelle umane, anche se giudicate leggermente meno praticabili.

Lo studio può rappresentare una pietra miliare nell’esplorazione delle potenzialità e dei limiti degli agenti di ricerca autonomi, suggerendo nuove opportunità e sfide per il futuro della ricerca scientifica assistita dall’intelligenza artificiale.

Il contesto dello studio

L’avvento dei LLM, come GPT-4 di OpenAI e Claude.ai di Anthropic, ha aperto nuovi scenari nella ricerca scientifica. Oltre a risolvere problemi complessi, questi modelli sono stati utilizzati in svariati compiti, dall’elaborazione di testi alla scrittura di codice. La domanda da cui sono partiti è la seguente: i LLM possono non solo assistere nella ricerca, ma anche generare autonomamente idee nuove e valide?

Per rispondere a questa domanda, i ricercatori di Stanford hanno realizzato uno studio su larga scala, coinvolgendo oltre 100 esperti di NLP e confrontando le loro idee con quelle generate da un LLM, Claude-3.5, potenziato da un sistema di recupero delle informazioni (retrieval-augmented generation, RAG). Questo sistema ha permesso all’LLM di accedere a una base di conoscenze, generando proposte basate su lavori di ricerca preesistenti. Le idee prodotte sono state quindi valutate da esperti in modo anonimo, sulla base di quattro criteri principali: novità, entusiasmo, fattibilità ed efficacia.

Come è stato strutturato l’esperimento

L’esperimento si è svolto in più fasi, coinvolgendo sia ricercatori umani che l’LLM Claude-3.5. Inizialmente, ai partecipanti umani è stato chiesto di generare idee di ricerca originali su argomenti specifici, come bias, sicurezza, multilinguismo e incertezza, temi particolarmente rilevanti nell’ambito del NLP.

Parallelamente, Claude-3.5 ha generato idee utilizzando un approccio noto come “overgenerate and rerank“, che consiste nel creare un vasto numero di idee (circa 4000 per ciascun argomento), per poi filtrare e selezionare le migliori. Questo processo si basa sull’utilizzo di un modello di ranking che ordina le idee in base alla rilevanza e al potenziale innovativo. Per garantire una valutazione imparziale, tutte le proposte, sia umane che generate dall’LLM, sono state riformattate per avere lo stesso stile e struttura, eliminando possibili indizi che potessero rivelare l’origine delle idee. Un gruppo di 79 esperti ha valutato le idee senza conoscere la loro origine, utilizzando i criteri stabiliti e assegnando punteggi da 1 a 10.

Le idee di ricerca sulle sfide più attuali e rilevanti nel campo dell’NLP

Sia i ricercatori umani che i LLM hanno generato idee di ricerca su sette temi chiave, selezionati dai Call for Papers di recenti conferenze di elaborazione del linguaggio naturale (NLP). Questi argomenti riflettono alcune delle sfide più attuali e rilevanti nel campo dell’NLP, tra cui:

  • Bias: riguarda i pregiudizi o le distorsioni nei modelli di intelligenza artificiale, specialmente quando riflettono stereotipi o discriminazioni presenti nei dati di addestramento.
  • Codifica: focus sulle tecniche per migliorare la codifica delle informazioni e delle rappresentazioni all’interno dei modelli, con l’obiettivo di ottimizzare le prestazioni dei sistemi di NLP.
  • Sicurezza: analisi dei problemi legati alla sicurezza, come l’uso sicuro dei modelli NLP, prevenendo errori o abusi che potrebbero causare danni.
  • Multilinguismo: esplora come i modelli NLP possono gestire efficacemente più lingue, migliorando la traduzione automatica e la comprensione dei testi in contesti multilingue.
  • Fattualità: concerne la capacità dei modelli di distinguere informazioni vere da informazioni false, con l’obiettivo di ridurre fenomeni come l’hallucination nei modelli linguistici.
  • Matematica: tratta la capacità dei modelli di risolvere problemi matematici o di eseguire calcoli complessi, un’area in cui la precisione e la logica sono cruciali.
  • Incertezza: approfondisce il tema della gestione dell’incertezza nei risultati generati dai modelli, come l’accuratezza delle risposte e il calcolo del margine di errore.

Questi temi sono stati scelti per garantire una valutazione comparabile tra umani e LLM, coprendo una vasta gamma di problematiche attuali nell’NLP e offrendo spazio per l’innovazione sia nelle idee generate dagli esperti umani che da Claude-3.5.

I risultati: alta innovatività, fattibilità incerta

I dati raccolti dallo studio sono stati sorprendenti. Le idee generate dai LLM sono state giudicate come significativamente più innovative rispetto a quelle proposte dai ricercatori umani. In particolare, le idee prodotte da Claude-3.5 hanno ottenuto un punteggio medio di novità di 5.64, rispetto al 4.84 delle idee umane. Anche quando le idee generate dall’LLM sono state riorganizzate e selezionate manualmente da un esperto umano, il punteggio di novità ha continuato a migliorare, raggiungendo 5.81.

Nonostante la superiorità in termini di novità, le idee degli LLM hanno mostrato delle debolezze in termini di fattibilità. Le proposte degli esperti umani hanno ottenuto una media di 6.61 su questo parametro, contro il 6.34 delle idee generate dall’LLM. Questo riflette la difficoltà dell’intelligenza artificiale nel proporre soluzioni realisticamente realizzabili, un aspetto che richiede ancora l’intervento umano.

Strumenti utilizzati e dettagli tecnici

Lo studio ha impiegato diversi strumenti tecnologici all’avanguardia per garantire la qualità del confronto tra umani e LLM. Claude-3.5, il modello linguistico impiegato per generare le idee, ha utilizzato una tecnica di recupero delle informazioni (RAG) per attingere da un corpus di articoli scientifici rilevanti, ottenendo una comprensione più ampia degli argomenti di ricerca. In particolare, il sistema ha richiamato fino a 120 articoli per argomento, utilizzando azioni come la ricerca per parole chiave e il recupero di riferimenti attraverso l’API di Semantic Scholar.

Il Large Language Model è stato istruito a generare un gran numero di idee – circa 4000 per ciascun tema – filtrando poi quelle ripetitive o ridondanti attraverso l’uso di tecniche di deduplicazione basate su all-MiniLM-L6-v2, un modello di embedding di frasi. Questo ha ridotto le idee duplicate a circa il 5% del totale, lasciando spazio a quelle realmente originali. Infine, un sistema di ranking basato su confronti a coppie ha classificato le idee migliori, ottenendo una separazione significativa tra proposte più forti e quelle meno promettenti.

Limiti degli LLM e prospettive future

Nonostante i risultati positivi in termini di creatività, lo studio ha evidenziato alcune sfide per i LLM. Oltre alla già citata riduzione della fattibilità, uno dei limiti principali è stata la mancanza di eterogeneità nelle idee generate. Dopo un certo numero di proposte, i modelli tendono a produrre idee simili o ripetitive, limitando la capacità dell’LLM di spaziare tra un ampio ventaglio di soluzioni.

Questo suggerisce che, sebbene i LLM possano produrre molte idee innovative, la loro abilità di generare una grande varietà di proposte rimane un’area da migliorare. Inoltre, è emerso che i LLM non sono ancora in grado di valutare accuratamente le proprie idee. Il ranking effettuato dal modello di intelligenza artificiale non sempre corrispondeva al giudizio degli esperti umani, evidenziando la necessità di migliorare i sistemi di valutazione automatica.

Implicazioni per il futuro della ricerca

Questo studio rappresenta un passo importante verso una maggiore comprensione delle potenzialità e dei limiti degli LLM nella generazione autonoma di idee di ricerca. Se da un lato l’intelligenza artificiale ha dimostrato di poter proporre idee innovative, dall’altro resta chiaro che il contributo umano è fondamentale per garantire che queste proposte siano realistiche e attuabili. Il futuro della ricerca potrebbe vedere una crescente collaborazione tra LLM e ricercatori, dove l’intelligenza artificiale svolge il ruolo di catalizzatore creativo, mentre gli esperti umani intervengono per affinare e concretizzare le idee. Espandere questa metodologia ad altri ambiti della scienza potrebbe aprire nuove opportunità, stimolando una ricerca più innovativa e collaborativa.

    EU Stories - La coesione innova l'Italia

    Tutti
    Social
    Iniziative
    Video
    Analisi
    Iniziative
    Al via il progetto COINS
    Eventi
    Un nuovo sguardo sulla politica di coesione dell'UE
    Iniziative
    Parte la campagna di comunicazione COINS
    Interviste
    Marco De Giorgi (PCM): “Come comunicare le politiche di coesione”
    Analisi
    La politica di coesione europea: motore della transizione digitale in Italia
    Politiche UE
    Il dibattito sul futuro della Politica di Coesione
    Mobilità Sostenibile
    L’impatto dei fondi di coesione sul territorio: un’esperienza di monitoraggio civico
    Iniziative
    Digital transformation, l’Emilia-Romagna rilancia sulle comunità tematiche
    Politiche ue
    Fondi Coesione 2021-27: la “capacitazione amministrativa” aiuta a spenderli bene
    Finanziamenti
    Da BEI e Banca Sella 200 milioni di euro per sostenere l’innovazione di PMI e Mid-cap italiane
    Analisi
    Politiche di coesione Ue, il bilancio: cosa ci dice la relazione 2024
    Politiche UE
    Innovazione locale con i fondi di coesione: progetti di successo in Italia
    Iniziative
    Al via il progetto COINS
    Eventi
    Un nuovo sguardo sulla politica di coesione dell'UE
    Iniziative
    Parte la campagna di comunicazione COINS
    Interviste
    Marco De Giorgi (PCM): “Come comunicare le politiche di coesione”
    Analisi
    La politica di coesione europea: motore della transizione digitale in Italia
    Politiche UE
    Il dibattito sul futuro della Politica di Coesione
    Mobilità Sostenibile
    L’impatto dei fondi di coesione sul territorio: un’esperienza di monitoraggio civico
    Iniziative
    Digital transformation, l’Emilia-Romagna rilancia sulle comunità tematiche
    Politiche ue
    Fondi Coesione 2021-27: la “capacitazione amministrativa” aiuta a spenderli bene
    Finanziamenti
    Da BEI e Banca Sella 200 milioni di euro per sostenere l’innovazione di PMI e Mid-cap italiane
    Analisi
    Politiche di coesione Ue, il bilancio: cosa ci dice la relazione 2024
    Politiche UE
    Innovazione locale con i fondi di coesione: progetti di successo in Italia

    Articoli correlati

    Articolo 1 di 4