L’apprendimento con i grandi modelli linguistici – Large Language Model sta diventando sempre più comune, soprattutto tra studenti e professionisti.
Ma cosa succede alla profondità e alla qualità della conoscenza acquisita quando ci si affida a questi strumenti? La seguente analisi riflette su questa domanda alla luce di una recente ricerca.
Indice degli argomenti
LLM e apprendimento superficiale
ChatGPT e altri LLM, utilizzando il linguaggio, promettono di rendere l’apprendimento più facile che mai. Una nuova ricerca, realizzata negli USA, suggerisce che le lezioni apprese così facilmente hanno meno probabilità di rimanere impresse.
Si tratta di una serie di quattro esperimenti che hanno coinvolto più di 4.500 partecipanti presso la Wharton School dell’Università della Pennsylvania, persone che hanno utilizzato LLM per ricercare argomenti di tutti i giorni, dimostrando una più debole comprensione di tali argomenti in seguito e una minore produzione, caratterizzata da intuizioni meno originali, rispetto alle persone che hanno cercato gli stessi argomenti utilizzando Google.
I quattro esperimenti hanno assegnato ai partecipanti compiti di studio casuali, per utilizzare sia la ricerca web di Google o un LLM (ad esempio, ChatGPT) per acquisire conoscenze su un particolare argomento e quindi creare consigli sull’argomento per gli altri sulla base di ciò che hanno appreso dalla loro ricerca.
I risultati sollevano preoccupazioni sul modo in cui le persone ricercano e imparano, afferma la docente di marketing di Wharton Shiri Melumad, prima autrice della ricerca. Suggerisce che le persone tendono a ricordare meno quando le informazioni sono facili da cercare e quindi secondo Melumad con i LLM, che per molti aspetti facilitano i processi di ricerca e apprendimento, ci si allontana da quello che si può definire una forma di apprendimento attivo.
Esperimenti a confronto: ricerca web vs LLM
Vediamo allora i 4 esperimenti in modo più dettagliato e come i risultati possono rispondere al quesito che in molti si stanno ponendo, ovvero si apprende meglio e si fanno propri per tempi lunghi fatti, dati, che vengono ricercati su un motore di ricerca (apprendimento attivo) o piuttosto quanto deriva da una richiesta ai LLM?
Durante i quattro esperimenti, Melumad e il co-autore Jin Ho Yun hanno assegnato casualmente ai partecipanti l’uso di Google Search o un LLM per ricercare un argomento ordinario e quindi scrivere consigli basati su ciò che hanno imparato.
I risultati di questi quattro esperimenti online e in laboratorio condotti su un campione di 4.591 sembrano aver supportato le previsioni secondo cui, quando gli individui apprendono un argomento dai LLM, tendono a sviluppare una conoscenza meno profonda rispetto a quando imparano attraverso la ricerca standard sul web, anche se l’informazione di base nei risultati è la stessa. Questa conoscenza meno profonda deriva da una caratteristica intrinseca dei LLM, ovvero la a presentazione dei risultati come sintesi di informazioni piuttosto che come singoli link di ricerca, il che rende l’apprendimento più passivo rispetto alla ricerca standard sul web, in cui gli utenti scoprono e sintetizzano attivamente le fonti di informazione.
Originalità e riferimenti nella ricerca web vs ChatGPT
Il primo esperimento ha chiesto a più di 1.100 partecipanti di utilizzare Google o ChatGPT per ricercare come piantare un orto. La prima macro differenza rilevata dai ricercatori è che rispetto agli utenti di ChatGPT, quelli di Google hanno trascorso più tempo a cercare, hanno segnalato un maggiore sforzo e hanno scritto risposte più lunghe e dettagliate. L’analisi del linguaggio naturale ha mostrato che i loro consigli contenevano anche frasi più originali e riferimenti fattuali.
Influenza della presentazione dell’informazione
Per escludere la possibilità che le differenze nelle informazioni stesse, e non solo nel modo in cui sono state presentate, fossero alla base dei risultati, un secondo esperimento ha mostrato a quasi 2.000 partecipanti gli stessi sette consigli di giardinaggio, sia come un unico riassunto in stile AI o suddiviso su sei pagine web fittizie, il modo in cui vengono solitamente visualizzati i risultati di ricerca su Google. Gli utenti di Google di nuovo hanno mostrato di essere impegnati più profondamente, di aver conservato di più e scritto consigli in modo più riflessivo e originale rispetto agli utenti LLM.
Robustezza degli effetti in un ambiente di laboratorio
Nel terzo esperimento è stata testata la robustezza degli effetti in un ambiente di laboratorio, questa volta tenendo costante il motore di ricerca Google e variando se i partecipanti hanno appreso su un argomento attraverso i risultati di ricerca standard di Google o la sintesi LLM di Google, presentati nella parte superiore della pagina dei risultati di ricerca standard.
Infine, nel quarto esperimento sono state esaminate le conseguenze di questi effetti, presentando un insieme indipendente di destinatari che non vedevano la piattaforma di ricerca originale utilizzata per conoscere l’argomento ed esaminare la loro volontà di adottare il consiglio.
Motivazione e percezione dell’intelligenza degli LLM
C’è chi pensa, nel dibattito che sta crescendo a livello globale, che per esempio gli studenti che usano strumenti AI per completare i compiti tendono a fare meglio sui compiti a casa, ma peggio sui test, quindi stanno ottenendo le risposte giuste, ma non stanno imparando.
Questa è l’opinione di Daniel Oppenheimer, professore di psicologia e scienze decisionali presso la Carnegie Mellon University, il quale sostiene che la ricerca della Wharton School conferma ciò che vede in studi simili che fa nel suo laboratorio. Insomma, Oppenheimer dice che i risultati suggeriscono che semplicemente credere che le informazioni provengano da un LLM fa imparare meno; secondo il docente della Carnegie Mellon gli studenti pensano che il sistema sia più intelligente di loro e quindi smettono di provarci, per cui secondo lui si tratta di un problema motivazionale, piuttosto che solo cognitivo. Da un altro punto di vista, viene ribadito che in molti casi questo accade perché l’AI viene usata in modo passivo e non nel modo giusto.
LLM e apprendimento passivo: rischi e limiti
La ricercatrice Melumad pone anche l’attenzione sugli effetti futuri dell’ AI, particolarmente in contesti educativi o professioni che dipendono dal pensiero critico, pur non negando le enormi opportunità offerte dall’uso dell’AI.
Una delle prime strategie secondo i ricercatori è insegnare ai giovani, che si rivolgono sempre più ai LLM, come sintetizzare e interpretare le informazioni da soli, aiutando loro a sviluppare la capacità di imparare profondamente.
In questa ricerca emerge come la maggiore facilità offerta dai LLM può avere un costo, ovvero quello di ridurre la profondità della conoscenza e l’originalità del pensiero, presenti nella propria ricerca.
In particolare, mentre la necessità di navigare e riassumere diverse fonti di informazioni potrebbe rendere l’apprendimento attraverso la ricerca sul web più faticoso, questo processo offre il vantaggio spesso trascurato di costruire strutture di conoscenza più profonde e uniche su un argomento, qualcosa che è meno probabile quando le fonti di informazione sono già sintetizzate per l’utente da un LLM.
Di conseguenza, tra gli individui che usano LLM – vs. ricerca sul web – per conoscere un argomento può emergere la sensazione di aver imparato meno e produrre consigli scarsi e meno unici sull’argomento per gli altri. Quando le informazioni sono sintetizzate da un LLM, i partecipanti si sono impegnati meno nello studio dell’argomento rispetto a quando hanno raccolto e sintetizzano le informazioni attraverso la ricerca sul web, il che li ha portati a sviluppare una conoscenza più superficiale sull’argomento.
Potenzialità dei LLM se usati con consapevolezza
Quando si entra nella fase della ricerca durante la quale si scrivono consigli sul l’argomento, coloro che hanno appreso attraverso un LLM – vs. ricerca web – non solo sono meno investiti nella formazione dei loro consigli, ma creano anche contenuti più sparsi e generici, tali che i destinatari sono in definitiva meno propensi ad adottarli.
I LLM possono essere altamente efficaci nel risolvere una vasta gamma di problemi di ragionamento umano, sia da soli che in collaborazione con gli esseri umani, questo va costantemente ribadito agli apprendenti di qualunque tipo di disciplina accademica e scolastica, indirizzandoli ad una consapevolezza necessaria.
LLM e apprendimento autodiretto: una sfida futura
La conclusione centrale di questo lavoro di ricerca, una finestra sull’uso dei sistemi di AI nel settore dell’istruzione, è che mentre i LLM forniscono un percorso più veloce per trovare risposte, rispetto alla ricerca sul web, questi hanno una caratteristica che può essere strumentale all’apprendimento: l’esplorazione autoguidata di informazioni diverse che richiede una sintesi originale.
Il valore dell’acquisizione di conoscenze autodiretta per lo sviluppo delle competenze è stato esplorato nella letteratura sul “search-as-learning[1]“, che sostiene che quando ci impegniamo in piattaforme di ricerca web tradizionali come Google, non ci limitiamo ad accumulare fatti, ma sviluppiamo anche strutture di conoscenza attraverso un processo iterativo che consiste nel porre domande, raccogliere informazioni da diversi siti web e riunire queste conoscenze in un insieme coeso.
Così, il processo di “sensemaking[2]” attraverso la ricerca sul web può essere molto dinamico per gli utenti, segnato dal processo ricorsivo di sintesi e revisione. Al contrario, poiché i LLM sono progettati per eseguire tali operazioni per conto dell’utente, questo ingrediente fondamentale nell’apprendimento è spesso diminuito per gli utenti.
Nel contesto della ricerca qui presentata, l’apprendimento attraverso la ricerca sul web comporta la necessità di impegnarsi nella navigazione di tentativi ed errori tra i collegamenti dei risultati, scoprendo quali sono adatti alla domanda in questione e quindi sintetizzando per se stessi le diverse informazioni. Di conseguenza, lo sforzo richiesto per apprendere attraverso la ricerca standard sul web può portare gli utenti a sviluppare una conoscenza più approfondita su un argomento.
In contrasto con la ricerca sul web, gli utenti si impegnano naturalmente, ma è minore lo sforzo nell’acquisizione di informazioni da un LLM dal momento che c’è bisogno di sintetizzare diverse fonti informative da soli, infatti il LLM fa molto di questo per loro.
Anche se la ricerca attraverso i LLM può indubbiamente facilitare l’acquisizione di informazioni, ciò potrebbe andare a scapito del l’apprendimento? Lo sforzo inferiore coinvolto nell’acquisizione di informazioni da parte dei LLM può portare le persone a sviluppare una conoscenza meno profonda su un argomento, rispetto a coloro che raccolgono e sintetizzano informazioni tramite ricerca sul web. Quando successivamente formulano consigli sul l’argomento sulla base di quanto appreso dalla loro ricerca, le persone sono quindi meno personalmente investite in ciò che scrivono e creano consigli meno originali o unici per loro, è più breve, contiene un minor numero di riferimenti ai fatti ed è in definitiva meno probabile che sia adottata dai destinatari.
Note
[1] La comunità di ricerca sulla ricerca come apprendimento (SAL – search as ) ha sostenuto che i sistemi di ricerca dovrebbero anche essere progettati per supportare le attività di ricerca di informazioni che coinvolgono l’apprendimento complesso come un risultato importante. https://www.nowpublishers.com/article/Details/INR-084
[2] Sense making è il processo attraverso il quale individui e gruppi cercano di attribuire significato alle proprie esperienze, soprattutto in contesti caratterizzati da complessità, incertezza e ambiguità. https://www.bottegafilosofica.net/sostenibilita/sense-making-per-navigare-incertezza
