Chi costruisce la verità dei chatbot? Il problema delle fonti invisibili

Un think tank finanziato nell’ambito della comunicazione del governo israeliano pubblica contenuti pensati anche per essere intercettati dai sistemi di intelligenza artificiale. Il caso solleva una questione che va molto oltre Israele: se sempre più persone chiedono ai chatbot di spiegare ciò che accade nel mondo, diventa strategico influenzare le fonti dalle quali quei sistemi costruiscono le loro risposte.

Chi decide qual è la verità?

Chi decide qual è la verità? È una domanda volutamente provocatoria e probabilmente priva di risposta. Non esiste un’autorità unica in grado di stabilire una volta per tutte ciò che è vero: la conoscenza si costruisce attraverso prove, documenti, ricerca scientifica, testimonianze e confronto tra interpretazioni diverse. E anche quando i fatti sono accertabili, il modo in cui vengono selezionati e messi in relazione può produrre rappresentazioni differenti della realtà. È sempre stato così.

L’arrivo dei sistemi di intelligenza artificiale generativa, però, introduce in questo processo un nuovo intermediario. Sempre più spesso, invece di cercare una risposta attraverso una serie di siti, documenti o articoli, la chiediamo direttamente a un chatbot: che cosa sta succedendo a Gaza, se l’AI sostituirà posti di lavoro, se una certa azienda è affidabile, quali sono i rischi di una tecnologia. Il sistema risponde in pochi secondi, di norma con un testo coerente e apparentemente unitario. Ed è proprio qui che nasce un problema nuovo: da dove arriva quella risposta?

Un think tank nato per parlare anche alle macchine

Due inchieste pubblicate ad agosto da Politico e 404 Media hanno portato alla luce un caso particolarmente istruttivo.

Al centro c’è l’Hanover Institute for Public Policy, un sito che pubblica analisi su Israele, Gaza, Palestina, antisemitismo e antisionismo. Non è però un think tank indipendente nel senso tradizionale del termine: i documenti depositati negli Stati Uniti permettono di ricostruire una catena che passa attraverso l’agenzia americana Piro Inc., Havas Media Germany e LaPam, l’agenzia pubblicitaria del governo israeliano. Negli Stati Uniti chi svolge determinate attività politiche o di comunicazione per conto di soggetti stranieri può essere obbligato a registrarsi ai sensi del Foreign Agents Registration Act, il FARA, ed è proprio questa normativa ad aver reso accessibili i documenti su cui le due testate hanno lavorato.

Fin qui potremmo trovarci davanti a una normale attività di comunicazione istituzionale. La parte interessante comincia osservando i contenuti. In poche settimane Hanover ha pubblicato più di cento articoli, molti dei quali con titoli formulati come domande: Esiste una politica di affamamento a Gaza?, Perché Israele viene considerato l’aggressore?, Quanta terra palestinese ha preso Israele?, L’esercito israeliano è l’esercito più morale del mondo?. Sono interrogativi molto simili a quelli che una persona rivolgerebbe a Google, ChatGPT o Perplexity, cioè a un sistema che prova a fornire direttamente una risposta.

Da solo, questo non basta a dimostrare che il sito sia stato costruito per influenzare l’intelligenza artificiale, ma ci sono altri elementi. Piro, la società che distribuisce i contenuti, offre commercialmente un servizio chiamato AI Story Optimization e c’è un dettaglio più tecnico: il sito espone un file llms.txt, una convenzione recente pensata proprio per rendere i contenuti di una pagina più facili da leggere e recuperare per i modelli linguistici. Si tratta di un segnale minore, ma coerente con un’intenzione: quei testi non sembrano pensati soltanto per i lettori umani. Il principio commerciale, del resto, è semplice, se le persone chiedono sempre più spesso informazioni ai sistemi AI, aziende e organizzazioni avranno interesse a fare in modo che quei sistemi trovino e utilizzino contenuti favorevoli alla loro narrazione. Una nuova versione di un meccanismo che conosciamo già.

Prima bisognava convincere Google

Per capire cosa stia accadendo conviene tornare indietro di qualche anno. Quando Internet ha cominciato a organizzarsi intorno ai motori di ricerca è nata la SEO, la Search Engine Optimization: un’azienda voleva comparire tra i primi risultati di Google quando qualcuno cercava un prodotto, un giornale voleva che il proprio articolo fosse trovato, un albergo voleva apparire a chi digitava hotel Roma centro. Sono nate così le tecniche per rendere le pagine più comprensibili e più rilevanti agli occhi degli algoritmi. Il principio era chiaro, prima di convincere il lettore bisognava riuscire a farsi trovare dall’algoritmo.

Con i chatbot sta avvenendo qualcosa di simile, ma con una differenza importante. Google mostrava tradizionalmente una lista di risultati, il chatbot produce direttamente una risposta. Il passaggio cambia parecchio. Se cerco su Google cause dell’inflazione, sotto la risposta di AI Overview, posso trovare dieci link, una banca centrale, Wikipedia, un quotidiano, un blog, una ricerca accademica, e decidere quali aprire, vedendo subito che esistono fonti differenti. Se pongo la stessa domanda a un chatbot ricevo cinque paragrafi che sintetizzano quelle informazioni. La selezione è già avvenuta.

Come costruisce la risposta un chatbot

Qui conviene distinguere due cose che spesso vengono confuse. Un modello come quelli utilizzati da ChatGPT viene addestrato su enormi quantità di testi e in quella fase apprende relazioni linguistiche, concetti e regolarità presenti nei dati; questo non significa, però, che conosca automaticamente tutto ciò che viene pubblicato oggi su Internet. Per rispondere su informazioni recenti alcuni sistemi ricorrono a un secondo meccanismo: cercano sul web. In termini semplici, l’utente pone una domanda, il sistema individua alcune pagine che considera pertinenti, ne recupera il contenuto e lo utilizza per costruire la risposta. Questo passaggio viene di solito chiamato retrieval, cioè recupero di informazioni, ed è decisivo per capire il caso Hanover, se ChatGPT cita oggi un articolo pubblicato ieri, non significa necessariamente che quel testo sia entrato nel suo addestramento, ma solo che, al momento della domanda, il sistema lo ha trovato sul web e lo ha considerato una fonte utile. Esattamente qui che si apre il nuovo spazio di competizione.

Non serve cambiare ciò che l’AI sa

Immaginiamo di voler influenzare ciò che un chatbot dice di un’azienda. Una prima possibilità sarebbe far entrare determinate informazioni nel futuro addestramento del modello: un processo difficile, lento e soprattutto non controllabile in modo diretto. Ne esiste però una seconda, molto più praticabile: fare in modo che, quando il chatbot cerca informazioni su quell’azienda, trovi molti contenuti che la presentano secondo una determinata prospettiva. Il problema, così, si sposta. Non devo modificare ciò che il modello ha appreso, devo aumentare la probabilità che trovi me quando cerca una risposta. Questo prova a fare la disciplina che va sotto il nome di Generative Engine Optimization, o GEO. L’acronimo può sembrare esoterico, ma il concetto non lo è, se la SEO serviva a comparire bene dentro Google, la GEO serve a comparire bene dentro le risposte generate dall’AI.

Il test di Politico sulle risposte AI

È a questo punto che il caso Hanover diventa significativo. Politico ha posto a ChatGPT e Perplexity alcune domande formulate in modo neutrale sui temi trattati dal sito, e in alcuni casi i due sistemi hanno citato proprio materiale dell’Hanover Institute. Non è una prova che Hanover controlli ciò che ChatGPT “pensa” di Israele, né che possa orientarne stabilmente le risposte. Dimostra però qualcosa di più circoscritto e verificabile: contenuti costruiti nell’ambito di una strategia di comunicazione politica sono riusciti, almeno in alcuni casi, a entrare tra le fonti che i sistemi AI usano per rispondere agli utenti. Però è sufficiente per porre una domanda più ampia, che cosa accade se questa pratica diventa normale?

Non riguarda soltanto Israele

È facile leggere il caso attraverso la lente del conflitto israelo-palestinese, ma così si rischia di perdere il fenomeno e non è nemmeno necessario immaginarlo, alcuni marcatori tecnici del sito rimandano a Res, una società di Seattle che offre servizi analoghi e che presenta tra i propri clienti marchi come Nike e Intel, descritti come aziende aiutate a farsi raccomandare dai modelli di AI, una copia identica della homepage dell’Hanover Institute, ospitata sul sito di Res, è diventata irraggiungibile dopo che Politico ha contattato l’azienda. Il punto è che ottimizzare la propria presenza dentro le risposte dell’AI è già oggi un servizio commerciale, offerto a soggetti di ogni tipo.

Basta allora immaginare la stessa tecnica nelle mani di una compagnia petrolifera, di un produttore farmaceutico, di una società tecnologica, di un governo, di un’associazione ambientalista o di un candidato politico. Se una parte crescente dell’opinione pubblica si informa attraverso sistemi AI, tutti questi soggetti hanno un incentivo a produrre contenuti che i sistemi possano trovare, considerare autorevoli e riutilizzare nelle proprie risposte. Tra l’altro non serve necessariamente mentire, ed è qui che il problema si fa più complicato.

Si può influenzare senza dire cose false

Quando parliamo di propaganda o disinformazione tendiamo a immaginare una distinzione netta, da una parte i fatti veri, dall’altra le informazioni false. Ma una parte importante della comunicazione persuasiva funziona diversamente. Posso utilizzare esclusivamente fatti autentici e costruire comunque una rappresentazione molto particolare della realtà, scegliere alcuni numeri e non altri, partire da una certa data anziché da un’altra, confrontare due Paesi e non altri cinque, mettere un evento nel titolo e relegarne un altro alla ventesima riga, formulare una domanda in modo che renda più probabile una certa risposta. Chiunque abbia letto due giornali di orientamento diverso sullo stesso avvenimento conosce bene questo meccanismo. La questione, dunque, non riguarda soltanto il vero e il falso, riguarda la selezione.

La macchina sintetizza ciò che noi non vediamo

Ed è qui che il chatbot introduce un’ulteriore differenza. Quando leggiamo un giornale sappiamo, almeno in linea di principio, chi ci sta parlando, chi scrive ricorda ancora che alle scuole elementari aveva letto Come si legge un giornale di Paolo Murialdi. Conosciamo quindi la testata, vediamo l’autore, possiamo confrontare quell’articolo con un altro, se leggiamo una ricerca possiamo controllarne gli autori, l’istituzione, il metodo, i riferimenti bibliografici. Non è un caso, del resto, che gli articoli di Hanover non riportino alcun autore. Il sito rivendica l’anonimato come scelta editoriale, sostenendo che un contenuto debba reggersi sulle proprie fonti e non sul nome di chi lo firma. Una posizione discutibile, ma dall’effetto preciso, spostare l’attenzione dall’emittente al testo, proprio mentre il testo entra in un sistema che tende comunque a farne scomparire l’origine.

Con una risposta generata dall’AI, infatti, questa pluralità tende a dissolversi dietro una voce unica. Il sistema può aver consultato dieci fonti diverse, ma noi leggiamo un testo solo, può aver trovato fonti in conflitto, ma noi vediamo soltanto la sintesi che ne ha ricavato. Questo non significa che la risposta sia necessariamente sbagliata, significa che una parte del processo attraverso cui è stata costruita diventa meno visibile. Precisamente questa caratteristica rende così importante la questione delle fonti.

Quando cento fonti sono in realtà una sola

C’è poi un secondo problema. L’AI rende estremamente economico produrre contenuti, un’organizzazione può realizzare articoli, FAQ, report, video, trascrizioni e post in quantità che fino a pochi anni fa avrebbero richiesto una redazione intera. Nel caso Hanover non si tratta di un’ipotesi, secondo le verifiche riportate dalle testate che hanno seguito la vicenda, i testi degli articoli esaminati risultano generati interamente da un sistema di AI, immagini comprese, con la sola eccezione della bibliografia finale.

Immaginiamo allora cento pagine che sostengono una determinata interpretazione. A prima vista sembrano cento elementi distinti dell’ecosistema informativo, ma potrebbero essere state create dallo stesso soggetto, con la stessa strategia e per lo stesso obiettivo: il numero delle fonti non coincide necessariamente con la loro diversità. Potremmo chiamare questo fenomeno consenso sintetico. Non consiste nel creare dal nulla una falsità, ma nel produrre artificialmente l’impressione che una certa interpretazione sia molto presente nell’ambiente informativo. Se il sistema AI non riesce a ricostruire correttamente l’origine di quei contenuti, rischia di scambiare la ripetizione per indipendenza. È un rischio ancora da misurare, che diventa però più rilevante man mano che il costo di produzione dell’informazione diminuisce.

Chi decide cosa è affidabile

Torniamo alla domanda iniziale. Chi decide qual è la verità? In senso stretto, nessuno. Eppure, qualcuno deve pur decidere quali fonti un sistema AI consideri abbastanza affidabili da utilizzare. Potremmo dire, affidiamoci alle fonti istituzionali, ma un governo è una fonte istituzionale e insieme un soggetto con interessi politici. Potremmo privilegiare la scienza, ma su molti temi la ricerca non ha ancora raggiunto conclusioni condivise. Potremmo chiedere ai sistemi di rappresentare sempre entrambe le posizioni, ma non tutte le controversie hanno due posizioni equivalenti, né tutte le posizioni poggiano sullo stesso fondamento. Il problema non si risolve dunque scrivendo una regola semplice del tipo usa fonti affidabili: bisogna prima stabilire che cosa significhi affidabile. Questa non è più una questione puramente tecnologica, è epistemologica, perché riguarda il modo in cui conosciamo il mondo; è etica, perché riguarda quali criteri riteniamo legittimi, ed è politica, perché chi controlla quei criteri esercita inevitabilmente una forma di potere.

Non esistono fonti senza un punto di vista

C’è però un rischio opposto, pensare che la soluzione consista nel trovare fonti totalmente neutrali. Probabilmente non esistono. Un governo ha interessi, un’impresa ha interessi, un sindacato ha interessi; una ONG ha una missione, un giornale ha una linea editoriale, e persino un ricercatore sceglie quali problemi studiare e quali domande porsi. Il punto, allora, non è eliminare ogni punto di vista, ma renderlo visibile: sapere chi finanzia una fonte, capire chi la produce, riconoscere quando dieci documenti apparentemente diversi provengono dallo stesso soggetto, distinguere un dato da un’interpretazione, sapere quando esiste una controversia significativa. La trasparenza non elimina il conflitto, ma permette almeno di vederlo. Un secolo fa Max Weber chiese agli scienziati sociali una disciplina che oggi suona stranamente attuale. Non il rozzo lo studioso dev’essere neutrale, ma qualcosa di più fine: i valori sono inevitabili quando scegli che cosa studiare, ma non devi mai spacciarli per risultati della scienza. Dichiara da dove parli, non confondere ciò che sai con ciò in cui credi. Il punto che quasi sempre si dimentica è che dichiarare un valore non ti autorizza a selezionare soltanto i dati che ti fanno comodo. Weber la chiamava onestà intellettuale e rivolgeva a ogni esperto una sola domanda: dove finisce ciò che sai e dove comincia ciò in cui credi? Non chiedeva di cancellare la seconda parte, chiedeva di non confonderla con la prima.

Una nuova infrastruttura della conoscenza

Forse questo è l’aspetto più importante del caso. I chatbot stanno gradualmente diventando qualcosa di diverso da semplici strumenti tecnologici. Finché li usiamo per scrivere una mail, tradurre un testo o riassumere un documento, il loro ruolo resta limitato, ma quando cominciamo a chiedere loro di spiegare il mondo, diventano parte del modo in cui costruiamo conoscenza. Per molti utenti il percorso potrebbe ridursi sempre più spesso a domanda → chatbot → risposta, e sempre meno a domanda → ricerca → fonti diverse → confronto → conclusione. Anche il secondo percorso, va detto, era tutt’altro che perfetto, Google ordinava già le fonti, i social network selezionano da anni ciò che vediamo, i giornali decidono quali notizie pubblicare. L’AI non inventa quindi il problema della mediazione, ma lo porta a un livello nuovo, perché non si limita a selezionare ciò che vedremo, può produrre direttamente la formulazione con cui lo comprenderemo.

La domanda diventa un’altra

Forse, allora, chi decide qual è la verità? non è la domanda finale, ma quella che serve ad aprire il problema. Quella più precisa è un’altra, chi costruisce il percorso attraverso cui arriviamo a considerare vera una cosa? Per molto tempo quel percorso è passato attraverso famiglie, scuole, università, giornali, libri, istituzioni scientifiche. Poi sono arrivati i motori di ricerca e i social network, ora una sua parte potrebbe passare attraverso sistemi che cercano le informazioni, le selezionano, le confrontano e infine parlano con noi. Il caso Hanover mostra che qualcuno ne ha già tratto la conseguenza: se non puoi controllare direttamente la risposta, puoi provare a influenzare ciò che la macchina incontrerà prima di formularla. La vera competizione, così, potrebbe non essere più soltanto per conquistare la nostra attenzione, ma per conquistare quella delle macchine a cui stiamo delegando una parte crescente del compito di informarci. A quel punto la qualità dell’AI non dipenderà soltanto dalla potenza dei suoi modelli, ma anche dalla qualità, dalla pluralità e dalla trasparenza dell’ambiente informativo in cui quei modelli cercano le loro risposte.