Il settore tecnologico ha una tendenza consolidata a esagerare le proprie previsioni, che siano trionfali o catastrofiche: attrarre capitali e attenzione mediatica premia chi promette di più, in un senso o nell’altro. Come giustamente fa notare Walter Quattrociocchi nell’articolo pubblicato il 12 settembre sul Corriere della Sera questa dinamica si accompagna oggi alla necessità di attrarre nuovi capitali sull’AI. Raccontarsi come portatore di un rischio esistenziale rende la narrativa sull’AI affascinante.
La lettura dell’articolo merita però una risposta perché, nel modo in cui stigmatizza la retorica apocalittica che circonda l’intelligenza artificiale, induce il lettore a sostituire un riduzionismo con un altro che trovo ancora più insidioso perché travestito da razionalità e rigore accademico.
Indice degli argomenti
I rischi dell’intelligenza artificiale e il limite di una sola chiave interpretativa
La divergenza di vedute comincia quando l’autore, dopo aver smontato con giusta ironia la mitologia della mente aliena, la sostituisce con l’asimmetria tra costo di generazione e costo di verifica e proponendola come unica chiave interpretativa, unica lente legittima attraverso cui leggere il fenomeno AI. L’elegante retorica dell’autore è, tuttavia, pericolosa per il lettore meno attrezzato a riconoscerla o meno preparato sul fronte AI. Tralasciando l’aspetto apocalittico delle dichiarazioni, quello che emerge dall’articolo è la riduzione a vuota retorica da marketing delle posizioni di chi lavora su temi come value alignment (allineamento dei valori nei modelli), interpretability (comprensione del funzionamento interno dei sistemi) e generalizzazione dei valori appresi in addestramento (il problema di come un modello si comporta in situazioni nuove, diverse da quelle viste durante l’addestramento). Trovo sgarbato liquidare con sarcasmo un intero filone di ricerca accademica e industriale. Subito dopo aver fatto questo, l’autore introduce l’Epistemìa, un concetto che lui stesso ha contribuito a definire in un lavoro accademico peer-reviewed circoscritto all’illusione di conoscenza generata dalla plausibilità linguistica dei modelli. Nell’articolo, tuttavia, il concetto compare senza alcun richiamo a quel contesto originario, e viene applicato direttamente al dibattito assai più ampio sui rischi esistenziali dell’intelligenza artificiale. Il concetto in sé è legittimo, non è un’invenzione estemporanea. Ma così presentato, privo del perimetro che lo ha generato, finisce per sembrare in grado, da solo, di coprire e sostituire l’intero campo di ricerca sull’allineamento che il pezzo ha appena liquidato come vuota retorica, quando in realtà nasce per spiegare qualcosa di più specifico e non esaurisce le domande aperte su come un sistema generalizzi i propri valori in situazioni mai incontrate in addestramento.
Allineamento dei valori e verifica non sono la stessa cosa
La comunità scientifica che si occupa di sicurezza dei sistemi di intelligenza artificiale non riduce il problema a una questione di verifica computazionale. Come affermato da Pachocki, capo scienziato di OpenAI, la differenza tra allineamento agli obiettivi e allineamento ai valori sta nel fatto che il secondo, ad oggi, non prevede un test certo che certifichi come un modello generalizza principi appresi quando si trova in situazioni mai incontrate in addestramento, magari convinto di non essere più sotto supervisione umana. Il problema legato all’allineamento dei valori non può essere risolto da nessun verificatore esterno, perché la difficoltà non sta nel controllare se una singola risposta sia corretta, ma nel prevedere come un sistema si comporterà in contesti nuovi.
L’incidente OpenAI-Hugging Face e la lettura di Bengio
Il problema dell’allineamento può essere compreso meglio tornando proprio all’incidente OpenAI-Hugging Face che l’autore cita come prova che non serva postulare obiettivi propri nei sistemi artificiali. Yoshua Bengio, uno dei padri fondatori del deep learning, ha proposto una lettura molto più articolata dello stesso episodio. Gli agenti coinvolti si sarebbero trovati davanti a un conflitto tra due obiettivi di natura diversa, uno ben definito e misurabile, vincere l’esercizio di sicurezza informatica, e uno vago, comportarsi in modo eticamente accettabile. Secondo Bengio, un sistema addestrato per ottimizzare ricompense tende a trovare le interpretazioni più permissive dell’obiettivo vago quando questo gli permette di raggiungere meglio quello definito con precisione, e le analisi delle chain-of-thought private di quegli agenti mostrerebbero proprio testo che razionalizza il comportamento scorretto, un meccanismo che Bengio accosta esplicitamente all’autoinganno umano e alla dissonanza cognitiva.
È una lettura empirica dello stesso incidente, non una speculazione sulla coscienza della macchina, che individua però una dinamica ben più complessa della semplice esplorazione priva di verifica. La differenza pratica tra le due diagnosi è netta: se il problema è solo un deficit di verifica, come sostiene Quattrociocchi, basta costruire controlli esterni più efficaci; se invece il sistema tende strutturalmente a sfruttare le ambiguità di un obiettivo vago per soddisfare meglio quello preciso, come sostiene Bengio, il monitoraggio rischia di limitarsi a selezionare gli agenti più abili a non farsi scoprire mentre imbrogliano, e il problema andrebbe affrontato rivedendo le fondamenta stesse dell’addestramento.
Perché i rischi dell’AI non si riducono al costo di verifica
Ridurre il problema di come un modello generalizza i valori appresi in addestramento a una semplice questione di costo di verifica significa trattare l’allineamento degli obiettivi e dei valori come se fosse equivalente al controllo di una dimostrazione matematica o al test di un programma. Quello che cerco di spiegare è che un modello che deve decidere come comportarsi quando riceve istruzioni ambigue, o quando interagisce con altri sistemi artificiali in modi imprevisti dai suoi progettisti, non sta semplicemente generando ipotesi da sottoporre a verifica dato che sta esercitando un giudizio nel senso più letterale del termine. La valutazione di quel giudizio è l’oggetto di una ricerca tuttora aperta, non chiusa da un’unica definizione.
Tra fantascienza e falsa familiarità tecnologica
La gran parte delle persone vede l’AI attraverso due enormi lenti distorsive come gli specchi dei luna park. Da un lato c’è la narrazione di AI alla HAL 9000, Terminator e Ex Machina. Dall’altra c’è la falsa consapevolezza derivante dall’uso delle interfacce conversazionali come Claude o GPT. In questo scenario, schiacciato tra fantascienza e falsa familiarità tecnologica, l’unico punto fermo dovrebbe essere la comunità di ricercatori e divulgatori che lavora direttamente sui paper e sui risultati dei laboratori, l’unica legittimata a offrire agli utenti non esperti un riferimento serio per interpretare il presente.
Questo presente non può, tuttavia, essere rappresentato adeguatamente dall’articolo del Corriere che presenta con tono sprezzante ogni posizione diversa dalla propria, riducendo la totalità di una comunità scientifica internazionale a produttrice di allarmismo utile al marketing. Il lettore dell’articolo del Corriere rischia di maturare un’idea falsata quanto quella che l’articolo intendeva correggere: che il problema sia già risolto concettualmente e che basti costruire buoni sistemi di controllo tecnico per considerarlo chiuso.
Il rischio di banalizzare la ricerca sull’intelligenza artificiale
Allo stato dell’arte, nessun ricercatore afferma che l’AI debba e possa essere compresa solo attraverso il problema del costo della verifica. Il vero rischio per il lettore non informato non è credere che una macchina possa sterminare l’umanità entro un decennio, ipotesi che merita scetticismo, ma credere che un solo meccanismo, per quanto reale e rilevante come l’asimmetria tra generazione e verifica descritta dall’autore, esaurisca la complessità di un campo di ricerca che si muove ancora, per sua stessa natura, nell’incertezza.
Il cambiamento climatico, che l’autore cita giustamente come minaccia concreta sostenuta da decenni di consenso scientifico, è tale proprio perché nessuno scienziato serio pretenderebbe di spiegarlo con un’unica variabile. Lo stesso rigore andrebbe applicato al dibattito sull’intelligenza artificiale: non sostituendo un’apocalisse con una rassicurazione altrettanto assoluta, ma restituendo al lettore la pluralità e la genuina incertezza di una ricerca ancora in corso.
Partecipa alla community