In un racconto del 1954, The Great Automatic Grammatizator, Roald Dahl immaginava un giovane ingegnere, Adolph Knipe, che – “costernato” per aver scritto cinquecentosessantasei racconti, tutti invariabilmente respinti dalle riviste alle quali li aveva proposti – progettava di costruire e riusciva poi a realizzare una “macchina per scrivere storie”, avendo compreso che le regole della grammatica possono essere formulate in termini matematici.
Smontare e rimontare la macchina del linguaggio: la “macchina letteraria” e i “pappagalli stocastici
Poi, all’improvviso, gli venne in mente una semplice ma potente verità, cioè questa: la grammatica inglese è governata da regole pressoché matematiche nel loro rigore! […] Dunque, si può ragionevolmente ritenere che una macchina applicata ai circuiti del calcolatore elettronico sarebbe in grado di sistemare le parole (invece dei numeri) nell’ordine appropriato secondo le regole grammaticali. Inserisci i verbi, i sostantivi, gli aggettivi, i pronomi, e fai in modo che possano essere utilizzati a richiesta. Poi inserisci le trame e lascia scrivere a lei le frasi.
Poco più di un decennio più tardi, nel corso di una serie di conferenze, anche Italo Calvino dichiarava possibile una “macchina letteraria”, prendendo le mosse dalla “narrativa come processo combinatorio” e dalla constatazione che “l’uomo sta cominciando a capire come si smonta e come si rimonta la più complicata e la più imprevedibile di tutte le sue macchine: il linguaggio”. In fondo, sosteneva Calvino, una parte del lavoro dello scrittore non consiste che in “un’ostinata serie di tentativi di far stare una parola dietro l’altra seguendo certe regole definite, o più spesso regole non definite né definibili ma estrapolabili da una serie di esempi o protocolli”. Perfino “i più gelosi attributi dell’intimità psicologica, dell’esperienza vissuta, dell’imprevedibilità degli scatti d’umore, i sussulti e gli strazi e le illuminazioni interiori” non sono che “campi linguistici, di cui possiamo benissimo arrivare a stabilire lessico grammatica sintassi e proprietà permutative”.
Proprio a partire da “regole non definite né definibili ma estrapolabili da una serie di esempi” sono costruiti oggi i grandi modelli del linguaggio naturale. Si tratta di sistemi informatici che predicono stringhe di testo, utilizzando le statistiche sulla distribuzione delle parole per produrre altre stringhe di parole. Sono stati qualificati come “pappagalli statistici elettronici” o “pappagalli stocastici”, in virtù di due caratteristiche: quella di produrre parole senza conoscerne il significato e quella di farlo sulla base di informazioni probabilistiche sul modo in cui le sequenze di forme linguistiche si combinano nei testi di partenza.
I generatori di linguaggio basati su AI
I generatori di linguaggio, quali chatGPT o GPT-4, sono ulteriormente programmati, attraverso interazioni con esseri umani, per produrre output che somiglino a quelle che tali esseri umani qualificano come risposte plausibili, pertinenti e appropriate. Simili sistemi sono fondati su modelli del linguaggio, non su modelli della conoscenza: generano perciò testi plausibili e convincenti e, al tempo stesso, del tutto privi di valore informativo, oltre che di intenti comunicativi.
Le persone che leggono tali testi vi rintracciano un significato perché i grandi modelli del linguaggio costituiscono un’immagine sfuocata di tutto il testo presente nel Web, ossia, come scrive Regina Rini, “una rappresentazione statisticamente astratta dei contenuti di milioni di menti, quali sono espressi nella loro scrittura”. Per questa stessa ragione, ciò che tali testi forniscono è “non-informazione”: non risposte in senso proprio alle nostre domande, ma testi programmati per apparire plausibili, ossia molto simili a come una risposta alla nostra domanda potrebbe apparire. È perciò che sono stati definiti “generatori di stronzate”, nel senso in cui ha usato l’espressione Harry Frankfurt, o generatori di cliché.
Come è possibile che una “macchina letteraria” – i cui prodotti, come ha scritto Stefano Bartezzaghi, sono caratterizzati da “correttezza sintattica, plausibilità semantica, sostanziale carenza di senso”– sia oggi presentata come uno strumento che sostituirà milioni di lavoratori, che può fornire indicazioni sulle specifiche operazioni militari da intraprendere, in concreti scenari di guerra, e al quale si possano chiedere assistenza mentale o consulenze mediche?
Vale la pena, per rispondere a questa domanda, tornare un momento alla storia di Adolph Knipe e della sua “macchina per scrivere storie”.
Animare l’inanimato: frodi vecchie e nuove
Nel racconto di Roald Dahl, Adolph Knipe e il suo capo, Mr Bohle, fondano un’agenza letteraria e vendono i racconti e poi i romanzi prodotti dalla “macchina per scrivere storie”, spacciandoli per opere proprie o di scrittori fittizi. Infine, decidono di “assorbire” tutti gli altri scrittori del paese, “esattamente come fece Rockefeller con le sue compagnie petrolifere. Basta comprarli, e se poi non vendono, dar loro il benservito”.
Il genuino progresso costituito dalla «macchina letteraria» odierna è sfruttato dalle aziende con spregiudicatezza, voracità e spregio del diritto analoghi a quelli che Roald Dahl aveva attribuito, nel loro piccolo, ai protagonisti del suo racconto.
I generatori di linguaggio si fondano infatti, oltre che su pratiche di espropriazione del lavoro e di esternalizzazione dei costi ambientali, su un’enorme quantità di dati e opere del lavoro umano, estorti o prelevati in blocco là dove si trovino, anche quando siano protetti dal diritto alla protezione dei dati personali o dal diritto d’autore. I testi prodotti, perciò, anziché generati dal nulla, sono definibili come una forma di “plagio automatizzato” e riproducono (con effetti normalizzanti, anziché generativi in senso proprio) la prospettiva egemonica e i suoi stereotipi (tutti sanno, come scrive Cory Doctorow, che i programmi di completamento automatico sono profondamente conservatori).
Una generalizzata distribuzione e commercializzazione di tali sistemi produce danni alle singole persone coinvolte e alle società democratiche nel loro complesso. Nel caso, ad esempio, di GPT-4, tali effetti sono elencati puntualmente dall’azienda produttrice, OpenAI, nel relativo rapporto tecnico; tra questi, compaiono:
- “la tendenza a inventare i fatti”, a fornire informazioni errate e a “svolgere compiti in modo scorretto”, tanto più pericolosa quanto più siano stati resi plausibili, e dunque ingannevoli by design, i suoi output;
- l’inquinamento dell’ecosistema dell’informazione: GPT-4 “ha il potenziale di mettere in dubbio l’intero ambiente dell’informazione, minacciando la nostra capacità di distinguere i fatti dalla finzione”;
- la possibilità di truffe e manipolazioni politiche su larghissima scala, con uno strumento che può produrre una miriade di testi, orientati come si desidera e indistinguibili da quelli prodotti da esseri umani.
Nel descrivere la prima caratteristica, il rapporto tecnico di OpenAI rileva che GPT-4 “può soffrire di ‘allucinazioni’”. L’uso di un termine che allude a fenomeni psichici – e, in particolare, a fenomeni psichici che presuppongono la capacità di distinguere il reale dall’immaginario – è intenzionalmente fuorviante. Così, infatti, la strutturale inaffidabilità, a fini informativi, di un sistema il cui funzionamento ordinario lo rende “incapace di distinguere il possibile dall’impossibile”, è trasformata in mero errore, in una obnubilazione temporanea e superabile, quale la condizione generalmente straordinaria e passeggera per cui gli esseri umani, pur pienamente capaci di distinguere la realtà dall’apparenza, temporaneamente le confondano.
In una nota al paragrafo sulle “allucinazioni”, OpenAI dichiara la piena consapevolezza di tale mistificazione e dei suoi effetti:
Usiamo il termine “allucinazioni”, anche se riconosciamo che questa formulazione può suggerire un’antropomorfizzazione, che a sua volta può portare a danni o a modelli mentali errati di come il modello apprende.
Questa operazione di antropomorfizzazione di un sistema informatico, per convincere le persone ch’esso sia animato, e che in quanto tale sia capace di comprendere e ragionare, non è isolata. ChatGPT e GPT-4 sono descritti da OpenAI come dotati della «capacità di comprendere e generare testo in linguaggio naturale», di «fattualità e capacità matematiche», di una conoscenza del mondo, di capacità di ragionamento e della caratteristica di fornire, solo «occasionalmente», risposte non corrette. In realtà, tali sistemi non conoscono né comprendono alcunché, sono architettonicamente incapaci di ragionamento abduttivo e non sono in grado di fornire alcuna informazione. Malgrado ciò, Sam Altman, CEO di OpenAI, twitta che chi non può permettersi le cure potrà farsi curare da un generatore di linguaggio, e le aziende che commercializzano applicazioni per l’assistenza mentale registrano milioni di abbonati, sfruttando, manipolando e mettendo in pericolo le persone più vulnerabili.
Speculare all’antropomorfizzazione delle macchine è la deumanizzazione delle persone. Il CEO di OpenAI, ad esempio, scrive:
Io sono un pappagallo stocastico, e lo sei anche tu
L’equiparazione di persone e sistemi informatici è utilizzata dalle aziende per far apparire come lecito – a partire dalla constatazione dell’imperscrutabilità della mente umana– il rilascio di prodotti inspiegabili e imprevedibili, ossia costitutivamente non sicuri. Così il CEO di Google, in una recente intervista:
Scott Pelley: Non capite bene come funziona. Eppure, l’avete scaricato sulla società?
Sundar Pichai: Sì, è così. Mettiamola così. Non credo che comprendiamo appieno neppure il funzionamento della mente umana.
Un ulteriore dispositivo per diffondere impunemente prodotti pericolosi e incolpare sistematicamente utenti e clienti è l’offuscamento della linea di confine tra la fase di ricerca e sperimentazione e quella della distribuzione e commercializzazione di prodotti: OpenAI, ad esempio, rende pubblicamente disponibili i propri generatori di linguaggio naturale, in fase sperimentale, ne distribuisce al tempo stesso versioni a pagamento e fissa termini d’uso in virtù dei quali ogni utente è responsabile tanto dei propri input quanto degli output prodotti dal sistema (sui quali, ovviamente, non ha alcuna facoltà di controllo o decisione e i cui fondamenti gli sono del tutto oscuri).
Con ciò, considerato che si può incappare in output che diffamino singoli utenti, la logica che presiede all’attribuzione della responsabilità è la medesima del paese di Acchiappacitrulli. Come nel paese in cui Collodi aveva fatto finire il suo povero burattino, infatti, le vittime di un reato diventano, ai sensi dei termini d’uso, i colpevoli del reato medesimo.
La fine di un’allucinazione: le leggi valgono anche per l’“intelligenza artificiale”
Se la responsabilità per gli effetti dei generatori di linguaggio ricadesse sui produttori, la loro commercializzazione non sarebbe vantaggiosa (quand’anche il diritto non la vietasse tout court).
Per sfuggire alle loro responsabilità senza rinunciare a una fonte di enorme profitto, i giganti della tecnologia hanno diffuso una famiglia di narrazioni che danno forma alla percezione pubblica del rapporto tra etica, politica, diritto e tecnologia e costituiscono gli assiomi indiscussi di qualsiasi discorso pubblico. Sono così entrati a far parte del senso comune, tra gli altri, il principio di inevitabilità tecnologica, il mito dell’eccezionalismo tecnologico, il principio di innovazione e il mito del vuoto giuridico.
Le diverse narrazioni concorrono, congiuntamente, al perseguimento di singoli scopi aziendali: al fine di sfuggire alle responsabilità per gli effetti dannosi dei prodotti, ad esempio, sono utili l’eccezionalismo, l’antropomorfizzazione delle macchine e, insieme, il «principio di inevitabilità tecnologica», secondo un meccanismo che Joseph Weizenbaum aveva descritto quasi mezzo secolo fa:
Il mito dell’inevitabilità tecnologica, politica e sociale è un potente tranquillante per la coscienza. Il suo servizio è quello di togliere la responsabilità dalle spalle di tutti coloro che ci credono veramente. Ma, in realtà, ci sono degli attori! […] La reificazione di sistemi complessi che non hanno autori, di cui sappiamo solo che ci sono stati dati in qualche modo dalla scienza e che parlano con la sua autorità, non permette di porsi domande di verità o di giustizia.
La tesi che le leggi vigenti non si applichino ai prodotti basati su sistemi di «intelligenza artificiale», in virtù della loro novità e straordinarietà, e che servano dunque nuove leggi, scritte ad hoc per ciascuna tecnologia, serve a dar luogo a una corsa che vedrà il legislatore perennemente in affanno, nel rincorrere le più recenti novità tecnologiche, le quali saranno dunque commercializzabili eslege.
All’allucinazione collettiva che ci ha indotti a vedere i sistemi informatici come agenti artificiali e a credere inapplicabili i sistemi normativi vigenti e gli ordinari criteri di attribuzione della responsabilità, si oppone oggi una crescente consapevolezza del fatto che i sistemi informatici sono artefatti, ossia prodotti, e che non c’è alcuna ragione per sottrarne la distribuzione e la commercializzazione alla legislazione ordinaria.
Di recente, la Federal Trade Commission statunitense, in netto contrasto con la posizione delle grandi aziende, ha dichiarato che i generatori di linguaggio sono soggetti alle norme in vigore e che l’impossibilità, per ragioni tecniche, di ottemperare a ciò che le leggi esigono non è una ragione per dichiararsi esentati da quelle stesse leggi e chiederne di nuove:
C’è un mito potente in giro secondo il quale «l’IA non è regolamentata». […]
Ha un forte fascino intuitivo: suona bene. Come potrebbero queste misteriose nuove tecnologie essere regolamentate dalle nostre vecchie leggi polverose?
Se l’avete sentita o l’avete detta, fate un passo indietro e chiedetevi: a chi giova questa idea? Non aiuta i consumatori, che si sentono sempre più indifesi e smarriti. Non aiuta la maggior parte delle aziende. […]
Credo che l’idea secondo cui «l’IA non è regolamentata» aiuti quel piccolo sottoinsieme di imprese che non sono interessate alla compliance. E abbiamo già sentito frasi simili. «Non siamo una compagnia di taxi, siamo una compagnia tecnologica». «Non siamo un’azienda alberghiera, siamo un’azienda tecnologica». Queste affermazioni erano di solito seguite da affermazioni secondo cui le norme statali o locali non potevano essere applicate a queste aziende.
La realtà è che l’IA è regolamentata. Solo alcuni esempi:
– Le leggi sulle pratiche commerciali sleali e ingannevoli si applicano all’IA. […]
– Le leggi sui diritti civili si applicano all’IA. […]
– Le leggi sulla responsabilità civile e da prodotto si applicano all’IA.
La Federal Trade Commission ricorda inoltre che la Commissione medesima «storicamente non ha reagito bene all’idea che un’azienda non sia responsabile del proprio prodotto perché questo è una «scatola nera» incomprensibile o difficile da testare» e che, nei casi in cui la legge esiga spiegazioni, «l’inspiegabilità o l’imprevedibilità di un prodotto è raramente una difesa giuridicamente ammissibile».
La trasparenza è richiesta anzitutto sui dati di partenza, rendendo note le fonti dei dati e l’eventuale consenso degli interessati. Su questo aspetto, i più recenti provvedimenti della Commissione mostrano una radicalità nuova: in alcuni casi di dati ottenuti impropriamente, essa ha ottenuto infatti non la mera cancellazione di tali dati, ma la distruzione di tutti i modelli e gli algoritmi costruiti utilizzando tali dati.
Quanto alla responsabilità per i danni derivanti dalla distribuzione dei generatori di linguaggio, Daniel Dennet osserva che esistono pene severe per chi metta in circolazione denaro falso e ritiene necessaria un’analoga severità verso chi, mettendo ancor più rischio le fondamenta delle società democratiche, crei e metta in circolazione “persone contraffatte”.
La Presidente della Federal Trade Commission, Lina Khan, si è espressa riguardo alla possibilità di automatizzare le frodi online, tramite i generatori di linguaggio:
Nell’applicare il divieto di pratiche ingannevoli, non ci limiteremo a considerare i truffatori occasionali che impiegano questi strumenti, ma anche le aziende a monte che li mettono a disposizione.
Il ruolo delle «aziende a monte» e gli effetti antidemocratici della concentrazione di potere in tali aziende – le quali hanno ormai dimensioni e prerogative che le rendono assimilabili ai più potenti Stati nazionali – costituiscono in effetti uno dei nodi cruciali. Dall’inserimento dei generatori di linguaggio in tutte le applicazioni esistenti, le grandi piattaforme ritengono di poter ottenere uno strumento per trattenere gli utenti nei loro ecosistemi chiusi, avere a disposizione i dati e i metadati relativi a tutte le loro attività e intridere di annunci pubblicitari “personalizzati” le risposte e i risultati di ricerca presentati agli utenti.
Vedremo se la stesura definiva del prossimo regolamento europeo sull’intelligenza artificiale sarà guidata dal «fantasma lobbista nella macchina» della regolazione – alacremente all’opera per far sparire ogni previsione relativa ai generatori di linguaggio – o se prevarrà, invece, la constatazione di Lina Khan: “Nessuna eccezione per l’intelligenza artificiale è prevista nei codici”.
Bibliografia
S. Bartezzaghi, Chatgpt. Non è detto che sia vero, ma è vero che lo si è detto, «Doppiozero», 26 aprile 2023, https://www.doppiozero.com/chatgpt-non-e-detto-che-sia-vero-ma-e-vero-che-lo-si-e-detto.
E.M. Bender, T. Gebru, A. Mc Millan-Major, S. Shmitchell, On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?, in Conference on Fairness, Accountability, and Transparency (FAccT ’21), March 3–10, 2021, Virtual Event, Canada, New York, ACM, 2021, https://dl.acm.org/doi/10.1145/3442188.3445922.
I. Calvino, Cibernerica e fantasmi (Appunti sulla narrativa come processo combinatorio), in Idem, Una pietra sopra, Milano, Mondadori 20233, pp. 201-221.
R. Caso, Open Data, ricerca scientifica e privatizzazione della conoscenza, 2022, https://www.robertocaso.it/2022/01/22/dati-aperti-della-ricerca-o-proprieta-intellettuale/.
R. Claypool and C. Hunt, “Sorry in Advance!” Rapid Rush to Deploy Generative A.I. Risks a Wide Array of Automated Harms, April 18, 2023, https://www.citizen.org/article/sorry-in-advance-generative-ai-artificial-intellligence-chatgpt-report/.
R. Dahl, Il libraio che imbrogliò l’Inghilterra seguito da Lo scrittore automatico, traduzione di M. Bocchiola, Parma, Ugo Guanda Editore, 1996.
S. Dang, Google to test ads in generative AI search results, May 23, 2023, https://www.reuters.com/technology/google-test-ads-generative-ai-search-results-2023-05-23/.
D. Dennett, The Problem With Counterfeit People, «The Atlantic», May 16, 2023, https://www.theatlantic.com/technology/archive/2023/05/problem-counterfeit-people/674075/.
C. Doctorow, The AI hype bubble is the new crypto hype bubble, March 9, 2023, https://pluralistic.net/2023/03/09/autocomplete-worshippers/#the-real-ai-was-the-corporations-that-we-fought-along-the-way.
Early Thoughts on Generative AI. Prepared Remarks of Commissioner Alvaro M. Bedoya, Federal Trade Commission Before the International Association of Privacy Professionals, April 5, 2023, https://www.ftc.gov/news-events/news/speeches/prepared-remarks-commissioner-alvaro-m-bedoya-international-association-privacy-professionals
M. Gault, Palantir Demos AI to Fight Wars But Says It Will Be Totally Ethical Don’t Worry About It, «Vice», April 26, 2023, https://www.vice.com/en/article/qjvb4x/palantir-demos-ai-to-fight-wars-but-says-it-will-be-totally-ethical-dont-worry-about-it.
T. Gebru, E.M. Bender, A. McMillan-Major, M. Mitchell, Statement from the listed authors of Stochastic Parrots on the “AI pause” letter, March 31, 2023, https://www.dair-institute.org/blog/letter-statement-March2023.
Generating Harms: Generative AI’s Impact & Paths Forward, May 23, 2023, https://epic.org/wp-content/uploads/2023/05/EPIC-Generative-AI-White-Paper-May2023.pdf
A. Kak, S. Myers West, ChatGPT And More: Large Scale AI Models Entrench Big Tech Power, in AI Now 2023 Landscape: Confronting Tech Power, AI Now Institute, April 11, 2023, https://ainowinstitute.org/publication/large-scale-ai-models.
D. Karpf, On Generative AI and Satisficing, May 9, 2023, https://davekarpf.substack.com/p/on-generative-ai-and-satisficing.
E. Klein, The Imminent Danger of A.I. Is One We’re Not Talking About, «New York Times», February 26, 2023, https://www.nytimes.com/2023/02/26/opinion/microsoft-bing-sydney-artificial-intelligence.html.
N. Klein, AI machines aren’t ‘hallucinating’. But their makers are, May 8, 2023, https://www.theguardian.com/commentisfree/2023/may/08/ai-machines-hallucinating-naomi-klein
M. Lombardi, Generative AI, dov’è il bene per l’Umanità?, Agendadigitale.eu, 15 maggio 2023, https://www.agendadigitale.eu/cultura-digitale/la-generative-ai-che-verra-siamo-sulla-strada-giusta/.
S. Luccioni, The mounting human and environmental costs of generative AI, April 12, 2023, https://arstechnica.com/gadgets/2023/04/generative-ai-is-cool-but-lets-not-forget-its-human-and-environmental-costs/
E. Malroux, Quelles régulations pour la conception des IA génératives?, 26 avril 2023, https://linc.cnil.fr/fr/dossier-ia-generative-quelles-regulations-pour-la-conception-des-ia-generatives.
D. McQuillan, We come to bury ChatGPT, not to praise it, February 6, 2023, https://www.danmcquillan.org/chatgpt.html.
E. Nardelli, Non lasciamo che i nostri figli diventino cavie di ChatGPT&Co., «Start Magazine», 19 marzo 2023, https://www.startmag.it/innovazione/non-lasciamo-che-i-nostri-figli-diventino-cavie-di-chatgptco/.
M.C. Pievatolo, Sulle spalle dei mercanti? Teledidattica e civiltà tecnologica, «Bollettino telematico di filosofia politica», 2023, https://commentbfp.sp.unipi.it/sulle-spalle-dei-mercanti-teledidattica-e-civilta-tecnologica/.
E.M. Renieris, Beyond data: reclaiming human rights at the dawn of the metaverse, Cambridge, Massachusetts, The MIT Press, 2023.
C. Stokel-Walker, What is the future of AI? Google and the EU have very different ideas, «New Scientist», May 12, 2023, https://www.newscientist.com/article/2373433-what-is-the-future-of-ai-google-and-the-eu-have-very-different-ideas/.
V. Storchan, L’IA Potemkine et le futur du travail, une conversation avec Antonio Casilli, «Le Grand Continent», 7 avril 2023, https://legrandcontinent.eu/fr/2023/04/07/lia-potemkine-et-le-futur-du-travail-une-conversation-avec-antonio-casilli/.
D. Tafani, Sistemi fuori controllo o prodotti fuorilegge? La cosiddetta «intelligenza artificiale» e il risveglio del diritto, «Bollettino telematico di filosofia politica», 2023, pp. 1-13, https://btfp.sp.unipi.it/it/2023/05/sistemi-fuori-controllo-o-prodotti-fuorilegge.
The Great A.I. Hallucination, «The New Republic», May 10, 2023, https://newrepublic.com/article/172454/great-ai-hallucination-chatgpt.
I. van Rooij, Against automated plagiarism, December 29, 2022, https://irisvanrooijcogsci.com/2022/12/29/against-automated-plagiarism/.
W. Vannini, Stop a chatGPT: per fortuna il Garante è vivo e lotta insieme a noi, Agendadigitale.eu, 3 aprile 2023, https://www.agendadigitale.eu/sicurezza/privacy/stop-a-chatgpt-per-fortuna-il-garante-e-vivo-e-lotta-insieme-a-noi/.
