Il paradosso della profezia parla all’umanità da millenni. Sofocle nell’Edipo re lo delinea con precisione tale da indurre Jean Cocteau, nel riscriverne la tragedia, a intitolarla La macchina infernale e a farla precedere dall’aforisma: “Gli dei esistono, sono il diavolo”. Consiste nel difficile discernimento tra la verità inemendabile del materiale profetizzato e l’insuccesso degli sforzi umani nel tentativo di emendarla. Edipo viene allontanato dalla famiglia a causa di un vaticinio che lo annunciava protagonista dell’assassinio del padre Laio. Proprio quell’allontanamento e la conseguente non conoscenza del suo vero padre fa sì che il giovane lo uccida in quanto sconosciuto.
Lo stesso vale per il Macbeth di William Shakespeare, laddove la profezia delle streghe a inizio tragedia forza l’andamento degli eventi successivi, con la moglie del prefigurato re che insiste affinché egli aiuti il destino ad avverarsi ammazzando il re in carica, di notte, come un delinquente di infimo rango. Dell’apparizione della Morte a un servo a Bagdad, o Isfahan, o Samarcanda, che con lo sguardo minaccioso lo spinge a correre a cavallo il più lontano possibile permettendogli così di onorare entro sera l’appuntamento che non sapeva di avere con lei, si è molto letto e perfino ascoltato cantare.
Indice degli argomenti
Dalla profezia ai rischi dell’intelligenza artificiale
Il paradosso della profezia poggia sul solido enigma del paradosso spaziotemporale. Se modifico qualcosa in un punto del tempo, è per ottenere beffardamente ciò che sarebbe dovuto comunque accadere. Nella profezia si guarda uno schermo in cui il film è già stato girato. Ogni tentativo di modificare quanto si è osservato non farà che contribuire alla sua realizzazione.
Un conto è la profezia e un altro l’allarme, l’avvertimento, il segnale di pericolo che dovrebbe servire a mutare qualcosa che potrebbe verificarsi ma non è ancora certa. Nell’ambito predittivo riguardo l’Intelligenza Artificiale, questo blando tipo di oracolo si sta manifestando negli ultimi tempi con crescente frequenza.
Jacob Coxon e gli allarmi dall’industria dell’IA
Le dimissioni di Jacob Coxon da Anthropic, accompagnate dalla rinuncia alle sue quote azionarie per preservare l’indipendenza del suo messaggio, non rappresentano un episodio isolato ma il sintomo di una frattura profonda nel cuore dell’industria tecnologica. Una diaspora di tecnici superiori, un’emorragia di esperti moralmente spaventati dagli scenari delineati nel proprio ambito lavorativo.
Coxon ha lasciato l’azienda due mesi prima che le sue azioni maturassero. «Se sei sotto pressione per correre, devi tagliare gli angoli», ha dichiarato ad Axios.
Ha pure sostenuto che le principali aziende del settore IA stanno «scommettendo con le nostre vite» nell’accelerare la corsa verso una superintelligenza artificiale auto-migliorante. Ha dichiarato espressamente che i ricercatori e i dirigenti che sviluppano l’IA credono concretamente che la tecnologia possa causare l’estinzione dell’umanità o danni catastrofici entro il 2030. Una previsione o una profezia? Che sia l’una o l’altra, è difficile capire come reagire a un’eventualità preannunciata con tanta precisione.
OpenAI e la catena delle defezioni
La sua non è una voce solitaria ma l’ultimo anello di una catena di allarmi e defezioni che si allunga da anni. Nel maggio del 2024 se ne andarono insieme Ilya Sutskever e Jan Leike, i due responsabili del team Superalignment di OpenAI, incaricato proprio di studiare come mantenere sotto controllo un’eventuale superintelligenza. Leike scrisse che «la sicurezza e i suoi processi sono finiti in secondo piano rispetto ai prodotti scintillanti».
Poche settimane dopo, Daniel Kokotajlo rifiutò di firmare l’accordo di non denigrazione richiesto a chi lascia l’azienda, mettendo a rischio circa due milioni di dollari di azioni già maturate, quasi l’intero patrimonio della sua famiglia. OpenAI in seguito fece marcia indietro sulla clausola e Kokotajlo, alla fine mantenne la quota di azioni già maturate, un dettaglio che vale la pena notare perché a differenza sua Coxon non ha mai avuto un margine di recupero.
Anthropic e Google, altre voci in uscita
Nemmeno Anthropic è indenne da questa dinamica e non da oggi. L’azienda stessa nacque nel 2021 dall’uscita di un gruppo di ricercatori OpenAI, tra cui Dario e Daniela Amodei, convinti che la scala dei modelli stesse crescendo più in fretta della capacità di renderli sicuri.
Lo scorso 9 febbraio Mrinank Sharma, a capo del team Safeguards, l’unità interna che individua e contiene i rischi dei modelli, proprio di Anthropic, si è dimesso lasciando una nota in cui scriveva che il mondo è in pericolo. E a Google, anni prima, se ne era andato Geoffrey Hinton, uno dei padri del deep learning, l’apprendimento profondo su cui si basano i modelli attuali, per la stessa ragione di fondo.
I rischi dell’intelligenza artificiale e l’effetto Cassandra
Il fenomeno pone l’opinione pubblica e le istituzioni di fronte al classico effetto Cassandra. Nella mitologia greca la sacerdotessa troiana ricevette il dono della profezia ma anche la maledizione di non essere mai creduta. Oggi assistiamo a una declinazione tecnocratica della stessa dinamica.
Gli scienziati che hanno costruito i modelli preannunciano rischi catastrofici o addirittura l’estinzione della specie umana entro la fine del decennio e la risposta sociale oscilla tra il rigetto, l’accusa di allarmismo e l’apatia. Il paradosso è dietro l’angolo. Se si tratta di profezia, nulla potrà impedirne l’avverarsi le si creda o meno, se invece è una previsione scongiurabile si dovrebbe prendere con una certa serietà.
Dalla Guerra fredda alla corsa competitiva dell’IA
Christa Wolf, in Kassandra del 1983, ha riletto con sguardo femminista lo stesso mito da un’angolazione precisa, non genericamente contro la guerra ma contro la corsa agli armamenti nucleari della Guerra fredda, descritta come un’escalation mascherata da progresso e sostenuta da chi ne trae vantaggio politico. Il parallelo con l’Intelligenza Artificiale regge fino in fondo, nella logica della corsa competitiva che trasforma la prudenza in debolezza strategica.
Il dislivello prometeico di fronte ai rischi dell’IA
Per capire perché il segnale di pericolo si ripete da anni senza produrre un rallentamento reale serve però uno strumento più preciso del mito e lo offre un filosofo tedesco che scriveva già negli anni Cinquanta a partire dalla bomba atomica. Günther Anders, ne L’uomo è antiquato del 1956, lo chiama dislivello prometeico, la distanza crescente fra ciò che l’uomo sa produrre e ciò che riesce davvero a immaginare o comprendere delle conseguenze di quel prodotto. Prima si costruisce, poi si comprende, se va bene, e nel frattempo la capacità produttiva corre sempre più avanti rispetto a quella immaginativa.
La fantasia morale come risposta alla corsa
È la stessa struttura che i ricercatori descrivono quando parlano di modelli le cui capacità matematiche e la cui autonomia crescono a un ritmo esponenzialmente superiore rispetto alle tecniche di controllo e allineamento. Non è una metafora comoda, è la stessa dinamica descritta con altro lessico, a settant’anni di distanza.
E Anders non si fermava alla diagnosi, proponeva di sviluppare quella che chiamava fantasia morale, lo sforzo deliberato di allineare la capacità di sentire e prevedere alla capacità di produrre, invece di lasciare che la vergogna per il ritardo spinga a produrre ancora di più, come accade oggi quando il timore di perdere la corsa diventa l’argomento più forte per continuare a correre.
Perché gli allarmi sui rischi dell’IA restano inascoltati
Tre elementi favoriscono la moderna sindrome di Cassandra. Il primo è l’incredulità sistemica, la reazione più comune quando chi ha costruito i modelli mette in guardia sul rischio non è l’ascolto ma il sospetto di un calcolo personale, cui si aggiunge la stanchezza verso un allarme già sentito troppe volte. Attenti al lupo.
Il secondo è la questione dell’incentivo commerciale. Per una corporation quotata, o in procinto di quotarsi come Anthropic, che punta a una valutazione record in vista della sua IPO, l’offerta pubblica iniziale in borsa, ascoltare la Cassandra di turno significa rallentare la produzione o cedere terreno ai concorrenti.
Il terzo è l’asimmetria conoscitiva. I ricercatori non hanno doni divinatori ma metriche di laboratorio cui il pubblico non ha accesso diretto. Si tratta di proiezioni fondate su dati che loro conoscono ma gli altri no.
Nel nostro tempo sarebbe più razionale credere all’avviso di un ricercatore che si riferisce al proprio ambito di lavoro piuttosto che a un sacerdote che asserisce un futuro che solo lui vede per dono divino, nondimeno questa opacità rende quasi impossibile per una democrazia valutare da fuori l’urgenza reale dell’allarme.
Governare i rischi dell’intelligenza artificiale
La comunità di governance propone tre direttrici. La prima è la tutela di chi dall’interno denuncia pratiche rischiose dell’azienda per cui lavora. Finché denunciare comporta la perdita certa di azioni maturate o l’esposizione a contenziosi legati agli accordi di riservatezza, la verità resterà confinata dentro i laboratori.
La seconda è il disaccoppiamento della ricerca sulla sicurezza dagli incentivi di profitto, attraverso istituti pubblici per la sicurezza dell’IA, gli AI Safety Institute già attivi in diversi paesi, dotati di capacità computazionale indipendente e accesso ai pesi dei modelli prima del rilascio pubblico.
La terza è la definizione di soglie di capacità oltre le quali lo sviluppo si arresta per legge fino alla dimostrazione di standard di controllo adeguati, quello che nel dibattito internazionale viene chiamato cap and pause, il tetto e la pausa vincolante imposti quando si supera una soglia di rischio.
L’euristica della paura di Hans Jonas
Hans Jonas, nel suo Principio di responsabilità del 1979, aveva già fornito la base filosofica di questa terza proposta con quella che chiamava euristica della paura: davanti a una tecnica i cui effetti restano ignoti, l’etica deve dare priorità alla previsione peggiore piuttosto che a quella migliore, proprio perché non è possibile fissare in anticipo la soglia oltre la quale il danno diventa irreversibile.
Non è una richiesta di rinuncia al progresso ma il riconoscimento che alcune scelte non sono più correggibili una volta compiute e che questa sola condizione basta a giustificare la cautela come principio, non come debolezza.
I limiti della governance davanti ai rischi dell’IA
Resta un nodo che nessuna delle tre proposte risolve del tutto. Se il dislivello prometeico descritto da Anders è strutturale alla tecnica moderna e non solo un difetto correggibile di governance, allora anche le migliori istituzioni di controllo rischiano di rincorrere una capacità che le supera già nel momento in cui vengono istituite.
La fantasia morale che Anders auspicava, la capacità collettiva di sentire in anticipo ciò che si è ancora in grado di produrre soltanto in astratto, in pratica l’anima dell’ingiustamente sottostimata fantascienza, non si legifera con un decreto. Coxon, Leike, Kokotajlo, Sharma e Hinton hanno fatto la loro parte, hanno fermato la propria corsa personale.
Se questo basti anche solo ad attenuare la corsa collettiva è la vera domanda aperta di questa storia e resterà tale finché l’industria continuerà a misurare il proprio successo con la stessa unità di conto con cui misura il rischio che dice di voler evitare.
La fantascienza come esercizio di previsione
Forse sarebbe un’idea far assumere a ciascuna azienda dei creatori di fantascienza per studiare e rilasciare consulenze regolari in merito all’euristica della paura. In fondo sono loro i nostri profeti. Ciò bilancerebbe virtuosamente le dimissioni dei ricercatori inascoltati. Ma chissà se basterebbe.
Cassandra ha provato ad avvisare perfino Agamennone, suo rapitore e sterminatore della sua famiglia, della tragedia incombente su entrambi. Neanche lui le ha creduto. Non si è mai dimessa dal suo ufficio di veggente, ma non le è servito granché. Che venisse o non venisse ascoltata, quello che vedeva nel futuro sarebbe accaduto.
Partecipa alla community