Ipnocrazia di Jianwei Xun è un libro che si apre a diversi livelli di lettura. Il primo è un divertissement; che non è semplicemente un gioco, ma una deviazione consapevole, la scelta di un modo differente e inedito di affrontare temi molto seri e concreti.
Indice degli argomenti
Autore assente, finzione attiva e verità che perde i confini
Un gioco alla Borges, innanzitutto perché l’Autore non c’è, o meglio si nasconde dietro un altro nome. Un autore che non esiste, e che tuttavia ha generato dibattiti, analisi sociologiche, ricerche bibliografiche, recensioni, interviste sui social.
L’autore vero (e nascosto: Andrea Colamedici) ha voluto dimostrare, fin dall’elemento identificativo di un libro, come ormai, nel tempo dell’IA e di quella che lui chiama ‘ipnocrazia’, “non è più questione di separare il vero dal falso; la distinzione stessa ha perso significato, in un sistema che prospera proprio sulla coesistenza di realtà tra loro incompatibili” (p. 7)[1].
Illusione e realtà nella doppia forza motrice del digitale
In un’altra parte del libro si legge che “L’illusione non è mai stata così reale e la realtà non è mai stata così illusoria” (p. 16)[2]. Lo aveva già scritto Baricco nel suo fondamentale “The Game”: l’habitat dell’uomo digitale «è un sistema di realtà a doppia forza motrice, dove la distinzione tra mondo vero e mondo virtuale decade a confine secondario, dato che l’uno e l’altro si fondono in un unico movimento che genera, nel suo complesso, la realtà. […] è un sistema in cui mondo e oltremondo girano uno nell’altro producendo esperienza, in una sorta di creazione infinita e permanente, (…) ricamando una trama che legittimamente chiamiamo REALTÀ». Per Baricco, «il traffico con l’oltremondo, in entrata e in uscita, è diventato immenso e velocissimo, tanto immenso e tanto veloce che spesso conservare una vera linea di demarcazione tra mondo e oltremondo è diventato impossibile, e quasi sempre inutile»[3].
Il libro inoltre è stato scritto (almeno parzialmente) in partnership con una IA generativa. Una dimostrazione concreta di quel sistema conversazionale che è uno dei tratti fondamentali del nuovo contesto ipnocratico. Per l’Autore “Ipnocrazia” nasce come un esperimento sulla costruzione della realtà nell’era digitale. Al centro del progetto c’è un libro che analizza i meccanismi della manipolazione percettiva contemporanea, scritto da un autore inesistente. O quantomeno: inventato. Il libro stesso è una dimostrazione pratica dei meccanismi che analizza».
Il libro come esperimento: sistema conversazionale e realtà costruita
Un indizio di questo gioco era forse già nel nome della casa editrice: Tlon.
Tlon, Uqbar, Orbis Tertius[4], è il mondo fantastico che attraverso un libro (o meglio un’Enciclopedia, quindi una raccolta di libri) irrompe nella realtà e la trasforma (e trasforma il passato) in quello che Borges stesso ha definito il suo racconto più ambizioso, forse il simbolo stesso di ‘Finzioni’.
Borges come matrice: Tlon, enciclopedie, avatar e mondi che cedono
Dunque, c’è il genio dello scrittore argentino dietro la finzione di Jianwei Xun autore di Ipnocrazia. La prima cosa che mi viene in mente, in questo parallelo, è la splendida prefazione di Domenico Porzio alle Opere di Borges per i meridiani, in realtà uno straordinario pezzo di letteratura a sua volta: “la letteratura di Borges è un gioco, un clamoroso esercizio di arte combinatoria, una geometria del linguaggio affidata ad una scacchiera di cristallo ,,,un gioco che dubita della ragione che lo governa …un gioco irreale che però crede nelle segrete finalità della letteratura… un gioco che ha i caratteri di un sogno manovrato e deliberato …I racconti di B. sono l’irresponsabile gioco di un timido che non ebbe coraggio di scrivere racconti e che si divertì nel falsificare e nel tergiversare storie altrui…”[5].
Il gioco di Colamedici/Xun è come il Pierre Menard che vuole riscrivere il Don Chisciotte, o L’Accostamento ad Almotasim, libro inventato da Borges e attribuito a uno scrittore anch’esso immaginario, l’avvocato Mir Bahadur Alì, di Bombay.
Due scherzi presi sul serio: informazione o invenzione
Del primo racconto, è Borges a dirci che venne pubblicato come un articolo “senza specificare se si trattava di una informazione o di una invenzione […] Questo scherzo fu preso sul serio da molte persone…”.
Sul secondo Borges ammette con una punta di divertita ironia che “l’autore e il libro sono pura invenzione da parte mia… Quelli che lessero il pezzo lo presero sul serio, e uno dei miei amici ordinò perfino un esemplare del libro a Londra”.
Con Tlon Uqbar Orbis Tertius, le assonanze e le intersezioni con il tema dell’IA e con il nuovo mondo digitale sono molteplici[6]. Nella parte finale del racconto compare la parola ‘avatar’, ed è straordinariamente carico di espressività il momento (quello dell’ improvviso ritrovamento della prima enciclopedia di Tlon in 40 vol.) in cui il mondo irreale di Tlon entra nella realtà e la riformula: “… quasi immediatamente, la realtà ha ceduto in più punti. Quel ch’è certo, è che anelava di cedere…”
Altri autori inesistenti: Quain e l’architettura della finzione
Nello stesso filone, si può leggere il racconto “L’esame dell’opera di Herbert Quain”[7], anch’esso in Finzioni. Borges descrive minuziosamente (pur in un racconto di poche pagine) la singolare struttura ‘a ritroso’ dell’opera, i capitoli che la compongono, gli interessi filosofici di Quain, le sue principali influenze letterarie, gli altri libri di quest’autore davvero fuori dal comune, che però non esiste. E’ solo un’altra ‘finzione’.
Infine, c’è un’ultima influenza borgesiana nell’Ipnocrazia. Per il falso Xun “L’ipnocrazia è il primo regime che opera direttamente sulla coscienza. Non controlla i corpi. Non reprime i pensieri. Induce, piuttosto, uno stato alterato di coscienza permanente. Un sonno lucido. Una trance funzionale. La veglia, infatti, è stata sostituita da un sogno guidato”. Ne “Le rovine circolari” di Borges[8] c’è proprio l’idea che la realtà è un sogno e che qualcuno ci sogna. Il sogno è un tema ricorrente nella letteratura del grande Argentino: “nel sogno noi siamo simultaneamente il teatro, il pubblico, gli attori, l’argomento, le parole che sentiamo”.
Dalla cornice ai contenuti: ipnocrazia e intelligenza artificiale come tesi verificabile
Fin qui la cornice del quadro, il primo livello di lettura. Proviamo adesso ad entrare dentro i contenuti. Chiunque o Qualunque cosa lo abbia scritto, questo libro dice cose molto interessanti sul mondo trasformato dall’IA, a cominciare dal concetto di Ipnocrazia, che è reale, o almeno verificabile, anche se il suo autore (dichiarato) non lo è.
In un’intervista di poco successiva all’uscita del libro, Colamedici/Xun ha dichiarato:
«L’intelligenza artificiale per me è il corrispettivo di ciò che per Platone era la scrittura, cioè un pharmakon, contemporaneamente cura e veleno. Questa idea per me è importantissima, l’ho anche scritta nel libro “L’alba dei nuovi dei”. Così come per Platone la scrittura causava in realtà non un aumento della memoria, ma un indebolimento della memoria, e non rendeva più sapienti ma più stolti, eppure la usava – e la usava per pagine che sono tra le più belle mai scritte nella storia della letteratura, non solo della filosofia – allo stesso modo dobbiamo imparare a usare bene l’intelligenza artificiale. Io l’ho fatto per scopi accademici. Ma c’è chi può usarla a scapito della nostra libertà»[9].
Pharmakon e destino doppio: cura e veleno nella tecnologia
Ogni tecnologia ha questo doppio destino. Per l’IA i rischi sembrano più profondi, investono la dimensione antropologica. L’intelligenza artificiale è l’ultima frontiera della manipolazione dei fatti naturali e umani. La natura viene ‘sostituita’ o affiancata da qualcosa che non avremmo mai chiamato ‘natura’ (perchè prodotto dall’arte e dalla tecnica dell’uomo), ma che si presenta con una qualificazione che è, in sé, chiaramente antropomorfa.
Come scrive B. Reese “il computer non è semplicemente un gadget, ma un dispositivo che ha una rilevanza filosofica”[10].
Avevo già segnalato un po’ di anni fa che l’AI non è semplicemente un ‘mezzo’, ma un ‘mondo’, per dirla con Gunther Anders: “e mondo è qualcosa di diverso da ‘mezzo’, appartiene a una categoria diversa”[11].
Cambio di paradigma: etica, ontologia e società trasformate
Alcuni aspetti di questo imponente fenomeno (le tecnologie di Intelligenza Artificiale hanno ormai completamente conquistato la vita quotidiana in molti dei suoi aspetti, ponendo enormi problemi di carattere culturale, sociale e giuridico) ci pongono davanti ad interrogativi etici ed ontologici che rappresentano un vero e proprio cambio di paradigma[12], al fondo del quale potrebbe esserci una nuova idea (e una nuova esperienza) dell’umanità. Non a caso, nelle Draft Ethics Giudelines for Trustworthy AI, predisposto dall’High Level Expert Group on Artificial Intelligence della Commissione Europea (d’ora in avanti DEG), del 18 dicembre 2018, si leggeva che “Artificial Intelligence is one of the most transformative forces of our time, and is bound to alter the fabric of society”[13].
Inoltre, come è stato acutamente sottolineato, l’AI non è un problema temporaneo, non è qualcosa che ad un certo punto sparisce, ma è una novità destinata a provocare una fase nuova dell’esperienza umana con la quale dovremo abituarci a convivere nel tempo[14].
E’ giusto allora parlare dell’IA come pharmakon nell’accezione usata da Platone (cura e veleno contemporaneamente). La cura è nel senso di mantenere la centralità dell’esperienza umana nel mondo della computazione algoritmica; di costruire -secondo la linea tracciata dalla normativa europea- un ecosistema di IA ‘human centered’, e rispettoso dei grandi principi (dignità, eguaglianza, non discriminazione, libertà di pensiero) che riflettono la posizione unica e inviolabile che la persona umana ha acquisito progressivamente nell’evoluzione del costituzionalismo e del pensiero giuridico.
Parole nuove e categorie insufficienti: pensiero, coscienza, agency
Nel libro di Colamedici/Xun compaiono parole nuove. Come dire che il fenomeno che abbiamo davanti non può essere spiegato con gli attrezzi linguistici e concettuali che abbiamo oggi.
A volte sembra ingenua la stessa insistenza sulle caratteristiche di questa forma di intelligenza ‘artificiale’.
Usiamo parole impegnative, complicate. Pensiero, intelligenza, sono concetti apparentemente intuitivi, ma in realtà assolutamente sfuggenti e inafferrabili nella molteplicità di significati e di ‘proprietà’ che possono assumere o ai quali possono rimandare.
Macchine e mente: Searle, coscienza, emozioni e corpo
Per molti studiosi, i sistemi di IA, le macchina non pensano allo stesso modo di come pensiamo noi. Secondo John Searle, le macchine “non pensano, fanno cose, senza avere la percezione delle conseguenze di quello che fanno…perchè non hanno connessioni con il mondo esterno, rimangono una struttura inesatta”[15].
Rovesciando la prospettiva, è stato messo in luce che l’intelligenza umana non è solo logica matematica ma coscienza[16]: e nella coscienza (anche qui con tutte le difficoltà e le incertezze nel definire cosa si voglia davvero intendere con questo termine e se esista un solo modo di declinare la ‘coscienza’), giocano un ruolo fondamentale i sentimenti, le emozioni, i nostri corpi in movimento. Come scrive Hustvedt, «ragionare non consiste in un semplice calcolo logico, ma comporta delle emozioni»[17].
Nelle riflessioni della Hustvedt si ritrova l’eco dell’elaborazione teorica del neuroscienziato portoghese Antonio Damasio. Per Damasio «gli organismi viventi sono costruiti secondo algoritmi e li usano per far funzionare le loro macchine genetiche, ma non sono essi stessi algoritmi. (…) Non sono linee di codice di un linguaggio di programmazione ma materia palpabile»[18]. Diversamente, «l’intelligenza di cui danno prova quei programmi è spettacolare, ma non ha molto in comune con i processi mentali umani»[19].
E’ tutto vero. O almeno io sono più convinto di queste rappresentazioni rispetto a quelle che ipotizzano anche per la nostra mente e la nostra intelligenza una dimensione meramente computazionale, per la quale, in altre parole, l’imitazione della nostra architettura cerebrale da parte delle reti neurali non sarebbe altro che un processo di imitazione circolare, la prova che i nostri sistemi neuronali sono in fondo delle macchine, diverse quanto si vuole ma pur sempre delle macchine.
Vecchie parole e fenomeni nuovi: Minsky e lo sguardo antropocentrico
Ma il punto è proprio questo. E’ davvero necessario fare questo confronto? In altre parole, il fatto che l’intelligenza artificiale forse non sarà mai uguale (in termini “qualitativi”) a quella umana[20], che l’autonomia operazionale di tali sistemi resterà priva di una percezione mentale (id est, di una “esperienza”) dei valori morali implicati in determinate scelte, costituirà sempre una differenza chiara ed insuperabile, come se questi concetti (intelligenza, mente, soggettività, moral agency) non possano avere configurazione differenziata e plurale?
Per Minsky[21], “continuiamo ad usare le vecchie parole come se nulla fosse cambiato. Dobbiamo adattare i nostri modi di pensare a fenomeni che si svolgono su scale prima inconcepibili. La parola macchina è ormai insufficiente”.
Ugo Ruffolo critica giustamente la tendenza a guardare a questi fenomeni nuovi con uno sguardo condizionato dalla nostra ‘centralità’, per cui tutto viene visto e filtrato attraverso una comparazione con la nostra intelligenza, i nostri processi mentali, la nostra unicità, in definitiva ‘noi’; mentre invece dovremmo prendere atto dell’emersione “di una intelligenza nuova “aliena” tutelabile in relazione (quantomeno anche) alle sue capacità decisionali e non (solo) alla tipologia di procedimento interno per giungervi”[22].
Il punto vero è semmai un altro. Gli algoritmi e la loro capacità agentiva condividono con noi spazi e possibilità che finora ci appartenevano in modo esclusivo. Questa è il vero impatto trasformativo dell’IA.
Come dice Cosimo Accoto, se parole, immagini, decisioni non sono più esclusivamente umane, “con questo cedimento si incrinano anche altri domini di senso implicati: l’autorialità, la normatività, la responsabilità, l’autenticità”[23].
Questo giustifica allora le parole nuove per descrivere il mondo ‘ipnocratico’: Edging algoritmico, sovranità percettiva, resistenza oscura, concetti come la capacità di muoverci tra sé multipli mantenendo la consapevolezza del movimento stesso.
Soggettività elementale, nuove attorialità e Stack come sovranità
Altri autori ne hanno coniate di ancora più spiazzanti. Cosimo Accoto parla di agentività o soggettività elementale come «nuova dimensione di presenza e di azione introdotta dalle reti sensoriali, digitali e artificiali e dalle loro dinamiche operanti a livelli e scale che sono al contempo, sopra e sotto la dimensione dell’umano», e come termine più adatto a considerare «entità che agiscono nel mondo, ma senza che abbiano di necessità le caratteristiche che, di norma, assegniamo all’azione intenzionale umana»[24]; A. Venanzoni usa il termine di ‘nuove attorialità’, cioè «dei soggetti sintetici e del loro peso relazionale, del modo cioè in cui essi modificano il contesto ambientale in cui l’uomo è calato»; e di «innovazioni tecnologiche che non si presentano più come meri oggetti strumentali di cui servirsi ma come elementi soggettivizzati capaci di porre in essere proprie volizioni o comunque azioni destinati a riverberarsi relazionalmente sugli individui e sui gruppi sociali».di “nuove attorialità”, cioè «dei soggetti sintetici e del loro peso relazionale, del modo cioè in cui essi modificano il contesto ambientale in cui l’uomo è calato»[25].
Infine Bratton, dopo aver segnalato che che stiamo assistendo ad uno shifting della sovranità, “from state to individual, from state to corporation, from law to protocol, from institution to network, (in definitiva) from land to Cloud”[26], chiama questo nuovo strato di sovranità “the Stack”, “la Pila”, una megastruttura che è al tempo stesso apparato computazionale e architettura di governo. Per Bratton, the Stack “emerges not only as a global technical system but also as geopolitical geography. It is able to do so because it also emerges from modern political space and its capacities to site, subdivide, and occupy new worlds”[27].
Analoga la ricostruzione teorica di Accoto, quando sottolinea che la “Computazione … non è solo una questione di codice, dati, sensori, architetture, macchine intelligenti, ma … si allarga a comprendere e ridisegnare questioni geo-filosofiche, geo-politiche, geo-giurisdizionali e geo-economiche in un mondo divenuto programmabile. […] Di fatto, le piattaforme disegnano nuovi regimi di sovranità (platform sovereignty), una sovranità, ancora immatura ed emergente, esercitata su territori e dimensioni fisico-digitali collettive quanto individuali.
Nel solco di queste riflessioni, il libro di Colamedici/Xun evoca una sorta di “geopolitica quantistica”, una condizione in cui la sovranità territoriale coesiste con ed è sempre più oscurata dalla sovranità algoritmica, in cui i confini nazionali si sfumano non solo attraverso la globalizzazione ma attraverso la proliferazione di sistemi di realtà in competizione […]. … USA e Cina emergono non semplicemente come superpotenze in competizione ma come generatrici di realtà concorrenti… non sono meramente sistemi tecnologici in competizione, ma quadri ontologici concorrenti …” (pag. 107-108)[28].
Soprattutto quest’ultimo concetto ricorre spesso nel libro. In effetti i giganti del web sono poteri immensi sia sul piano economico che su quello -persino più insidioso- del controllo e dell’indirizzamento dei processi sociali e culturali[29].
Per Colamedici/Xun, gli AIs stanno diventando “cocreatori di cultura… non è semplice automazione, ma produzione algoritmica della cultura. Il confine tra creatività umana e macchinica diventa non solo sfumato ma irrilevante…sono motori di generazione del reale che alterano il modo in cui sperimentiamo e verifichiamo la verità…” (pag. 27)[30].
Economia dell’anticipazione: mining, profiling, targeting e mondi paralleli
Un capitolo del libro ‘Ipnocrazia’ è intitolato “L’economia dell’anticipazione” (pag. 63 ss.)[31]. In un passaggio precedente (pag. 33) si dice che “ogni algoritmo non registra comportamenti: li anticipa e li dirige …”[32]. Anticipazione assume due significati: il primo allude al fatto che “il sistema conserva il suo potere non soddisfacendo i desideri, ma mantenendoli in uno stato costante di quasi-soddisfazione… un momento di aspettativa che ci tiene agganciati non al contenuto ma alla possibilità di un contenuto”. Il secondo è persino più subdolo, e minaccia la nostra stessa libertà di pensiero: non solo e non tanto la sua manifestazione, ma proprio la sua formazione.
Registrazione/anticipazione/indirizzo. Più che ipotesi alternative, sono pezzi di una unica sequenza, più o meno visibile. I dati e le informazioni con cui alimentiamo, consapevolmente o meno, l’enorme apparato computazionale e la capacità analitica degli strumenti di IA, dicono molto su di noi, ci rendono osservabili e prevedibili, segnalano le nostre preferenze.
Dati che tornano indietro: dall’osservabilità all’influenza
Ma tutto questo flusso non ha una sola direzione. Torna indietro, in qualche modo diventa un fattore di influenza delle nostre decisioni e dei nostri comportamenti. Il mining (cioè la collezione di dati, informazioni, preferenze) può trasformarsi -anzi, è pensato per questo- in profiling, e infine in targeting. Ed è illuminante questa riflessione di D. Cardon: «gli algoritmi nascono da un desiderio di autonomia e libertà. Tuttavia contribuiscono anche ad assoggettare l’internauta a quella strada calcolata, efficace, automatica, che si adatta ai nostri desideri regolandosi, in segreto, sul traffico altrui»[33].
Quanto siamo liberi di scegliere cosa comprare, ma anche (e qui diventa un delicato problema di democrazia) cosa votare o come pensare? Qual è il confine tra ciò che chiediamo al software e ciò che ci viene indicato/suggerito di chiedere?[34].
Dibattito pubblico e pluralismo: chiusure, fact checking inadeguato
Più in generale, il rischio è quello di un impoverimento del dibattito pubblico e democratico[35]: nessuno dialoga più con gli altri, se non con quelli che condividono le proprie posizioni.
Il pluralismo delle opinioni non scompare, ma tuttavia viene costretto in una dimensione reciprocamente chiusa, rigida, mentre il vero pluralismo ha bisogno di mobilità delle opinioni, di disponibilità ad ascoltare le ragioni degli altri, e a farsene eventualmente convincere.
Non è semplicemente disinformazione: “si registra piuttosto l’emergere di mondi paralleli, completi di significato, ciascuno con i propri fatti, la propria logica e i propri criteri di verità”, al punto che “la risposta tradizionale a questo fenomeno -il fact checking– si rivela fondamentalmente inadeguata”[36] (pag. 73).
A. Baricco[37], parla di un ‘individualismo di massa’: «L’individualismo è sempre, per definizione, una postura contro: è sedimento di una ribellione, ha la pretesa di generare un’anomalia, rifiuta di camminare nel gregge e cammina in solitudine in controsenso. Ma quando milioni di persone si mettono a camminare in controsenso, qual è il senso giusto della strada?».
Resistenza invisibile: osservare, coevolvere, riappropriarsi del tempo
Come si resiste a tutto questo? L’approccio del libro è realistico e condivisibile. Non ha senso immaginare una fuga dalla tecnologia, per il semplice fatto che essa è il campo in cui si svolge la nostra vita: “non si combatte l’ipnocrazia, la si osserva. E nell’osservazione prolungata si apre la possibilità di un nuovo linguaggio. Una nuova mappa. Non per sfuggire al regime ipnotico, ma per navigarlo senza perdersi” (pag. 34), per “imparare a coevolvere” (pag. 25) con esso[38].
Tra le forme di ‘resistenza invisibile’ (o sotterranea, oscura), la riappropriazione del tempo è forse quella più forte e, in un certo senso, rivoluzionaria. Un tempo (e uno spazio) che sia soprattutto fuori dal sistema. Per Colamedici/Xun, “l’Ipnocrazia prospera sull’accelerazione perpetua, sulla frammentazione dell’attenzione, sulla dissoluzione di ogni ritmo naturale in un flusso ininterrotto di stimoli. Resistere significa allora, prima di tutto, riappropriarsi del proprio tempo; non attraverso impossibili disconnessioni totali, ma mediante l’introduzione di pause, rallentamenti, momenti di decelerazione consapevole nel flusso apparentemente inevitabile della temporalità algoritmica”[39] (pagg. 119-120).
Uncanny valley e soggettivazione: partner conversazionali e agency distribuita
Il libro di Colamedici/Xun si confronta altresì con uno dei temi simbolici di quella che è stata definita ‘uncanny valley’. Un tema effettivamente ‘spiazzante’, che ci porta al cuore di queste nuove soggettività che vanno delineandosi nell’era dell’IA e degli algoritmi generativi.
Il primo lato di questo processo di “soggettivazione ipnocratica” (questa è la definizione dell’A., pag. 35) è quello che vede “l’umano e la macchina (che entrano in un processo di mutua definizione”, dove “… entrambe le parti si modificano reciprocamente”. Ritorna la consapevolezza che i sistemi algoritmici sono qualcosa di più e di diverso da meri strumenti, ma ‘entità conversazionali’, ‘partner di un dialogo esistenziale’[40](pag. 35).
Oggetti o soggetti: insufficienza descrittiva e antropomorfismo
Ancora una volta veniamo messi di fronte all’insufficienza descrittiva dei concetti tradizionali. Cosa sono o chi sono questi sistemi? La parola soggetti ci sembra azzardata e ci spaventa; parlare di oggetti ci sembra banale.
Scrive l’A.: “..la questione dell’agency diventa particolarmente complessa in questo scenario. L’azione non emerge più da un soggetto autonomo che decide, ma da una rete di dialoghi tra stati soggettivi e sistemi algoritmici”[41] (pag. 36-37).
C’è un lato B di questa già di per sé complessa presa d’atto.
La metamorfosi della soggettività umana (per cui il soggetto appare come “un’entità conversazionale che esiste in uno stato di perpetuo dialogo con le intelligenze non umane che coabitano il suo spazio esistenziale”[42], pag. 37) getta una luce inquietante anche sull’altra ‘entità’ che ci sta di fronte.
L’A. afferma che quando interagiamo con un LLM entriamo in uno stato alterato particolare: sappiamo che stiamo parlando con una macchina, eppure non possiamo a fare a meno di antropomorfizzarla.
Diritto ed etica: legal personhood, responsabilità, cautele e ipotesi
Si apre un ultimo, affascinante (e al tempo stesso quasi ‘unthinkable’), interrogativo davvero ai confini del diritto e dell’etica.
Fino a che punto può spingersi la creatività del diritto, che invero, su questo terreno, ha già dato grandi prove di flessibilità adattiva, attraverso l’estensione del concetto di ‘legal personhood’ a chi non è ancora persona (concepito, embrione, generazioni future), agli animali, alle cose dell’ambiente e della natura (come foreste, clima, natura globalmente intesa) ?[43] Sarà un giorno possibile ragionale di responsabilità delle macchine o attribuire ad esse diritti di proprietà o d’autore per le opere dell’ingegno e creative?
Corporate governance, roboboard e contratti tra agenti elettronici
La sensazione è effettivamente che questo incedere incalzante di una “macchinalità” che simula le manifestazioni dell’umanità, e l’intelligenza è probabilmente la più alta e profonda di queste manifestazioni, «tend to blur the line between person and instrument»[44].
Va detto che intanto il dibattito c’è, e attraversa vari settori del diritto e della responsabilità; anche quello della corporate governance, come dimostrano gli studi sull’IA nei cda e sulla figura, meno immaginaria di quanto si pensi, del roboboard[45].
Gunther Teubner cita la sec. 14 dell’Uniform Electronic Transactions Act degli Stati Uniti, che dispone che “A contract may be formed by the interaction between electronic agents of the parties, even if no individual was aware of or reviewed the electronic agents’ actions or the resulting terms and agreements”[46]. Nella elaborazione teorica di questo studioso, non è necessario attribuire ad ‘Attanti’ e ‘Ibridi’ una “full-fledged legal subiectivity”. Il diritto conosce e pratica diverse graduazioni dei concetti di soggettività, capacità, agency, rappresentanza; inoltre, “legal capacity of action can be selectively attributed to different social contexts”[47].
Cautela e alienazione: controllo umano e personificazione delle cose
Tuttavia, la posizione di Teubner non è affatto inconsapevole dei problemi che una dinamica di questo tipo si porta dietro. La sua conclusione è di forte cautela: “With the social inclusion of cyborgs and electronic agents new problems of alienation appear at the horizon of the law. […] the personification of electronic agents amounts to a socialization of things which is troubling our time. […] Will economic, social and technical transactions run by electronic agents be brought back under human control?”.
Alcuni autori insistono per una possibile analogia con il tema delle società e delle persone giuridiche, prefigurando un modello di registrazione dei sistemi agenti autonomi e di conferimento/ attribuzione di un patrimonio, di beni in proprietà (tra cui anche altri sistemi di AI), con i quali rispondere delle obbligazioni assunte o dei danni commessi[48].
Sono domande troppo complesse per rispondere in modo sintetico. Si rischierebbe di essere troppo assertivi e banali.
Non possiamo eludere il problema della crescente interazione che questi ‘artefatti’ tecnologici avranno con gli esseri umani in vari settori[49], alcuni dei quali con forti implicazioni relazionali ed emotive (pensiamo al campo della salute, dell’assistenza alle persone vulnerabili, come anziani e disabili, alla possibilità di sexbots); e del peso che questo contesto relazionale potrà avere sulla considerazione sociale e giuridica di questi “oggetti-agenti”.
Introspezione funzionale, substitution effect e soggettività gradualizzata
L’argomento della mancanza di coscienza potrebbe apparire allora come ‘overstated’[50], espressione di un pregiudizio antropocentrico[51]. Ma soprattutto, ‘provvisorio’: è di qualche giorno fa la notizia di un esperimento di Anthropic che parrebbe aver riscontrato una sorta di capacità introspettiva (introspezione ‘funzionale’, e non ‘fenomenologica’) del proprio modello linguistico, cioè una percezione (definita ancora ‘rudimentale’) legata ai propri processi interni. Bellissimo il titolo dell’articolo (di Pierluigi Pisa, in La Repubblica, 3 novembre 2025), che riportava la notizia: “Un’IA ha dato segni di introspezione, ma non è (ancora) il caso di allarmarsi”, dove la parola che merita di essere sottolineata è proprio l’avverbio di tempo, ancora, a voler dire che tutto è in movimento, tutto può succedere.
Tornando a quello che dice il libro sul nostro riflesso antropomorfo nel guardare a questi sistemi, sul piano della teoria giuridica è Jack Balkin a parlare di un «substitution effect», nel senso che incontrare (e interagire con) robots e AI agents sul proprio cammino della vita può portare a proiettare sugli stessi emozioni, desideri, responsabilità, obiettivi in modo analogo a quanto avviene ad esempio per gli animali; a maggior ragione se questi ‘artefatti’ saranno sempre più in grado di mimare in modo efficace le condizioni sensomotorie che costituiscono l’elemento essenziale dell’esperienza umana (Per Devillers, [52]“conversational virtual agents and robots using autonomous learning systems and affective computing will change the game around ethics”).
Questo “effetto”, secondo Balkin, «may be incomplete, contextual, unstable, and, above all, opportunistic. People may treat robot as a person (or animal) for some purposes and as an object for others»[53]. In fondo, non è assolutamente detto che la soggettività non possa essere un concetto differenziato e plurale (‘gradualized’ secondo Teubner[54]), con il riconoscimento di un set minimale di contenuti della personalità legale, secondo logiche diverse da quella “tutto o niente”[55]: il primo livello forse inattingibile dentro una cornice costituzionale che vede la persona umana come il punto di caduta di tutto il progetto di protezione delle libertà e di promozione del pieno sviluppo, “fondamento e misura della società e dell’ordinamento che da essa scaturisce”[56]; il secondo messo in discussione da un processo di” oggettivizzazione della soggettività non umana”[57], in cui appaiono quale “vero centro d’imputazione delle responsabilità le decisioni autonome e non già coloro che tali decisioni abbiano assunto”[58].
In ogni caso però, questo fenomeno può senz’altro avere qualche riflesso sulla sistemazione giuridica di tali “tools/subjects”, sulla loro considerazione/qualificazione in termini culturali e sociali. Secondo Turner[59], l’interazione tra persone e agenti artificiali (specialmente robots), soprattutto in contesti di vulnerabilità e di assistenza, può far sviluppare “feelings and compassion”, o può portare ad attribuire a questi ‘oggetti’ un “inherent value”, per questo studioso simile a quello che la Costituzione tedesca ha attribuito a ‘beni’ come le future generazioni e gli animali (art. 20a).
Mi rendo conto che non ho dato risposte, e nemmeno il libro di Colamedici/Xun le dà. Come ho detto in un’altra sede, sono convinto che non sia ancora il momento di facili conclusioni sui diritti delle macchine o –al contrario- sulla impossibilità logica (ora e sempre) di pensare ad una soggettività ‘artificiale’. Adesso però è il momento di porsi degli interrogativi, di formulare ipotesi, di cominciare a testare su queste ipotesi le categorie razionali e argomentative che il diritto ci ha messo (o può metterci) a disposizione.
Note
* Il presente scritto rappresenta la rielaborazione di alcune riflessioni svolte discutendo su “Il caso Ipnocracy”, insieme all’autore e a Vittorio Gallese, nell’ambito del Mini Digital Festival di Parma, il 17 ottobre 2025.
[1] J. Xun, Ipnocrazia. Trump, Musk e la nuova architettura della realtà, Roma, 2024, 7.
[2] Ivi, 16.
[3] A. Baricco, The Game, Torino, 88-89 e 191.
[4] Pubblicato in Finzioni, ora in Tutte le opere, vol. I, Milano, 1984, 623-641.
[5] D. Porzio, Introduzione, in Tutte le opere, vol. I, Milano, 1984, I-CVII.
[6] Le avevo già sottolineate nel mio “Il diritto verso “il mondo nuovo”. Le sfide dell’Intelligenza Artificiale”, in A. D’Aloia (a cura di), Intelligenza artificiale e diritto. Come regolare un mondo nuovo, Milano 2020, 5.
[7] J. L. Borges, in Tutte le opere, vol. I, Milano, 1984, 674-679.
[8] Ivi, 659-665.
[9] S. Minardi, Ipnocrazia ecco perché il filosofo Xun non Esiste, in L’espresso, aprile 2025.
[10] B. Reese, La quarta era. Robot intelligenti, computer consapevoli e il futuro dell’umanità, Milano, 2019, 39,
[11] G. Anders, L’uomo è antiquato. I: Considerazioni sull’anima nell’epoca della seconda rivoluzione industriale, Torino, 2003, 38. Molto acutamente L. Floridi, Why information matters, in The New Atlantis, special issue, winter 2017, sottolinea: “Information technologies dont’just modify how we act in the world; they also profoundly affect how we understand the world […]information needs to be a significant field of philosophical study […] We need a philosophy of information”. Sempre L. Floridi, Pensare l’infosfera, La filosofia come design concettuale, Milano, 130, sottolinea che “nel presente, stiamo lentamente accettando l’idea che non siamo enti isolati ed unici, quanto piuttosto organismi, il cui sostrato è informazionale(inforgs), reciprocamente connessi e parte di un ambiente costituito da informazioni (infosfera), che condividiamo con agenti naturali o artificiali simili a noi sotto più profili. Turing ha cambiato la nostra antropologia filosofica tanto quanto Cartesio, Darwin o Freud”. In senso analogo, v. le riflessioni di C. Accoto, Il mondo ex machina, Cinque brevi lezioni di filosofia dell’automazione, Milano, 2019, 6-7, che parla dell’automazione “non come meccanismo neo-macchinico, ma come dinamismo neo-ecologico”, sottolineando l’esigenza di un approccio ‘philtech’, che prenda atto del fatto che “il mondo si è avviato … a una trasformazione profonda e irreversibile delle proprie fondamenta ontologiche e ontogenetiche”.
[12] A. Punzi, L’ordine giuridico delle macchine, Torino, 2003, 18.
[13] Draft Ethics Giudelines for Trustworthy AI, predisposto dall’High Level Expert Group on Artificial Intelligence della Commissione Europea (d’ora in avanti DEG), 18 dicembre 2018.
[14] Cfr. L. Alexandre, La guerra delle intelligenze, trad. it., Torino, 2018, 295, sottolineando che «l’IA ormai non è più un’opzione disattivabile, un interruttore che avremo ancora la possibilità di spegnere. È diventata indispensabile».
[15] J. R. Searle, Menti, cervelli, programmi, in D. Dennett e D.R. Hofstadter (a cura di), L’io della mente, Milano, 1985, 341.
[16] Y. Harari, Homo Deus. Breve storia del futuro, Milano, 2017, 378.
[17] S. Hustvedt, Le illusioni della certezza, Torino, 2018, 168.
[18] A. Damasio, Lo strano ordine delle cose, Milano, 2018, 233-237, secondo cui «i valori che le nostre culture celebrano sotto forma di opere d’arte, credenze religiose, sistemi di giustizia e buon governo sono stati plasmati sulla base dei sentimenti. Se eliminassimo l’attuale substrato chimico della sofferenza e del suo contrario, il piacere e il benessere, elimineremmo il fondamento naturale dei nostri sistemi morali».
[19] Ivi, 237. Aggiunge Damasio che «essi (vale a dire i sistemi di AI) sono puramente cognitivi e del tutto privi di affetti; questo significa che le loro menti intelligenti non passano attraverso le tappe intellettuali che caratterizzano la mente umana, non conoscono l’interazione con i sentimenti rievocati, con i sentimenti che accompagnano il nostro presente e con i sentimenti legati alla nostra visione del futuro».
[20] Cfr., sul punto, G. M. Edelman, Sulla materia della mente, Milano, 1993, 346-351, secondo il quale «Che i calcolatori effettuino operazioni logiche è indiscutibile; il guaio è che la logica da sola non rappresenta il pensiero più di quanto gli eventi fisici del sommare due numeri su un pallottoliere assomiglino a ciò che succede nel cervello di un matematico quando esegue dei calcoli o quando crea. (…)». Cfr. anche E. Di Mauro, La mente naturale e la mente artificiale, Trieste, 2019, 167, il quale sottolinea che “la mente umana poggia sui geni del DNA del corpo che la ospita e contiene (…), e questi sono il frutto di miliardi di anni di evoluzione, il risultato di prova ed errore, selezione e scelta, vita e morte, moltiplicata per tutti gli organismi che si sono succeduti su questo pianeta dal momento magico del suo inizio. […] . Una mente artificiale non potrà mai avere questa dimensione storica, questo diritto acquisito, questo ius primae mentis. Che ci resti almeno questo”.
[21] M. Minsky, La società della mente, Milano, 1989, 37.
[22] U. Ruffolo, La “personalità elettronica”, in Id. (a cura di), Intelligenza artificiale, Milano, 2020, 232-233. Più in generale, per C. Accoto, Il pianeta latente, Milano, 2024, 80, “siamo insomma di fronte ad un modo filosoficamente digiuno e politicamente ingenuo di guardare all’intelligenza artificiale: quello strumentale (si tratta solo di tecnologia), dicotomico (noi umani vs le macchine), antropocentrico (tenere l’umano nel loop e in controllo), allineante (rispetto dei valori umani) e dominante (all’umano spettano le decisioni) proprio di un certo umanesimo… (che) dice infatti all’umano di non preoccuparsi e di rimanere identico a sé, lo rassicura della e nella sua centralità. L’umano nel ciclo è un talismano scaccia-pensieri e scaccia-ansie”.
[23] C. Accoto, op. cit., 16. Sottolinea ancora questo studioso C. Accoto, op. cit., 34 che “il fatto che non ci sia comprensione di senso (un punto da approfondire e da non dare per già facilmente sciolto) non significa, per esempio, che non ci sia comunque produzione/circolazione di senso e di impatto per gli umani coinvolti nell’assemblaggio sociotecnico. Il senso circola sempre in qualche forma attraverso l’intelligenza (e non intelligenza) dell’umano che leggerà o dialogherà con le macchine scriventi e parlanti, anche inconsapevole di auto-ingannarsi sul processo simulativo in atto”.
[24] Vedi, anche per le espressioni riportate tra virgolette, C. Accoto, Il mondo dato, Milano, 2017, 93 ss., secondo cui «in una prospettiva elementale, la soggettività deve essere ripensata e riconcettualizzata in quanto non più individuabile come prerogativa privilegiata di attori umani singoli. […] Dobbiamo anche abbandonare le facili dicotomie tra umano e non umano e cominciare a pensare a un umano come una delle possibili declinazioni o concretizzazioni della soggettività elementale».
[25] Vedi A. Venanzoni, Intersezioni costituzionali – Internet e Intelligenze artificiali tra ordine spontaneo, natura delle cose digitale e garanzia dei diritti fondamentali, in Forum di Quaderni Cost., 27 aprile 2018, 17 e 20, che parla di «innovazioni tecnologiche che non si presentano più come meri oggetti strumentali di cui servirsi ma come elementi soggettivizzati capaci di porre in essere proprie volizioni o comunque azioni destinati a riverberarsi relazionalmente sugli individui e sui gruppi sociali». Cfr. G. Teubner, Ibridi e attanti. Attori collettivi ed enti non umani nella società e nel diritto, Milano, 2015.
[26] B. Bratton, The Stack. On Software and Sovereignty, MIT Press, Cambridge, MA, 2015, 351..
[27] Cfr. B. Bratton, o.u.c., 19-20. Aggiunge questo studioso che “the work of software as a global scale itself produces unfamiliar sorts of sovereignties”; e che “we can also identify platform sovereignty as a still immature combination of legally articulated political subjectivity (one sometimes determined by geographic position and sometimes not) and an infrastructural sovereignty produced in relation to the platform infrastructures of planetary – scale computation, regardless of whether these are privately or publicly owned”.
[28] J. Xun, Ipnocrazia. Trump, Musk e la nuova architettura della realtà, Roma, 2024, 107-108
[29] E. Maestri, Lex informatica e diritto. Pratiche sociali, sovranità e fonti nel cyberspazio, in Ars interpretandi, n. 1/2017, 17.
[30] J. Xun, Ipnocrazia. Trump, Musk e la nuova architettura della realtà, Roma, 2024, 27.
[31] Ivi, 63 ss..
[32] Ivi, 33.
[33] D. Cardon, Che cosa sognano gli algoritmi?, Milano, 2016, 90.
[34] Secondo M. Hildebrandt, Smart technoligies and the End(s) of Law. Novel Entanglements of Law and Technology, Cheltenham, 2015, 11, «ambienti intelligenti anticipatori cominciano a trasformare il nostro rapporto con gli artefatti. A un certo punto, diventeremo consapevoli del fatto che siamo guardati e anticipati dalle macchine e che dovremo capire come l’infrastruttura ci legge e con chi scambia questa conoscenza di noi e delle nostre preferenze (e dei rischi che questo incorpora)»..
[35] Di «fragmentation of the public sphere, … that favour only certain types of news outlets, thereby enhancing levels of polarisation in society which can seriously jeopardise social cohesion», parla il report Algorithms and Human Rights, preparato da una Commissione di esperti del Consiglio d’Europa nel marzo 2018 (il titolo completo è “Study on the Human Rights dimensions of automated data processing techniques (in particular algorithms) and possible regulatory implications”), 17.
[36] J. Xun, Ipnocrazia. Trump, Musk e la nuova architettura della realtà, Roma, 2024, 73.
[37] A. Baricco, The Game, cit., 213 ss..
[38] J. Xun, Ipnocrazia. Trump, Musk e la nuova architettura della realtà, Roma, 2024, 25 e 34.
[39] Ivi, 119-120.
[40] Ivi, 35.
[41] Ivi, 36-37.
[42] Ibidem.
[43] Per G. Teubner, Rights of Non-Humans? Electronic Agents and Animals as New Actors in Politics and Law, in Journal of Law and Society, 2006, paper,19, la moltiplicazione delle ‘persone sociali’ ha determinato lo sviluppo storico della nostra società.
[44] R. Calo, Robots in American Law, in E. Hilgendorf, U. Seidel (eds.), Robotics, Autonomics, and Law, Baden-Baden, 2017, 107.
[45] N. Abriani, Diritto delle imprese e intelligenza artificiale. Dalla Fintech alla Corptech, Bologna, 2021.
[46] G. Teubner, Rights of Non-Humans? Electronic Agents and Animals as New Actors in Politics and Law, in Journal of Law and Society, 2006, paper, 9, il quale rileva che “What is possible now is a contract by interaction between electronic agents without the knowledge or action of an individual human being”, e ricostruisce il controverso dibattito su come considerare il ruolo di agenti elettronici e agenti umani in queste procedure. Per Teubner, “contracting between electronic agents with artificial intelligence without any human interference can be interpreted as communication between actants” (12).
[47] G. Teubner, Rights of Non-Humans?, cit., 20.
[48] S. Chopra, L.F. White, A Legal Theory for Autonomous Artificial Agents, Ann Arbor, 2011, 145 ss.; A. Santosuosso, Intelligenza artificiale e diritto, Milano, 2020.
[49] P. Dumouchel, L. Damiano, Vivere con i robot, Saggio sull’empatia artificiale, Milano, 2019, 32-33, 103 ss.
[50] Per D. Behdadi, C. Munthe, A Normative Approach to Artificial Moral Agency, in Minds and Machines, (2020), n. 30, 195 ss., 211, “the notion of requirement of phenomenal consciousness for moral agency as essential to the AMA (Artificial Moral Agents) debate appears to us to be overstated”.
[51] Vedi U. Ruffolo, La “personalità elettronica”, in Id. (a cura di), Intelligenza artificiale, cit., 222 ss., 227.
[52] L. Devillers, Human-Robot Interactions and Affective Computing: the Ethical implications, in von Braun, J., Archer, M.S., Reichberg, G.M. e Sán- chez Sorondo, M. (a cura di), Robotics, AI and Humanity. Science, Ethics, and Policy, Cham, Springer, 205 ss., 210.
[53] J. Balkin, The Path of Robotics Law, in California Law Review, 6, 2015, 56 ss.
[54] G. Teubner, Rights of Non-Humans?, cit., 17.
[55] S. Chesterman, Artificial Intelligence and the limits of legal personality, in International and Comparative Law Quarterly, 69, 4, 2020, 6, secondo cui “the content of that status (personality) is a spectrum”.
[56] N. Occhiocupo, Liberazione e promozione umana, Milano, 1995, 60.
[57] U. Ruffolo, Le responsabilità da produzione e gestione di intelligenza artificiale self-learning, in Ruffolo, U. (a cura di), XXVI Lezioni di Diritto dell’Intelligenza Artificiale, Torino, 2021, 121)
[58] G. Teubner, Rights of Non-Humans?, cit., 118.
[59] J. Turner, Robot Rules: Regulating Artificial Intelligence, Cham, Palgrave Macmillan, 2019, 165 ss.
