Entriamo in un ristorante, ci sediamo e arriva il menu. Venti piatti, forse trenta se lo chef è ambizioso o ha un rapporto conflittuale con il principio di sintesi. Leggiamo, confrontiamo, scegliamo. Antipasto, primo, secondo oppure quella decisione eroica e vagamente ipocrita che consiste nell’ordinare soltanto un’insalata per poi trascorrere la cena a rubare patatine dal piatto degli altri.
Viviamo quel momento come un esercizio di libertà e, in effetti, lo è. Tuttavia si tratta di una libertà costruita dentro un perimetro perché prima di noi qualcuno ha scelto gli ingredienti, escluso certe combinazioni, stabilito porzioni, cotture, costi e probabilmente eliminato dalle scelte qualche esperimento che avrebbe richiesto l’intervento del pronto soccorso. Noi scegliamo il piatto. Il ristorante ha già governato il possibile.
Indice degli argomenti
Dalla libertà di scelta alla governance dell’intelligenza artificiale
Per molto tempo la tecnologia ha funzionato più o meno nello stesso modo. Ci ha offerto menu sempre più grandi. Potevamo cliccare, aprire, cercare, comprare, scrivere, inviare, ma le possibilità erano state immaginate da qualcuno prima di noi. Anche il bottone più rivoluzionario, alla fine, era un bottone e potevamo premerlo oppure no.
Ora qualcosa sta cambiando. L’intelligenza artificiale è soltanto la parte più rumorosa di una trasformazione molto più ampia nella quale sensori, reti, piattaforme, sistemi connessi, automazione, cloud e modelli generativi convergono verso uno scenario differente. È come se entrando nel solito ristorante non ricevessimo più il menu, ma l’accesso alla dispensa.
Improvvisamente davanti a noi ci sono cento ingredienti. Possiamo chiedere un piatto leggero ma sorprendente, tradizionale ma innovativo, speziato ma non troppo, adatto a un incontro di lavoro ma capace di ricordarci la cucina della nonna. A prima vista è il paradiso della libertà con il numero delle combinazioni cresce fino a diventare praticamente ingestibile.
Poi arriva una domanda piuttosto banale: chi cucina?
Il fatto che una combinazione sia possibile non significa che abbia senso. Men che meno che sia buona o almeno sicura. Quando il numero delle possibilità supera la nostra capacità di esplorarle, abbiamo bisogno che qualcosa le organizzi. Qualcuno dovrà scegliere quali ingredienti avvicinare, quali escludere, quali proporci per primi. Ed è proprio in quel momento che, quasi senza accorgercene, dalla libertà siamo passati alla governance.
Organizzare il possibile significa esercitare potere. Non necessariamente un potere oscuro o arbitrario. Anche il cuoco che toglie dal menu un piatto immangiabile esercita un potere e, tutto sommato, possiamo essergliene grati. Il punto è un altro: quando le possibilità diventano troppe per essere attraversate direttamente, chi le mette in ordine decide quali diventeranno visibili, raggiungibili, credibili e, infine, reali per noi.
Quando organizzare significa rendere visibile
Una mappa digitale lo dimostra meglio di molte teorie. La città esiste già. Strade, alberghi, musei, negozi e ristoranti sono esattamente dove erano un minuto prima. Poi apriamo un’applicazione, digitiamo una richiesta e improvvisamente una strada diventa “il percorso”, un locale emerge fra centinaia, una distanza diventa sette minuti, un luogo, che prima era al di fuori del nostro orizzonte, diventa una nuova meta.
Il sistema non ha costruito la città, ma ha contribuito a costruire quella che in quel momento possiamo vedere e percorrere. È una differenza enorme. Per anni ci siamo concentrati sulla quantità di possibilità che il digitale riusciva ad aggiungere. Oggi dovremmo preoccuparci anche di chi le ordina.
Quando il possibile era relativamente piccolo, potevamo esplorarlo, ma se diventa sterminato, qualcuno deve necessariamente ridurlo per noi. Il primo problema della libertà infinita è proprio questo: per poterla usare abbiamo bisogno che qualcuno ce ne restituisca una versione finita.
Quando il dato comincia a muovere le cose
C’è un’altra trasformazione che rende tutto questo ancora più interessante. Per molto tempo abbiamo immaginato il digitale come un altro mondo. Da questa parte stavamo noi: persone, case, fabbriche, automobili. Dall’altra parte dello schermo stavano dati, programmi, pagine e immagini. Era una distinzione comoda. Oggi lo è molto meno, anche perché non è più tanto vera.
Prendiamo un termostato. Misura la temperatura, trasforma quella misura in un dato, un sistema elabora il dato e genera un comando, il comando accende o spegne l’impianto, l’impianto modifica la temperatura della stanza e la stanza produce un nuovo dato.
Mondo, dato, computazione, azione, mondo. Non è fantascienza, ma soltanto riscaldamento domestico e proprio per questo dovremmo prestargli attenzione.
Sicurezza, responsabilità e sistemi interconnessi
Quando le informazioni non si limitano più a rappresentare la realtà, ma diventano parte del meccanismo che la modifica, sicurezza e responsabilità cambiano natura. Una volta potevamo chiederci se il dato fosse corretto. Ora dobbiamo domandarci anche che cosa succederà quando quel dato verrà utilizzato per agire.
La questione diventa ancora più delicata quando questi sistemi si collegano fra loro. Un sensore alimenta una piattaforma, che interroga un servizio esterno, che usa un modello, che produce una decisione, che attiva un altro dispositivo.
Tutto prevede per il meglio fino a quando un singolo componente, magari il più irrilevante in apparenza, decide che è arrivato il momento di ricordarci l’esistenza dell’interdipendenza. La complessità distribuisce capacità, ma anche fragilità.
Integrare non significa rendere indistruttibile, anzi, ogni legame aggiunge qualcosa che possiamo fare e contemporaneamente qualcosa da cui possiamo dipendere. Per questo non basta più domandarsi se un sistema “funzioni”.
Un sistema complesso può funzionare esattamente come previsto e produrre comunque un risultato indesiderato. Serve sapere chi può interromperlo, chi può correggerlo, quali tracce lascia, chi può contestarne una decisione, che cosa succede quando una sua componente non risponde.
Dobbiamo perfino abituarci a una nozione che la tecnologia ama poco: funzionare peggio, ma continuare a farlo. In ingegneria potremmo chiamarla modalità degradata. Nella vita quotidiana significa una cosa più semplice: progettare sapendo che prima o poi qualcosa andrà storto.
La responsabilità oltre il controllo totale
Qui cade una delle nostre illusioni preferite: quella secondo cui si può essere responsabili soltanto di ciò che si controlla interamente. Sarebbe magnifico: controllo tutto, quindi rispondo di tutto; non controllo tutto, quindi non rispondo di nulla. Una perfetta costruzione logica che ha soltanto un difetto: il mondo non funziona così.
I sistemi moderni vengono addestrati, integrati, collegati, aggiornati e immersi in contesti che cambiano. Nessuno è in grado di prevedere ogni singola conseguenza delle loro azioni. Ma l’imprevedibilità non può diventare un lasciapassare e così dobbiamo prendere atto che la responsabilità comincia esattamente dove il controllo smette di essere totale.
Se volessimo governare soltanto ciò che possiamo prevedere integralmente, dovremmo spegnere quasi tutto. La soluzione non consiste allora nella pretesa di conoscere in anticipo ogni esito, ma nel predisporre limiti, autorizzazioni, tracciabilità, possibilità di revoca, controlli umani, ridondanze e vie di fuga.
In altre parole, bisogna introdurre attriti. Negli ultimi vent’anni abbiamo lavorato duramente per eliminarli. Un clic in meno, un passaggio in meno, una conferma in meno. In molti casi è stato un progresso.
Ma non tutti gli attriti sono burocrazia. Alcuni sono cinture di sicurezza. Il secondo controllo prima di un’azione irreversibile, la possibilità di chiedere spiegazioni, un’autorizzazione aggiuntiva quando cresce il rischio non sono necessariamente inefficienze, ma sono il prezzo che paghiamo per impedire alla velocità di trasformarsi in irresponsabilità.
La tecnologia migliore non è quella che rimuove ogni ostacolo, piuttosto è quella che sa distinguere gli ostacoli inutili da quelli che ci impediscono di precipitare.
Il menu che non vediamo
Resta un ultimo problema, forse il più insidioso, perché riguarda il modo in cui pensiamo alla tecnologia. Continuiamo a utilizzare parole come “strumento”, “utente”, “assistente”, “contenuto”, “decisione automatizzata”.
Sono tutte sensate, ma appartengono a un mondo nel quale i confini erano più chiari e tali per cui uno strumento veniva impugnato, un utente lo utilizzava, un contenuto veniva letto. Oggi le relazioni sono meno lineari.
Un sistema può selezionare quello che vedremo, suggerire l’azione successiva, produrre una risposta, interagire con altri sistemi e, infine, modificare qualcosa nel mondo fisico. Continuare a chiamarlo semplicemente “strumento” rischia di essere come definire un aeroporto “un parcheggio per cose che volano”. Non è del tutto falso, ma aiuta poco a capire di cosa stiamo parlando.
Spesso ripetiamo che la tecnologia corre più veloce delle regole. È vero, ma il ritardo più interessante potrebbe essere un altro: la tecnologia corre più veloce delle parole che utilizziamo per descriverla e se il linguaggio con cui rappresentiamo un problema è vecchio, anche le soluzioni tendono ad arrivare già in ritardo.
Quando cambia il contesto
C’è poi una conseguenza ulteriore. Un sistema può essere tecnicamente perfetto ed essere diventato inadeguato. Può essere acceso, disponibile, aggiornato, efficiente e continuare a operare sulla base di un mondo che non esiste più.
Cambiano le norme, le persone, le abitudini, i rischi, perfino il significato delle parole. La sicurezza, quindi, non coincide più soltanto con il corretto funzionamento, ma comprende anche la capacità di capire quando il contesto è cambiato.
Un navigatore aggiornato dieci anni fa può funzionare perfettamente peccato che potrebbe mandarci contro un muro costruito nove anni fa.
Il menu invisibile dell’intelligenza artificiale
A questo punto possiamo tornare al nostro ristorante. All’inizio avevamo un menu. Poi ci hanno consegnato una dispensa e ci siamo sentiti finalmente liberi. Non più venti scelte già confezionate, ma un universo di possibilità da comporre attraverso il linguaggio naturale. Basta chiedere.
Però vogliamo essere maligni e ci facciamo un’altra domanda. Siamo sicuri che il menu sia davvero scomparso? Forse è ancora lì. Semplicemente non lo vediamo più.
Dietro l’interfaccia qualcuno ha comunque scelto gli ingredienti disponibili, stabilito priorità, imposto limiti, definito criteri, fissato pesi, escluso alcune combinazioni e reso altre più probabili. Noi non vediamo venti righe stampate su un cartoncino, scriviamo liberamente una richiesta e riceviamo una risposta.
La sensazione di libertà è maggiore, ma qualcuno continua a organizzare il possibile. Anzi, potrebbe accadere qualcosa di ancora più interessante: un tempo il menu era visibile e i clic li facevamo noi. Adesso il menu è invisibile e una parte dei clic viene fatta al posto nostro.
Non significa che esista necessariamente qualcuno dietro una tenda intento a manipolarci. Sarebbe perfino rassicurante, perché almeno sapremmo dove cercarlo.
Tecnologia, scelte e governance
Il punto è molto più semplice: ogni tecnologia incorpora decisioni: rende alcune azioni più facili, altre più difficili; porta qualcosa in primo piano e lascia altro sullo sfondo; suggerisce un percorso e, proprio perché lo suggerisce, rende meno probabile che ne cerchiamo un altro.
La neutralità tecnologica è sempre stata un’aspirazione più che una condizione. Quando però i sistemi non si limitano più a presentarci una scelta, ma contribuiscono a costruire lo spazio stesso delle possibilità, questa constatazione diventa una questione di governance.
Chi stabilisce i confini? Chi può modificarli? Chi controlla che continuino ad avere senso? Chi può chiedere spiegazioni? Chi mantiene una strada alternativa quando il sistema principale non funziona o semplicemente quando non siamo d’accordo con lui?
Sicurezza, governance e responsabilità non possono quindi arrivare dopo, come il conto alla fine della cena, ma devono stare in cucina: negli ingredienti, nelle ricette, nelle esclusioni, nelle soglie e perfino nella possibilità di dire che un piatto, pur essendo tecnicamente realizzabile, sarebbe meglio non servirlo.
Il salto che stiamo vivendo non consiste soltanto nell’avere macchine capaci di fare più cose, ma, crescendo il numero delle possibilità, attiene l’inevitabilmente aumento del potere di chi le organizza. Tornando al nostro menu: il possibile può diventare quasi infinito, ma il commestibile di sicuro no.
Quando qualcuno ci promette una libertà senza confini, forse la domanda più importante non è che cosa possiamo scegliere, ma molto più semplicemente: dov’è il menu che non stiamo vedendo?
Partecipa alla community