distrust by design

Ma i robot devono anche starci simpatici? Quali paletti nel rapporto uomo-macchina

Assistenti vocali troppo accondiscendenti, robot programmati per ballare così da trasmettere un sentimento di simpatia. Il processo di umanizzazione che accompagna la robotica dovrebbe spingerci a porci delle domande e dubbi a cui rispondere con un approccio multidisciplinare

22 Giu 2021
Ivana Bartoletti

Autrice di An Artificial Revolution, Esperta di privacy e etica del digitale, Co-Founder, Women Leading in AI Network

realtà aumentata

La relazione tra la macchina e persone, non è un argomento semplice. Non lo è poiché nessuna delle semplificazioni più comuni è davvero d’aiuto nel capirlo.

Nella prefazione al libro “Eva Futura” tratto il rischio di femminilizzazione delle assistenti virtuali e di tutti quegli artefatti di supporto e assistenza. Non è un caso che, fino a non molto tempo fa, fosse proprio Alexa a rispondere ‘you make me blush’ sentendo l’affermazione ‘you are a bitch’. Queste entità sono pronte a obbedire, non rispondono se non interrogate, e non pongono quesiti; esempi quasi perfetti di un dominio patriarcale che appartiene, per fortuna e per adesso, al passato.

In questo articolo vorrei invece esplorare un altro aspetto, sul quale mi interrogo da tempo: la cordialità (friendliness) delle macchine.

Eva Futura: i dubbi sull’intelligenza artificiale “umanizzata” in un libro del 1886

Un video recente della Boston Dynamics ci ha mostrato due androidi che si producono in un ballo sulle note di Do you love me dei Contours.

Anche se lo scopo del video era probabilmente di mostrare che gli androidi possono essere simpatici, io francamente ho provato paura. Paura di fronte all’idea che un robot possa essere programmato ad esempio per uccidere, e che lo faccia ballando, in guisa di lugubre intrattenimento. In fondo, ho sempre ritenuto che si debba assolutamente evitare il percorso di umanizzazione dell’artefatto tecnologico.

Filosofe e filosofi si sono interrogati su questo argomento in relazione all’intelligenza artificiale, fino a dibattere l’essenza della macchina e se debba essa stessa godere di diritti. Questo tema, in fondo, si può a mio parere ricondurre a una serie di domande che dobbiamo porci, e di dubbi, che dobbiamo avere il coraggio di affrontare con un approccio nuovo e interdisciplinare.

La questione della fiducia

Si discute molto di fiducia nell’intelligenza artificiale. Il dibattito si svolge più o meno lungo queste linee: se vogliamo che gli utenti usino le nuove tecnologie, bisogna condurre una riflessione etica sulle tecnologie stesse, per contrastare l’ombra di alcuni episodi sgradevoli di maltrattamento e misuso dei dati delle persone che hanno minato la nostra fiducia.

WHITEPAPER
Mobilità sostenibile: una guida a progetti, incentivi e ruolo chiave di sharing e veicoli elettrici

Dal riconoscimento facciale discriminatorio, ai sistemi che allocano il credito in modo diverso a seconda del genere, il più delle volte gli artefatti tecnologici sono comparsi nelle notizie per il loro potere di automatizzare e consolidare le disparità esistenti.

La pandemia di Covid-19 non ha fatto che accelerare questo fenomeno: se da un lato ci siamo accorti del valore dei dati (medici) di ciascuno per il benessere collettivo, dall’altro le storie di sorveglianza e di monitoraggio delle tastiere, le espressioni in videoconferenza e il “presentismo” di fronte a uno schermo hanno messo in risalto anche un altro potenziale di queste tecnologie. È ovvio che siano fenomenali, se usate bene; ma se usate male possono danneggiare il benessere delle persone.

Sembra quindi che il problema di come favorire l’adozione delle tecnologie possa essere risolto lavorando sulla fiducia. Non a caso è proprio la fiducia (insieme alla privacy) l’obiettivo di una grande campagna di pubbliche relazioni delle aziende Big Tech. Recentemente la giornalista Karen Hao ha preparato una collezione delle espressioni più frequenti nel gergo delle pubbliche relazioni in campo tecnologico, che sembrano avere tutte in comune il tema della fiducia.

Non c’è dubbio che le notizie degli ultimi mesi abbiano in parte posto fine all’invincibile mito dell’innovazione tecnologica che non va mai ostacolata. Da Cambridge Analytica alle decisioni automatizzate che codificano e amplificano le disuglianze sociali ed economiche, la non neutralità dell’artefatto tecnologico è oramai un fatto acquisito.

In questo senso, quindi, la fiducia si trasforma in una domanda di chiarezza e trasparenza, e in un principio di privacy by design e by default che dovrebbe incoraggiare l’utente a ‘fidarsi’ a cedere i propri dati.

Chi paga se sbaglia una macchina?

Quando però entriamo nel terreno delle decisioni automatiche, la questione diventa più complessa ed è lì che si comincia a vedere la tensione tra naturale e artificiale che in realtà alimenta la natura umana. Un chirurgo che sbaglia è un essere umano, e va compreso in quanto l’errore è parte della nostra umanità. Ma se a sbagliare è una macchina, in quale rapporto si dovrebbe porre il cittadino con quell’errore?

Nel Regno Unito, un algoritmo era stato incaricato di calcolare la valutazione finale degli studenti sulla base dei risultati precedenti. Quando questo algoritmo ebbe assegnato agli studenti delle scuole private delle valutazioni più generose, a parità di risultati, rispetto ai loro compagni delle scuole statali, gli allievi occuparono le strade al grido di ‘fuck the algorithm’. Un fenomeno preoccupante anche perché, per la verità, qualcuno quell’algoritmo lo aveva programmato, e aveva scelto dati e parametri che favorivano gli studenti delle scuole private.

Non a caso c’è chi pensa che per coltivare la fiducia nell’automazione sia utile inserire degli elementi di dubbio e contestabilità, un ragionamento con cui mi trovo in accordo.

La contestabilità by design è il principio secondo cui un artefatto può essere contestato, e interrogato dall’utente in diversi momenti della sua operabilità; occorre quindi che il suo design permetta tale interrogazione. La domanda è quindi se, in un certo senso, il modo migliore per costruire un rapporto sano con la tecnologia sia di introdurre elementi di dubbio che siano capaci di screditare l’affidabilità della macchina.

Il concetto di distrust by design

La roboticista Ayanna Howard parla del concetto di Distrust by design, con un ragionamento a mio parere corretto.

Una fede eccessiva nell’automazione (che peraltro esclude la stessa contestabilità) può condurre a situazioni molto pericolose. Ad esempio, in una automobile a guida automatica il distrust by design si può tradurre in una regola per la quale la guida automatica si interrompe nel momento in cui il passeggero abbandona il controllo troppe volte, o per troppo tempo; oppure, come altro esempio, a un incrocio pericoloso la macchina dice “qui sono morte X persone nell’ultimo anno”, incoraggiando quindi il conducente a prestare attenzione.

Il comportamento umano è da sempre mediato dalla tecnologia. Anzi, la governance dei comportamenti umani si è spesso concretizzata tramite artefatti. Ad esempio, nella guida l’indicazione a rallentare è più efficace se incoraggiata con un dosso che con un cartello.

Dobbiamo quindi interrogarci sulle conseguenze del distrust sull’individuo. Mi spiego meglio: se la relazione tra individuo e macchina non è neutrale, e si trasferisce su ulteriori ambiti, quali saranno gli effetti collaterali sul comportamento umano, al di fuori della relazione con la macchina stessa?

Questa domanda sorge a causa del processo di umanizzazione che accompagna la robotica. Come già accennato, ne ho discusso in un articolo precedente in relazione a come le macchine a scopo servile e di supporto abbiano spesso caratteristiche (come la voce e il nome) femminili. Alexa, Siri, Cortana, docilmente pronte a servire.

Da un lato, la fiducia inesorabile nella macchina è rischiosa; ma dall’altro lato, l’introduzione del distrust come premessa di tale relazione può riverberarsi nella relazione con altre persone, a causa appunto dell’umanizzazione.

Questo tema, in fondo, ha attinenza con il concetto e l’opinione che abbiamo delle macchine stesse. Sono servi che lavorano per noi umani? Sono compagni (come per esempio nella cura in campo medico)? O sono ‘personalità’ vere e proprie, con diritti più ampi?

Non si tratta di un problema puramente giuridico; occorre capire profondamente quale sia l’impatto del rapporto con la macchina sul rapporto con le altre persone. Immaginare che si tratti di fenomeni indipendenti è a mio parere sbagliato o, per lo meno, un rischio eccessivo in assenza di elementi a conferma.

WHITEPAPER
Ottieni una pianificazione veloce e affidabile nel tuo marketing: scopri come!
@RIPRODUZIONE RISERVATA

Speciale PNRR

Tutti
Incentivi
Salute digitale
Formazione
Analisi
Sostenibilità
PA
Sostemibilità
Sicurezza
Digital Economy
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr
CODICE STARTUP
Imprenditoria femminile: come attingere ai fondi per le donne che fanno impresa
DECRETI
PNRR e Fascicolo Sanitario Elettronico: investimenti per oltre 600 milioni
IL DOCUMENTO
Competenze digitali, ecco il nuovo piano operativo nazionale
STRUMENTI
Da Istat e RGS gli indicatori per misurare la sostenibilità nel PNRR
STRATEGIE
PNRR – Piano nazionale di Ripresa e Resilienza: cos’è e novità
FONDI
Pnrr, ok della Ue alla seconda rata da 21 miliardi: focus su 5G e banda ultralarga
GREEN ENERGY
Energia pulita: Banca Sella finanzia i progetti green incentivati dal PNRR
TECNOLOGIA SOLIDALE
Due buone notizie digitali: 500 milioni per gli ITS e l’inizio dell’intranet veloce in scuole e ospedali
INNOVAZIONE
Competenze digitali e InPA cruciali per raggiungere gli obiettivi del Pnrr
STRATEGIE
PA digitale 2026, come gestire i fondi PNRR in 5 fasi: ecco la proposta
ANALISI
Value-based healthcare: le esperienze in Italia e il ruolo del PNRR
Strategie
Accordi per l’innovazione, per le imprese altri 250 milioni
Strategie
PNRR, opportunità e sfide per le smart city
Strategie
Brevetti, il Mise mette sul piatto 8,5 milioni
Strategie
PNRR e opere pubbliche, la grande sfida per i Comuni e perché bisogna pensare digitale
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr

Articoli correlati