L'analisi

Artificial Intelligence Act: l’UE regola l’AI ma dimentica di proteggere la mente

Alla proposta di regolamento sull’AI della Commissione Europea, l’Artificial Intelligence Act, è seguita l’Opinione congiunta dei garanti europei. Cosa contiene, perché non tutela abbastanza dal riconoscimento emotivo

19 Lug 2021
Gianclaudio Malgieri

Professore Associato di Diritto e Tecnologia alla EDHEC Business School di Lille e alla Vrije Universiteit Brussel

Marcello Ienca

Senior Research Fellow, ETH Zurich, Zurich, Switzerland

artificial intelligence act - IA umanocentrica - controllo dell'IA

L’European Data Protection Board (EDPB) e l’European Data Protection Supervisor (EDPS) facendosi interpreti delle varie perplessità sollevate da tecnici, accademici e attivisti, hanno pubblicato una Opinione congiunta che suggerisce modifiche e correzioni all’Artificial Intelligence Act, la proposta di Regolamento sull’intelligenza artificiale (AI) pubblicata dalla Commissione Europea.

Intelligenza artificiale: Impatto sulle nostre vite, diritti e libertà

Una delle maggiori lacune che emerge dal testo della Commissione, che è pur sempre uno dei più avanzati tentativi al mondo di regolare l’AI, riguarda la regolamentazione dei sistemi di riconoscimento emozionale e di classificazione biometrica.

Di seguito, proveremo a spiegare perché questa preoccupazione è rilevante, soprattutto riguardo le interazioni tra AI ed emozioni, anche oltre l’Opinione delle autorità garanti europee, che pur condividiamo nel suo impianto.

Artificial Intelligence Act: cosa contiene la proposta di Regolamento sull’AI

L’Artificial Intelligence Act (AIA) definisce varie aree di intervento di sistemi AI: applicazioni proibite perché causa di rischi insopportabili per i diritti e le libertà fondamentali; applicazioni ad alto rischio (non proibite ma sottoposte a specifiche condizioni per gestire i rischi); applicazioni a rischio limitato e altre applicazioni a rischio trascurabile.

Digital event
Torna il Cybersecurity 360 Summit strategia nazionale di cybersicurezza. Online, 27 ottobre
Sicurezza
Sicurezza dei dati

La lista dei sistemi AI vietati include pratiche manipolative online che producono danni fisici o psicologici agli individui o sfruttano la loro vulnerabilità sulla base dell’età o della disabilità; il social scoring che produce effetti dannosi sproporzionati o decontestualizzati; e sistemi di identificazione biometrica utilizzati dalle autorità di polizia negli spazi pubblici (quando il loro uso non è strettamente necessario o quando il rischio di effetti dannosi è troppo alto).

Per la prima volta, i regolatori europei tentano di definire un confine o un limite che non dovrebbe essere superato quando si impiegano servizi o prodotti basati sull’AI nella società.

A differenza dei sistemi AI proibiti, i sistemi AI classificati come “ad alto rischio” non sono vietati di default, ma soggetti a diversi obblighi di conformità. Questi obblighi includono, tra gli altri, un piano di gestione del rischio, una certificazione di conformità, un piano di gestione dei dati, la supervisione umana.

La lista dei sistemi AI ad alto rischio nell’AIA comprende il riconoscimento facciale; l’AI usata in infrastrutture critiche, in contesti educativi, occupazionali o di emergenza; in contesti di asilo e di frontiera; nell’assistenza sociale, per il credit scoring, per l’utilizzo da parte delle forze dell’ordine o per scopi giudiziari. La Commissione UE può aggiornare questa lista sulla base della gravità e della probabilità di impatto dei sistemi AI presenti e futuri sui diritti fondamentali.

Infine, una terza categoria di sistemi AI è considerata a “rischio limitato“. Questa categoria include applicazioni AI moralmente discutibili come gli algoritmi AI che producono deepfake (video o foto falsi altamente realistici) così come i sistemi di riconoscimento delle emozioni e di categorizzazione biometrica. L’uso di questi sistemi non implicherebbe alcun dovere specifico di conformità, ma solo obblighi di trasparenza molto vaghi: una semplice notifica ai consumatori/cittadini riguardo al fatto che un sistema AI sia operativo in quel contesto.

Perché l’Artificial Intelligence Act non tutela abbastanza sul riconoscimento emozionale

Il livello di rischio di un sistema di AI, però, non deriva soltanto dal tipo di sistema tecnologico usato, ma anche dalla congiunzione tra il suo dominio di applicazione e il suo target umano.

Ciò implica che se un sistema di AI a rischi limitati venisse utilizzato per pratiche che rientrano nella lista dei rischi insopportabili, allora sarebbe vietato.

Per esempio, se l’AI venisse utilizzata per rilevare le emozioni tra i bambini e manipolarli di conseguenza, allora rientrerebbe tra le pratiche vietate. Analogamente, se tali applicazioni di AI a rischio limitato sono utilizzate in contesti sensibili che rientrano nella lista dei rischi elevati, allora sarebbero tenuti a rispettare rigorosi obblighi di conformità. Questo avverrebbe, per esempio, quando i sistemi di riconoscimento emozionale sono utilizzati per tracciare il profilo di sospetti criminali, o per valutare lavoratori o studenti.

In sostanza, nonostante i meriti dell’AIA, sembra che l’attuale proposta non sia in grado di regolare sufficientemente, dunque classificandole come ad alto rischio, tutte quelle pratiche che utilizzano l’AI al fine di rivelare informazioni sulla mente di una persona.

A nostro avviso, questa regolamentazione non sufficientemente rigorosa delle applicazioni AI per l’elaborazione dei dati mentali apre la strada a scenari di rischio in cui l’unica salvaguardia per un individuo contro l’elaborazione automatica delle sue informazioni mentali (ad esempio le emozioni) sarebbe un semplice obbligo di trasparenza, come la notifica all’individuo, ma senza dare a quell’individuo alcuna possibilità di opt-out.

Diversi usi eticamente discutibili dell’AI potrebbero beneficiare di questa scappatoia. Per esempio, alcuni attivisti per i diritti umani hanno recentemente rivelato che la popolazione Uigura, un’etnia turcofona di religione islamica che vive nel nord-ovest della Cina, sia stata forzatamente soggetta ad esperimenti di software di riconoscimento automatico delle emozioni per fini di sorveglianza.

Inoltre, studi scientifici metodologicamente ambigui hanno affermato di poter rivelare caratteristiche sensibili degli individui relative al loro dominio mentale come il loro orientamento sessuale, l’intelligenza o le inclinazioni criminali a partire da meri sistemi AI di riconoscimento facciale. Queste pratiche non sono attualmente considerate ad alto rischio di per sé. Né lo sono altre pratiche di “mind-mining” come l’analisi e la manipolazione delle emozioni sui social media, o le pratiche finalizzate ad influenzare segretamente il comportamento degli utenti attraverso la pubblicità microtargettizzata, salvo i rarissimi casi in cui questa produca danni fisici o psicologici o sfrutti vulnerabilità legate ad età o disabilità.

Ad oggi, l’unica salvaguardia proposta nell’AI Act contro queste pratiche è un obbligo di notifica agli interessati (si noti, peraltro, come ha notato anche l’EDPB, che la proposta non definisce i possibili individui “interessati”). Tuttavia, sappiamo che i semplici avvisi di trasparenza potrebbero essere fallaci o inefficaci per gli utenti disinteressati o disattenti. Inoltre, in questo caso particolare, tali obblighi di trasparenza nell’AIA potrebbero rivelarsi troppo limitati e generici. Questo appare chiaro se li confrontiamo con i doveri di trasparenza in altri campi giuridici dell’UE.

Ad esempio, nel GDPR quando viene utilizzato il processo decisionale automatizzato, gli interessati non dovrebbero ricevere una semplice notifica, ma informazioni significative sulla logica, l’importanza e le conseguenze previste dell’algoritmo. Da questo punto di vista, l’AI Act sembra introdurre un principio aporetico o perfino contraddittorio rispetto al GDPR. Peraltro, come abbiamo osservato in un recente lavoro, l’analisi automatizzata delle emozioni è già considerata una pratica ad “alto rischio” nel panorama normativo del GDPR, dal momento che l’EDPB ha elencato degli indici di alto rischio che includono tecnologie innovative, informazioni sensibili e soggetti vulnerabili.

Perché il riconoscimento emotivo può considerarsi ad alto rischio

L’asimmetria tra la rigida regolamentazione del riconoscimento facciale o dell’AI per scoring sociale, da un lato, e la “legittimazione” indulgente del riconoscimento delle emozioni, dall’altro lato, sembra ancora più discutibile se si considera che, in linea di principio, l’analisi delle emozioni o la categorizzazione biometrica potrebbero essere considerate ad alto rischio secondo la definizione di rischio dell’articolo 7 della medesima proposta.

Tale articolo contenuto nell’Artificial Intelligence Act, infatti, afferma che la Commissione dovrebbe includere nella lista ad alto rischio qualsiasi sistema AI che presenti un “rischio di impatto negativo sui diritti fondamentali, che è, in relazione alla sua gravità e alla probabilità che si verifichi, equivalente o superiore” all’attuale lista dei sistemi ad alto rischio. Tra i parametri che la proposta indica per identificare un alto rischio vi sono: “la misura in cui l’uso di un sistema di intelligenza artificiale ha già causato (…) un impatto negativo sui diritti fondamentali o ha suscitato gravi preoccupazioni in relazione al verificarsi di tale impatto negativo”; la portata potenziale di tale impatto, “in particolare in termini di intensità e capacità di incidere su una pluralità di persone”; “la misura in cui le persone che potrebbero subire il danno o l’impatto negativo si trovano in una posizione vulnerabile rispetto all’utente di un sistema di IA, in particolare a causa di uno squilibrio di potere, conoscenza, situazione economica o sociale o età”.

Pertanto, per evitare ambiguità interpretative, e sviluppando in parte l’appello dell’EDPB, pare necessario includere esplicitamente e sin da subito nella lista dei sistemi vietati – o quantomeno nella lista dei sistemi ad alto rischio – tutte le applicazioni AI che si basano sulla raccolta ed elaborazione di informazioni mentali quali i sistemi di riconoscimento delle emozioni (in qualsiasi forma), i nudgers digitali, gli algoritmi predittivi dei processi decisionali, dell’orientamento sessuale o altri tratti della personalità, di profilazione psicografica e conseguente microtargetizzazione basata su caratteristiche psicologiche.

Includere i sistemi AI che si basano sulla raccolta ed elaborazione di informazioni mentali nella categoria ad alto rischio ha particolare rilevanza sociale se inscritta in una scala temporale estesa. Oltre, infatti, a regolare l’uso di sistemi già in utilizzo, quali quelli elencati precedentemente, ciò consentirebbe di regolare proattivamente anche sistemi in via di sviluppo quali l’AI per la decodifica e/o la modifica delle memorie o delle intenzioni nascoste.

WEBINAR
23 Settembre 2022 - 10:00
DIGITAL360 Semestrale 2022: scopri tutte le novità
Acquisti/Procurement
Amministrazione/Finanza/Controllo
@RIPRODUZIONE RISERVATA

Speciale PNRR

Tutti
Analisi
PA
Salute digitale
News
Fondi
Formazione
Ecologia
Digital Economy
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Incentivi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Incentivi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr

Articolo 1 di 4