la proposta di regolamento UE

Intelligenza artificiale “ad alto rischio”, tutti gli ambiti su cui vigilare per la UE

Gestione del personale, accesso all’istruzione, sistemi di sicurezza e giustizia: un’intelligenza artificiale diventa ad alto rischio quando risulta capace di incidere in modo sensibile sulla salute e sui diritti fondamentali delle persone fisiche. Entriamo nel dettaglio della proposta di Regolamento Ue

05 Mag 2021
Diego Dimalta

Studio Legale Dimalta e Associati

intelligenza artificiale pregiudizio

A due settimane dall’uscita della prima bozza della proposta di regolamento Ue sull’intelligenza artificiale, sono ancora molti i dubbi sulle nuove norme volte a garantire che i sistemi di IA siano sicuri, trasparenti, etici, imparziali e sotto il controllo umano. Uno degli aspetti più dibattuti riguarda l’ambito delle tecnologie definite “ad alto rischio” e quali utilizzi debbano rientrare in tale categoria.

Per farci un’idea della numerosità degli aspetti toccati dal regolamento, è sufficiente guardare all’ Annex III il quale elenca tutta una serie di ambiti in cui la tecnologia fondata su Intelligenza Artificiale deve ritenersi ad alto rischio.

Quando un sistema di IA è ad alto rischio

Dalla disamina di questo elenco, che esploreremo nel dettaglio, emerge sin da subito in modo chiaro che cosa si debba intendere con “alto rischio”. In tal senso, a prescindere da quello che è il dettato normativo, un’intelligenza artificiale diventa ad alto rischio quando risulta capace di incidere in modo sensibile sulla salute e sui diritti fondamentali delle persone fisiche.

Digital event
Torna il Cybersecurity 360 Summit strategia nazionale di cybersicurezza. Online, 27 ottobre
Sicurezza
Sicurezza dei dati

Per capirci, se l’intelligenza artificiale viene usata quindi per motivi di marketing non è evidentemente ad alto rischio mentre lo diventa se decide, ad esempio, se un paziente presso il pronto soccorso è da considerare più grave di un altro.

Commissione UE: “Ecco la vera forza del Regolamento AI”

Sono otto gli ambiti attenzionati dall’allegato 3 del Regolamento al fine di fornire un primo orientamento di cosa deve ritenersi ad alto rischio.

Si parte con i sistemi di identificazione biometrica e categorizzazione delle persone fisiche come, ad esempio i sistemi di riconoscimento facciale utilizzati in modo più o meno disinvolto, ad esempio, anche in alcuni comuni Italiani, tanto da spingere il Garante a intervenire anche contro la Citta di Como.

Di questo aspetto, come detto si sono occupati in molti risultando sicuramente più interessante approfondire gli altri sette ambiti come, ad esempio, la gestione e funzionamento delle infrastrutture critiche nonché la selezione e la gestione del personale.

AI e istruzione

Secondo il Regolamento sono difatti da ritenersi ad alto rischio i sistemi AI finalizzati alla selezione delle persone e al relativo accesso all’istruzione, come anche i sistemi volti a valutare le performance di uno studente.

Il motivo per cui ritenere ad alto rischio tali sistemi è facile da intuire: anche un piccolo errore può difatti segnare in modo irrimediabile la vita di ragazzi ai quali potrebbe essere impedito l’accesso a all’università oppure ai quali potrebbe essere assegnato un voto difforme da quello realmente meritato.

Sebbene possa sembrare una realtà lontana, in realtà ci sono già esempi di algoritmi a cui è attribuito, dal governo, il potere di decidere che scuola dovrà frequentare uno studente.

È successo ad esempio in Belgio, dove, per evitare le lunghe code e la burocrazia, il governo centrale ha deciso di implementare un sistema basato su intelligenza artificiale al fine di assegnare l’istituto scolastico più opportuno per ogni singolo studente. Il problema di questo sistema, come rivela AlgorithmWatch, è il fatto che si fonda necessariamente su scelte anche politiche. Un esempio è il fatto che, per evitare di creare compartimenti stagni tra persone di diversa estrazione sociale, l’algoritmo ha implementato un sistema che, di fatto, cerca di mischiare le carte creando classi eterogenee. Questa scelta, puramente politica è stata comunque criticata in quanto di fatto antepone le esigenze di parità a quella che è la libertà personale di ogni ragazzo di decidere a che scuola andare. Non è quindi una mera decisione di logica ma anche di politica, circostanza questa che crea deviazioni anche molto pericolose capaci di incidere sensibilmente sul futuro degli studenti, ammessi o esclusi da un determinato istituto per volontà di un algoritmo.

Lo stesso ragionamento vale per i sistemi di decisione automatizzata che possono portare alla promozione o alla bocciatura di uno studente. Anche in questo caso esistono già dei precedenti come quello di una scuola inglese dove, al termine dello scorso anno scolastico i docenti, non avendo sufficienti dati per capire se promuovere o meno i propri studenti hanno deciso di servirsi di un sistema dotato di intelligenza artificiale. Al sistema sono stati consegnati le previsioni fatte dai docenti ed i precedenti risultati scolastici degli studenti così, a seguito di una elaborazione, è stato deciso lo scrutinio finale.

Purtroppo, però, questo processo non è stato del tutto indolore in quanto qualche osservatore ha evidenziato come, a causa di un bias del sistema, tutti gli alunni promossi appartenevano a famiglie benestanti mentre quelli bocciati appartenevano a famiglie con difficoltà socioeconomiche. Sono state molte le proteste a riguardo essendo in gioco, come dicevamo il futuro di ragazzi, persone del tutto in balia dell’intelligenza artificiale.

Selezione del personale

Non a caso un altro ambito ritenuto ad alto rischio, come dicevamo è quello della selezione del personale, dovendo rientrare in tale categoria:

  • sistemi di IA destinati a essere utilizzati per l’assunzione o la selezione di persone fisiche, in particolare per la pubblicità di offerte di lavoro, lo screening o il filtraggio delle candidature, la valutazione dei candidati nel corso di colloqui o test;
  • AI destinati a essere utilizzati per prendere decisioni sulla promozione e la risoluzione dei rapporti contrattuali di lavoro, per l’assegnazione dei compiti e per il monitoraggio e la valutazione delle prestazioni e del comportamento delle persone in tali rapporti.

L’obiettivo ancora una volta è quello di scongiurare la possibilità che un’intelligenza artificiale, magari deviata, possa incidere sulla vita delle persone. Come accaduto ad esempio ad Amazon, dove per molto tempo il sistema di selezione del personale, basato su intelligenza artificiale ha discriminato i candidati n base al sesso, consentendo l’accesso a lavori più specialistici alle sole persone di sesso maschile.

Intelligenza artificiale nei concorsi pubblici? Il Governo faccia attenzione a questi problemi

Ma come mai ciò è potuto accadere? Semplice, l’algoritmo in questione è stato “allenato” utilizzando i cv inviati nell’ultimo decennio. Siccome la maggior parte di questi provenivano da uomini, allora l’algoritmo ha dedotto che solo gli uomini potessero fare un simile lavoro, discriminando così del tutto ingiustamente le donne.

Sono state quindi molte le persone che, magari, oggi avrebbero potuto ricoprire un ruolo apicale in Amazon e che invece si sono dovute accontentare di un’altra posizione, magari in aziende meno blasonate.

Fa peraltro riflettere il modo avventato e semplicistico con cui alcuni politici individuino in sistemi simili a quello di Amazon una soluzione per selezionare al meglio il personale. È evidente che una simile scelta debba essere fatta solo a seguito di approfondite analisi. Insomma, il regolamento in questione non è ancora stato approvato, è vero, ma dovrebbe fornire comunque un importante parametro su cui riflettere: questi sistemi sono ad alto rischio secondo l’Unione Europea, motivo per cui gli Stati membri già da oggi farebbero bene a non cedere alla tentazione di utilizzarli in modo eccessivamente disinvolto.

Sicurezza e giustizia

Certo, fino a questo punto abbiamo parlato di lavoro e di istruzione, ma cosa accadrebbe se una AI difettosa decidesse sulla nostra fedina penale?

Giustizia digitale, perché non possiamo delegare tutto alle macchine

Per questo il regolamento inserisce nella categoria “high risk” anche gli algoritmi usati in sede giudiziaria e dalle forze di polizia (come accaduto a New York) le quali dovranno fare quindi attenzione nell’utilizzare sistemi dotati di AI per i seguenti fini:

  • valutare il rischio che una persona possa compiere un reato;
  • valutare l’attendibilità delle affermazioni (una sorta di macchina della verità avanzata);
  • valutazione dell’affidabilità delle prove;
  • previsione di reati;
  • profilazione di persone fisiche nel corso di accertamento, indagine o perseguimento di reati.

In tutti questi casi l’intento è molto chiaro: evitare di incidere in modo irreversibile sulla vita di una persona. Son del resto già molti i casi di errori giudiziali e l’intervento della macchina al posto del giudice non potrebbe che costituire un’ulteriore variabile.

Ma allora come comportarsi se, come evidenziato, le intelligenze artificiali -dove utilizzate- hanno già portato a risultati quantomeno distorsivi?

la risposta più semplice è quella di non cedere alla tentazione abbandonandosi ad un soluzionismo tecnologico incontrollato. Le macchine devono essere sempre messe in dubbio e devono essere supervisionate dalle persone. In tal senso, il regolamento pare cercare di diminuire al massimo le devianze cercando di prevedere sistemi di risoluzione delle controversie supervisionati da umani.

Non solo, sono previsti numerosi livelli di disamina degli algoritmi, il tutto nella speranza di individuare preventivamente ogni bias capace di incidere sulle persone.

Dovremo quindi vigilare fondamentalmente su due aspetti:

  • sarà importante che nelle more dell’approvazione del regolamento si individui una disciplina transitoria per limitare i danni che potrebbero derivare da un utilizzo poco assennato dell’intelligenza artificiale;
  • è importante che, anche una volta approvato il regolamento, le persone non deleghino ciecamente le decisioni alle macchine, mettendone anzi sempre in discussione l’operato. Questo approccio, non disciplinabile dal regolamento, è di per sé il pericolo più grande di tutti. Possiamo difatti creare gli strumenti di tutela migliori, ma se si instaurerà un approccio del tipo “ipse dixit” nei confronti dell’operato dell’AI, il numero delle ingiustizie sarà destinato ad aumentare parecchio.

WHITEPAPER
Gestione dei contratti e GDPR: guida all’esternalizzazione di attività dei dati personali
Legal
Privacy
@RIPRODUZIONE RISERVATA

Speciale PNRR

Tutti
Incentivi
PA
Sostemibilità
Analisi
Formazione
Salute digitale
Sicurezza
Sostenibilità
Digital Economy
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr

Articolo 1 di 3