AI Act, nuove regole per Regioni ed enti locali: obblighi e rischi

Fatta salva un’eventuale proroga – richiesta da molte aziende del settore ICT – il Regolamento (UE) 1689/2024 AI Act, in vigore dal 2 agosto 2024, si applicherà fra circa un anno, dal 2 agosto 2026.

Contesto e finalità dell’AI Act per il settore pubblico

Vediamo come dovranno attrezzarsi, ai sensi dell’AI Act, Regioni ed enti locali interessati ad usare sistemi di intelligenza artificiale, ad esempio per ridurre la complessità amministrativa, espletare compiti altrimenti irrealizzabili con le risorse umane disponibili, ridurre i tempi di esame di domande dei cittadini, migliorare la continuità del servizio pubblico. Infatti, questi sistemi possono essere messi al servizio dell’interesse pubblico e facilitare la programmazione delle scelte di governo, il monitoraggio sulla loro attuazione e la valutazione dei loro esiti.

Escluderemo dall’analisi i principali impatti – per Regioni ed enti locali che vogliano avvalersi di queste tecnologie – della normativa protezione dei dati personali.

Vedremo, però, i nessi fra la Valutazione d’impatto sui diritti fondamentali (FRIA) che è prevista, in determinati casi, dall’AI Act e la Valutazione d’impatto (DPIA) che è prevista dal GDPR.

In questa fase storica, l’attenzione collettiva sembra concentrata sull’intelligenza artificiale generativa. Tuttavia, non dovremmo mai dimenticare che sotto la comune egida di “intelligenza artificiale” si colloca una famiglia assai variegata di tecnologie, tutte accomunate da un’elevatissima capacità computazionale e capaci di categorizzare entità (persone, oggetti, concetti), di prevedere gli andamenti futuri sulla base di modelli, di identificare modelli e relazioni tra dati che non sarebbero prevedibili dagli esseri umani.

Livelli di rischio e ambiti di interesse per regioni ed enti locali

L’AI Act è figlio del timore che queste tecnologie possano comportare rischi, avere un impatto significativo sulla società e pregiudicare (sul piano sia materiale sia immateriale) interessi pubblici e diritti fondamentali. L’AI Act mira a garantire un livello costante ed elevato di tutela degli interessi pubblici in materia di salute, sicurezza e diritti fondamentali, compresi la democrazia, lo Stato di diritto e la protezione dell’ambiente.

I livelli di rischio individuati dall’AI Act sono quattro: inaccettabile, alto, limitato e minimo. Quando il rischio è inaccettabile, il sistema che lo determina è vietato. Quando il rischio è alto, ci sono rilevanti obblighi di compliance; quando è limitato, ci sono oneri limitati; quando è minimo, non ci sono obblighi derivanti dall’AI Act, fermi restando eventuali obblighi da altre normative.

Sistemi ad alto rischio e requisiti di conformità

Fra i sistemi ad alto rischio, molti potrebbero essere d’interesse per Regioni ed enti locali.

Ad esempio:

• i sistemi destinati a essere utilizzati come componenti di sicurezza nella gestione e nel funzionamento delle infrastrutture digitali critiche, del traffico stradale o nella fornitura di acqua, gas, riscaldamento o elettricità;
• i sistemi destinati a essere utilizzati per determinare l’accesso, l’ammissione o l’assegnazione di persone agli istituti o ai programmi di istruzione e formazione professionale a tutti i livelli;
• i sistemi destinati a essere utilizzati dalle autorità pubbliche o per conto di autorità pubbliche per valutare l’ammissibilità delle persone fisiche alle prestazioni e ai servizi di assistenza pubblica essenziali, nonché per concedere, ridurre, revocare o recuperare tali prestazioni e servizi;
• i sistemi destinati a essere utilizzati per valutare e classificare le chiamate di emergenza, per inviare servizi di emergenza di primo soccorso o per stabilire priorità in merito all’invio di tali servizi, nonché la selezione dei pazienti nell’assistenza sanitaria di emergenza.

L’AI Act destina alcune norme ai fornitori e distributori di sistemi di intelligenza artificiale ad alto rischio, altre agli utilizzatori (deployer), altre ancora ad entrambe le categorie. In realtà, nessuna regola per i sistemi ad alto rischio è priva di impatto per i deployer del settore pubblico: anche quelle rivolte solo ai fornitori e distributori hanno pur sempre un impatto indiretto su di essi.

La Regione o l’ente locale che ha interesse a usare una soluzione di mercato, nel selezionarla dovrà anzitutto accertarsi che il fornitore abbia messo a punto un’apposita documentazione tecnica idonea a dimostrare la compliance con l’AI Act, nonché un sistema di gestione dei rischi (processo continuo che va eseguito e costantemente aggiornato nel corso dell’intero ciclo di vita del sistema). Alcuni aspetti di questo sistema di compliance rappresentano: A) elementi/chiave di affidabilità e qualità del prodotto, o B) indicazioni indirette su come il sistema deve essere utilizzato.

Vediamo, in estrema sintesi, questi aspetti. Quanto alla lettera A) sopra: i) i set di dati di addestramento, convalida e prova del sistema ad alto rischio devono tener conto delle caratteristiche particolari dello specifico ambito geografico, contestuale, comportamentale o funzionale in cui il sistema sarà usato; ii) i sistemi devono garantire un livello adeguato di accuratezza, robustezza, cybersecurity.

Quanto, invece, alla lettera B), devono esserci: i) istruzioni per l’uso che permettano a coloro che operano presso gli enti che se ne avvalgono di individuare eventuali anomalie nei risultati (ad esempio, un risultato discriminatorio per una determinata persona o categoria di persone) e se necessario di interrompere l’operatività del sistema; ii) funzionalità di registrazione degli usi del sistema, i dati di input e di verifica, nonché la possibilità di identificare le persone che – presso l’ente deployer – partecipano alla verifica dell’output.

Strumenti contrattuali e gestione delle responsabilità

Il 5 marzo 2025 la Commissione UE ha pubblicato uno strumento che sarà molto utile per Regioni ed enti locali che decideranno di selezionare, tramite gare pubbliche, sistemi di intelligenza artificiale che sono stati sviluppati da fornitori. Ci riferiamo alle Clausole Contrattuali Modello UE non vincolanti per l’AI (“MCC-AI”), template contrattuali disponibili anche in lingua italiana. Ci sono due modelli: uno per gli appalti pubblici di sistemi di intelligenza artificiale ad alto rischio e un altro per i sistemi di intelligenza artificiale che non sono ad alto rischio. È disponibile anche un commento con indicazioni su come utilizzare l’MCC-AI.

Va da sé che Regioni ed enti locali che sceglieranno di avvalersi di sistemi di intelligenza artificiale ad alto rischio, oltre a cautelarsi con questo template quando indiranno l’appalto e definiranno i capitolati di gara, dovranno attivare e impiegare tutte le funzionalità che l’AI Act rende obbligatorie in questi sistemi. Inevitabilmente, dovranno definire ruoli, responsabilità, linee-guida sullo svolgimento delle operazioni.

Obblighi per i deployer pubblici e registrazione Ue

A tutto ciò si aggiunge la norma dell’art. 25.1 dell’AI Act: un deployer è considerato esso stesso fornitore di un sistema di intelligenza artificiale ad alto rischio ed è soggetto agli obblighi del fornitore se apporta una modifica sostanziale a un sistema di intelligenza artificiale ad alto rischio già immesso sul mercato o già messo in servizio e se lo fa in modo tale che resti un sistema di intelligenza artificiale ad alto rischio.

È l’art. 26 dell’AI Act a stabilire gli obblighi per i deployer di sistemi di intelligenza artificiale ad alto rischio (compresi quelli del settore pubblico). Essi devono:

• affidare la sorveglianza umana a persone fisiche che dispongono della competenza, della formazione e dell’autorità necessarie nonché del sostegno necessario;
• adottare idonee misure tecniche e organizzative per garantire di utilizzare tali sistemi conformemente alle istruzioni per l’uso che accompagnano i sistemi;
• laddove esercitano il controllo sui dati di input, garantire che tali dati di input siano pertinenti e sufficientemente rappresentativi alla luce della finalità prevista del sistema ad alto rischio;
• monitorare il funzionamento del sistema di IA ad alto rischio sulla base delle istruzioni per l’uso;
• qualora abbiano motivo di ritenere che l’uso del sistema ad alto rischio, anche se svolto in conformità delle istruzioni, possa comportare un rischio per la salute o la sicurezza o per i diritti fondamentali delle persone, informarne, senza indebito ritardo, il fornitore o il distributore e la pertinente autorità di vigilanza del mercato e sospenderne l’uso;
• qualora individuino un incidente grave, informarne immediatamente anche il fornitore, e successivamente l’importatore o il distributore e le pertinenti autorità di vigilanza del mercato;
• conservare i log generati automaticamente da tale sistema ad alto rischio, nella misura in cui tali log sono sotto il loro controllo, per un periodo adeguato alla prevista finalità del sistema ad alto rischio, di almeno sei mesi, salvo diversamente disposto dal diritto dell’Unione Europea o nazionale applicabile, in particolare dalla normativa in materia di protezione dei dati personali.

Inoltre, l’art. 49 dell’AI Act prevede che i sistemi di intelligenza artificiale ad alto rischio debbano essere registrati in una banca dati dell’UE che per ciascuno di essi indica gli estremi identificativi del fornitore, il nome del sistema, i dati utilizzati come input, le istruzioni per l’uso, la dichiarazione di conformità all’AI Act, ecc. L’unico caso in cui l’AI Act esonera il fornitore da questo adempimento è quello dei sistemi destinati a essere componenti di sicurezza nella gestione e nel funzionamento delle infrastrutture digitali critiche, del traffico stradale o nella fornitura di acqua, gas, riscaldamento o elettricità.

Per i deployer del settore pubblico, è previsto uno specifico adempimento a margine di questa banca dati: prima di mettere in servizio o utilizzare un sistema di intelligenza artificiale ad alto rischio, essi dovranno registrarsi nella banca dati, selezionare il sistema ad alto rischio prescelto e attestarne l’uso.

Valutazione d’impatto sui diritti fondamentali (FRIA)

Probabilmente, però, l’impatto più significativo per Regioni ed enti locali interessati a usare sistemi di intelligenza artificiale ad alto rischio sarà l’obbligo disposto dall’art. 27 dell’AI Act. Prima di usarlo, questi enti dovranno effettuare una Valutazione d’impatto sui diritti fondamentali (FRIA) che dovrà contenere:

• una descrizione dei processi in cui il sistema di intelligenza artificiale ad alto rischio sarà utilizzato, in linea con la sua finalità;
• una descrizione del periodo di tempo entro il quale ciascun sistema di intelligenza artificiale ad alto rischio è destinato a essere utilizzato e con che frequenza;
• le categorie di persone fisiche e gruppi verosimilmente interessati dal suo uso nel contesto specifico;
• i rischi specifici di danno che possono incidere sulle categorie di persone o sui gruppi di persone individuati tenendo conto delle informazioni trasmesse dal fornitore;
• una descrizione dell’attuazione delle misure di sorveglianza umana, secondo le istruzioni per l’uso;
• le misure da adottare qualora tali rischi si concretizzino, comprese le disposizioni relative alla governance interna e ai meccanismi di reclamo.

L’obbligo di svolgimento della FRIA si applicherà solo al primo utilizzo del sistema di intelligenza artificiale ad alto rischio; dopo di che l’ente potrà, in casi simili, fare affidamento su FRIA precedentemente condotte o su FRIA già esistenti effettuate dal fornitore del sistema. Tuttavia, se – durante l’utilizzo del sistema di intelligenza artificiale ad alto rischio – la Regione o l’ente locale dovesse ritenere che uno qualsiasi dei temi affrontati nella FRIA non sia più aggiornato, dovrà adottare le misure necessarie per aggiornare le informazioni.

La FRIA presenta notevoli analogie con l’adempimento analogo (la DPIA) previsto dal GDPR a carico di Titolari che intendono effettuare trattamenti che, anche per il ricorso a nuove tecnologie, presentano rischi elevati.

Se un ente pubblico vuole avvalersi di un sistema di intelligenza artificiale ad alto rischio che implica un trattamento di dati personali a rischio elevato e se per quel sistema ha fatto la Valutazione d’impatto (DPIA) ai sensi dell’art. 35 del GDPR, può recepire la DPIA nella FRIA. Ad esempio:

• la descrizione dei processi in cui il sistema di intelligenza artificiale ad alto rischio è destinato ad essere utilizzato potrebbe essere coperta, in parte, dal capitolo della DPIA contenente una descrizione sistematica dei trattamenti previsti e delle finalità del trattamento, nonché da quello contenente una valutazione della necessità e proporzionalità dei trattamenti;
• la descrizione del periodo di tempo entro il quale il sistema di intelligenza artificiale ad alto rischio è destinato a essere utilizzato e con che frequenza potrebbe essere coperta, in parte, dal capitolo della DPIA contenente una descrizione sistematica dei trattamenti di dati personali previsti;
• l’indicazione delle categorie di persone e gruppi verosimilmente interessati dall’uso del sistema di intelligenza artificiale ad alto rischio nel contesto specifico potrebbe essere coperta, in parte, dal capitolo della DPIA contenente una descrizione sistematica dei trattamenti previsti;
• i rischi specifici di danno che possono incidere sulle categorie di persone o sui gruppi individuati tenendo conto delle informazioni trasmesse dal fornitore possono essere individuati, in parte, nel capitolo della DPIA contenente una valutazione dei rischi per i diritti e le libertà degli interessati;
• le misure da adottare qualora tali rischi si concretizzino, comprese le disposizioni relative alla governance interna e ai meccanismi di reclamo potrebbero essere coperte, in parte, dal capitolo della DPIA contenente le misure previste per affrontare i rischi, incluse le misure di sicurezza.

Un prezioso modello per lo svolgimento della FRIA è stato messo a punto – per l’Autorità Catalana per la Protezione dei Dati- dal gruppo di lavoro “DPD in rete” guidato dal Prof. Alessandro Mantelero.

Quanto ai sistemi a rischio limitato, l’art. 50.4 dell’AI Act prevede che i deployer di un sistema di intelligenza artificiale che genera o manipola testo pubblicato allo scopo di informare il pubblico su questioni di interesse pubblico devono render noto (per trasparenza) che il testo è stato generato o manipolato artificialmente. Questo potrebbe essere rilevante laddove Regioni ed enti locali optassero per agenti di intelligenza artificiale nell’ambito di servizi di assistenza al pubblico resi mediante canali di comunicazione elettronica.

Sanzioni e quadro nazionale di applicazione

La non conformità agli obblighi a carico di un deployer del settore pubblico è soggetta a sanzioni amministrative pecuniarie fino a 15 000 000 EUR. D’altronde, ciascuno Stato membro potrà prevedere norme che dispongano in quale misura possono essere inflitte sanzioni amministrative pecuniarie ad autorità pubbliche e organismi pubblici in esso istituiti. In Italia, il Governo avrà delega a legiferare in questo senso.