La trasformazione digitale della Pubblica Amministrazione è entrata in una fase nuova: non riguarda più soltanto la dematerializzazione dei documenti, la gestione telematica dei procedimenti o l’automazione delle attività ripetitive, ma investe direttamente la formazione della decisione amministrativa. Grazie all’evoluzione tecnologica, sistemi predittivi, strumenti di apprendimento automatico e modelli generativi possono infatti incidere sull’istruttoria e, in alcuni casi, contribuire alla formazione del provvedimento.
L’algoritmo, quindi, non opera più soltanto come strumento di supporto al funzionario, ma può in tal senso contribuire a classificare le istanze, individuando situazioni di rischio, selezionando priorità, orientando in taluni casi l’assegnazione di risorse, sedi e servizi.
Questa evoluzione risponde all’esigenza di dare attuazione ai principi di buon andamento ed efficienza sanciti dall’art. 97 della Costituzione, perché l’automazione, se ben costruita e progettata, può ridurre i tempi procedimentali e contenere i costi, gestendo grandi volumi di dati.
Indice degli argomenti
L’obbligo di motivazione nell’amministrazione algoritmica
Il ricorso all’intelligenza artificiale, tuttavia, introduce una nota di difficile bilanciamento tra efficienza decisionale e garanzie del cittadino, dove la promessa di una decisione più rapida e uniforme può entrare in conflitto con i principi di trasparenza, partecipazione ed imparzialità.
Il problema, dunque, non è l’uso della tecnologia in sé, ma la possibilità di comprendere, verificare e contestare il percorso che conduce dall’elaborazione dei dati alla decisione amministrativa; con i modelli di Machine Learning e Deep Learning, questo percorso può diventare difficilmente interpretabile, dando luogo al fenomeno della cosiddetta “black box”.
L’articolo 3 della legge n. 241/1990
L’obbligo di motivazione costituisce uno dei principali presìdi della legalità amministrativa. L’art. 3 della legge 7 agosto 1990, n. 241 stabilisce, al comma 1 che “Ogni provvedimento amministrativo, compresi quelli concernenti l’organizzazione amministrativa, lo svolgimento dei pubblici concorsi ed il personale, deve essere motivato, ……. La motivazione deve indicare i presupposti di fatto e le ragioni giuridiche che hanno determinato la decisione dell’amministrazione, in relazione alle risultanze dell’istruttoria.”
La motivazione rappresenta quindi la sintesi dell’attività istruttoria e rende di fatto visibile il percorso logico-giuridico seguito dall’amministrazione; proprio per questo la motivazione non è, quindi, una formalità esterna rispetto alla decisione, ma il luogo nel quale l’esercizio del potere diventa comprensibile e verificabile.
Essa svolge almeno tre funzioni fondamentali:
- Funzione conoscitiva e partecipativa: consente al destinatario e agli eventuali controinteressati di comprendere le ragioni della decisione e di verificare il rapporto tra gli elementi acquisiti durante l’istruttoria e il contenuto dell’atto.
- Funzione di garanzia e di difesa: permette al privato di valutare se e come impugnare il provvedimento, rendendo effettivo il diritto di difesa previsto dagli artt. 24 e 113 della Costituzione.
- Funzione di controllo: consente al giudice amministrativo di verificare la ragionevolezza, la proporzionalità, la coerenza e la congruità dell’azione amministrativa, nonché l’eventuale sussistenza di vizi come il difetto di istruttoria, il travisamento dei fatti o l’eccesso di potere.
La motivazione deve essere concreta, coerente e comprensibile, deve cioè rendere riconoscibile il nesso tra i fatti accertati, le norme applicate e la decisione assunta.
Nei procedimenti tradizionali questo percorso viene normalmente espresso attraverso un ragionamento che si basa sui seguenti aspetti: individuati i fatti rilevanti, si individuano le norme applicabili e si giunge alla determinazione conclusiva; quando invece entrano in gioco valutazioni tecniche o discrezionali, la motivazione deve anche dar conto del bilanciamento tra gli interessi pubblici e privati coinvolti.
Quando nel procedimento interviene un sistema di intelligenza artificiale, l’amministrazione deve assicurare che l’output prodotto dal modello matematico, fondato su correlazioni statistiche e processi di apprendimento automatico, sia utilizzato come supporto istruttorio in modo compatibile con l’obbligo di motivazione disciplinato dall’art. 3 della legge n. 241/1990.
Black box e motivazione delle decisioni algoritmiche
Per affrontare il problema è necessario distinguere tra sistemi deterministici e sistemi basati sull’apprendimento automatico.
Sistemi deterministici e percorsi decisionali
La distinzione non ha un rilievo soltanto descrittivo. Sul piano giuridico, la natura deterministica o adattiva del sistema incide infatti sulla possibilità di ricostruire il percorso decisionale, individuare le responsabilità e rendere intellegibili le ragioni che hanno concorso alla formazione del provvedimento.
Nella sua accezione classica, riconducibile già ai papiri di Ahmes del XVII secolo a.C., l’algoritmo può essere definito come una sequenza finita e ordinata di operazioni elementari, univoche e chiaramente determinate, finalizzata alla soluzione di un problema.
Esso costituisce, in altri termini, una procedura di calcolo ben definita che, applicando secondo un ordine prestabilito un insieme di operazioni a determinati valori o dati in ingresso (input), consente di ottenere il risultato atteso (output). L’algoritmo descrive pertanto una specifica procedura computazionale idonea a realizzare la relazione desiderata tra dati in ingresso e risultato in uscita (T.H. Cormen, C.E. Leiserson, R.L. Rivest e C. Stein, Introduzione agli algoritmi e strutture dati, 2010).
Alla luce di questa definizione, l’automatismo, inteso come assenza di intervento umano nell’attivazione del procedimento diretto alla soluzione del problema, non rappresenta una proprietà essenziale dell’algoritmo, mentre sono invece elementi caratterizzanti l’atomicità delle operazioni, la determinatezza di ciascun passaggio, la finitezza dei dati impiegati e l’univocità del risultato.
In questa prospettiva, la locuzione “algoritmo tecnologico” o “di alta fascia” può risultare fuorviante se impiegata come sinonimo di processo decisionale automatizzato; quest’ultimo presuppone infatti non soltanto l’esecuzione ordinata di operazioni, ma anche l’assenza di un intervento umano nell’avvio del procedimento e la capacità del sistema di accertare autonomamente la sussistenza delle condizioni necessarie per attivare le elaborazioni e giungere alla soluzione del problema.
Per le stesse ragioni, non appare pienamente condivisibile ricondurre l’intelligenza artificiale alla nozione tradizionale di algoritmo, che presuppone il determinismo dei singoli passaggi, la finitezza dei dati utilizzati e l’univocità del risultato; i sistemi di intelligenza artificiale, invece, possono elaborare progressivamente nuovi criteri e parametri decisionali, apprendere da ulteriori dati e regole e produrre esiti non sempre integralmente prevedibili. Tali caratteristiche si pongono, dunque, in evidente tensione con le proprietà proprie dell’algoritmo deterministico.
Nei sistemi tradizionali il software esegue regole predefinite dal programmatore, in cui la logica è generalmente riconducibile a istruzioni del tipo “se X e Y, allora Z”.
In questi casi il percorso decisionale è relativamente agevole da ricostruire, perché il codice alla base costituisce la traduzione informatica di regole giuridiche, amministrative o organizzative e ogni passaggio può essere ripercorso, verificato e sottoposto a controllo.
Il sistema opera quindi, almeno in linea teorica, come un esecutore trasparente: dato un determinato input, produce un output secondo una sequenza di istruzioni conoscibili.
Machine Learning, Deep Learning e opacità
Nei modelli di Machine Learning e Deep Learning le regole non sono necessariamente definite in modo diretto dagli sviluppatori, in quanto il modello viene addestrato su grandi quantità di dati e sviluppa la capacità di individuare ricorrenze, correlazioni e schemi statistici.
Il risultato dipende dalla combinazione di numerosi fattori, come ad esempio la qualità e completezza dei dati di addestramento, l’architettura del modello, parametri e pesi matematici, la modalità di addestramento, i dati utilizzati in fase operativa e le soglie decisionali e configurazioni del sistema.
A fronte dei medesimi dati di input, l’output o il suggerimento decisionale può variare in funzione della configurazione del sistema, della versione del modello, dei parametri impiegati e delle modalità operative. La possibilità di ricostruire tali elementi diventa quindi essenziale per verificare le ragioni dello specifico risultato utilizzato nel procedimento.
La complessità del modello può rendere difficile spiegare perché, a fronte di determinati dati, sia stato prodotto uno specifico risultato; anche quando l’architettura è nota, non è detto che il percorso interno sia traducibile in una motivazione giuridica chiara e individualizzata.
Da qui derivano almeno tre criticità.
- Opacità della logica interna; Il modello può produrre un risultato sulla base di milioni o miliardi di operazioni matematiche. <u>La conoscenza del codice o dell’architettura non coincide necessariamente con la comprensione della specifica decisione adottata nel singolo caso</u>.
- Correlazione e causalità; un sistema predittivo individua correlazioni statistiche, mentre il diritto amministrativo richiede che la decisione sia fondata su presupposti di fatto pertinenti e verificati. Un modello potrebbe, ad esempio, associare determinate caratteristiche a una maggiore probabilità di irregolarità. Questa correlazione, però, non dimostra di per sé che il singolo cittadino abbia commesso un illecito o che la sua istanza debba essere respinta. In questo contesto possiamo affermare che <u>la probabilità statistica può orientare l’istruttoria, ma non può sostituire l’accertamento individuale dei fatti rilevanti</u>.
- Bias e qualità dei dati; i modelli apprendono dai dati disponibili. Se i dati storici riflettono discriminazioni, squilibri o errori, il sistema può riprodurli e amplificarli, conferendo loro un’apparenza di neutralità tecnica. <u>L’automazione, in questo caso, non elimina il pregiudizio: può renderlo meno visibile e più difficile da contestare</u>.
I limiti dell’Explainable AI
Le tecniche di Explainable AI cercano di rendere più comprensibili i risultati dei modelli complessi. Strumenti come LIME e SHAP possono indicare quali variabili abbiano contribuito maggiormente a un determinato output o fornire una rappresentazione semplificata del comportamento del modello; si tratta però di strumenti utili, ma non risolutivi, in quanto un’indicazione secondo cui una variabile ha inciso, ad esempio, per una determinata percentuale sull’esito non equivale ancora all’indicazione dei presupposti di fatto e delle ragioni giuridiche richiesti dall’art. 3 della legge n. 241/1990.
La motivazione amministrativa deve spiegare perché determinati fatti siano rilevanti, quale norma venga applicata e per quale ragione la decisione adottata sia proporzionata e coerente, non deve ridursi ad una mera graduatoria dell’influenza statistica delle variabili, che ovviamente non è sufficiente.
Il rischio è che l’amministrazione finisca per limitarsi a ratificare l’output della macchina, trasformando la motivazione in una giustificazione formale di una decisione non realmente compresa.
Giurisprudenza e garanzie dell’amministrazione algoritmica
La giurisprudenza amministrativa italiana ha progressivamente individuato alcune garanzie fondamentali per l’utilizzo degli algoritmi nei procedimenti pubblici.
Un ruolo centrale è stato svolto dalle pronunce del Consiglio di Stato, tra cui le sentenze della Sezione VI n. 2270/2019, n. 8472/2019 e n. 881/2020. Da questo percorso sono emersi tre principi di particolare rilievo.
- Conoscibilità e trasparenza
Il destinatario deve poter comprendere la logica funzionale utilizzata dal sistema; la trasparenza non riguarda soltanto il codice sorgente, ma anche tutta una serie di fattori quali ad esempio i dati utilizzati, i criteri di selezione degli input, le finalità del modello, i parametri rilevanti, le modalità di funzionamento e le procedure di controllo e aggiornamento.
La conoscibilità tuttavia non implica necessariamente la divulgazione indiscriminata di ogni dettaglio tecnico o di informazioni coperte da segreto industriale, ma richiede, però, che l’amministrazione sia in grado di fornire una spiegazione effettiva, comprensibile e verificabile del funzionamento del sistema nel caso concreto.
- Non esclusività della decisione
L’algoritmo può svolgere funzioni istruttorie, preparatorie o di supporto, ma non dovrebbe diventare l’unico centro decisionale quando sono coinvolti diritti, interessi legittimi o valutazioni individuali; la decisione deve rimanere imputabile a un soggetto umano competente, che abbia la possibilità concreta di esaminare l’output, discostarsene e assumere la responsabilità della determinazione finale.
La supervisione umana non può essere puramente nominale, ma il funzionario pubblico deve poter comprendere il risultato, verificarne l’attendibilità e intervenire quando emergano errori, anomalie o elementi non considerati dal modello.
- Non discriminazione algoritmica
L’amministrazione deve verificare che il modello non produca effetti discriminatori e che i dati impiegati siano pertinenti, aggiornati, rappresentativi e adeguatamente controllati. La neutralità del sistema non può essere presunta sulla base del solo fatto che il processo sia automatizzato, ma deve essere verificata attraverso test, monitoraggi, valutazioni d’impatto e controlli periodici sui risultati prodotti.
GDPR e AI Act per le decisioni amministrative automatizzate
I principi elaborati dalla giurisprudenza si collegano alle garanzie previste dal diritto dell’Unione europea. L’art. 22 del GDPR disciplina il diritto dell’interessato a non essere sottoposto a una decisione basata unicamente sul trattamento automatizzato quando essa produca effetti giuridici o incida significativamente sulla sua persona. La disposizione deve essere letta insieme agli obblighi di informazione, correttezza, trasparenza e accountability previsti dal regolamento.
Un ulteriore riferimento è costituito dal Regolamento europeo sull’intelligenza artificiale, noto come AI Act; il regolamento assoggetta a obblighi particolarmente rigorosi i sistemi utilizzati in ambiti sensibili, come l’accesso a prestazioni e servizi pubblici essenziali, la gestione dei flussi migratori, la giustizia e la selezione del personale.
Per i sistemi ad alto rischio, l’AI Act delinea un insieme organico di garanzie che devono accompagnarne la progettazione, l’impiego e il monitoraggio lungo l’intero ciclo di vita. La gestione dei rischi si intreccia così con la necessità di utilizzare dataset pertinenti e di qualità, predisporre un’adeguata documentazione tecnica e assicurare la tracciabilità delle attività e la registrazione degli eventi rilevanti.
A queste misure si affiancano una sorveglianza umana effettiva e la verifica costante della robustezza, dell’accuratezza e della sicurezza del sistema, affinché il ricorso all’intelligenza artificiale non si traduca in una riduzione delle garanzie per i destinatari dell’azione amministrativa.
In questo quadro, l’AI Act non sostituisce l’obbligo di motivazione previsto dal diritto amministrativo italiano, ma contribuisce a rafforzarne la portata. L’amministrazione deve infatti essere in grado non soltanto di documentare il funzionamento del sistema, ma anche di ricostruire il ruolo concretamente svolto dall’intelligenza artificiale nel procedimento e di dimostrare che il suo impiego sia stato coerente con la finalità perseguita, proporzionato rispetto agli interessi coinvolti e sottoposto a controlli adeguati.
Audit trail e motivazione degli atti algoritmici
La trasparenza deve essere accompagnata da strumenti tecnici capaci di documentare ciò che è avvenuto durante il procedimento. In questo quadro assume rilievo l’audit trail algoritmico, cioè la pista di controllo digitale che registra in modo cronologico e verificabile le operazioni compiute dal sistema e dagli operatori.
L’audit trail dovrebbe consentire di ricostruire almeno i dati utilizzati, la versione del modello e i relativi parametri, le elaborazioni eseguite e gli output prodotti. Dovrebbe inoltre documentare se il funzionario abbia confermato, modificato o disatteso il suggerimento del sistema e quali ragioni abbiano sostenuto la decisione finale.
L’amministrazione dovrebbe documentare l’origine dei dataset, le modalità di raccolta, le procedure di pulizia, l’eventuale anonimizzazione e i controlli effettuati per individuare errori o distorsioni.
È bene osservare che la qualità del dato non è una questione esclusivamente informatica, ma se il dato è irrilevante, obsoleto o discriminatorio, anche la decisione fondata su di esso può risultare viziata.
I modelli possono essere aggiornati, ricalibrati o sostituiti. Per questo, al momento dell’adozione del provvedimento, è necessario poter identificare con precisione la versione del codice, dell’architettura, dei parametri e dei pesi utilizzati. La ricostruzione dovrebbe essere accompagnata da marcature temporali e da meccanismi idonei a impedire modifiche successive non tracciate.
La supervisione umana nell’audit trail
L’audit trail deve documentare l’interazione tra il sistema e il responsabile del procedimento. È importante chiarire se il funzionario abbia recepito integralmente l’output, abbia svolto verifiche autonome, se abbia corretto o disatteso il risultato e motivato la scelta conclusiva.
La supervisione umana deve tradursi cioè in un’attività effettiva e documentata, non in una semplice approvazione automatica dell’esito proposto.
La motivazione rafforzata nell’amministrazione algoritmica
L’utilizzo di sistemi predittivi o generativi non riduce l’obbligo di motivazione. Al contrario, può richiedere una motivazione più articolata, capace di spiegare non solo la decisione finale, ma anche il ruolo svolto dal sistema nel procedimento.
L’amministrazione dovrebbe quindi rendere riconoscibili almeno quattro elementi:
- Il fatto: quali circostanze individuali siano state accertate.
- La regola: quali disposizioni normative o regolamentari siano state applicate.
- Il contributo algoritmico: quale funzione abbia svolto il sistema e quali risultati abbia prodotto.
- La valutazione umana: per quali ragioni il funzionario abbia confermato, corretto o escluso l’esito del modello.
In questo senso si può parlare di una sorta di “motivazione sulla motivazione”: non basta dimostrare che il sistema abbia prodotto un certo risultato, ma occorre spiegare perché quel risultato sia stato ritenuto pertinente, affidabile e adeguato alla decisione amministrativa.
L’output algoritmico, quindi, può essere un elemento dell’istruttoria, ma non può diventare la motivazione stessa.
Trasparenza e responsabilità nelle decisioni amministrative con IA
L’intelligenza artificiale può offrire alla Pubblica Amministrazione strumenti importanti per migliorare la rapidità, la qualità e la capacità di gestione dei procedimenti. La tecnologia, tuttavia, non può essere utilizzata per ridurre la trasparenza dell’azione amministrativa o per trasferire la responsabilità della decisione a un sistema non intelligibile.
L’art. 3 della legge n. 241/1990 conserva piena centralità anche nell’amministrazione algoritmica. La motivazione deve continuare a indicare i presupposti di fatto e le ragioni giuridiche della decisione, ma deve inoltre rendere comprensibile il ruolo svolto dal modello e documentare i controlli effettuati dall’amministrazione.
Conoscibilità, supervisione umana, prevenzione delle discriminazioni e tracciabilità dei processi costituiscono, in questo quadro, condizioni essenziali per un uso legittimo dell’intelligenza artificiale.
Occorre quindi progettare sistemi nei quali l’efficienza tecnologica sia compatibile con la legalità, la responsabilità e la piena difendibilità degli atti, in cui l’algoritmo deve rimanere uno strumento al servizio dell’interesse pubblico ma la decisione finale, soprattutto quando incide sulla posizione del cittadino, deve restare comprensibile, contestabile e riconducibile a un’autorità amministrativa responsabile.
Partecipa alla community