IA in tribunale, serve un protocollo di riferimento: ecco un modello pratico

Forse per l’aperta ostilità di alcuni settori della magistratura e dell’avvocatura o per il limitato sviluppo degli stessi sistemi di intelligenza artificiale applicati al diritto, negli uffici giudiziari italiani l’IA non è presente, mentre solo alcuni studi sperimentali sono in corso di realizzazione in ambito accademico^[1]. Una svolta è, però, oggi possibile. Il prossimo periodo potrebbe infatti essere segnato dal passaggio da sistemi predittivi sperimentali in ambito accademico (al livello di prototipi) alla creazione di sistemi che possano essere sperimentati nella pratica giudiziaria. Fondamentale in questo ambito la stesura di un protocollo di riferimento.

In questo articolo, proviamo a delineare gli elementi di un possibile protocollo generale per tutte le applicazioni di IA nell’ambito della giustizia e, poi, ne facciamo applicazione a un progetto ipotetico (ma verosimile). L’intento è indicare una strada che ci pare assai importante per uno sviluppo sicuro di un’efficace sperimentazione di sistemi di IA in un ambito professionale molto delicato come quello della giustizia.

I problemi del digitale che tendiamo a sottovalutare di più

L’antefatto

Quando il 3 – 4 dicembre 2018, a Strasburgo, la Commissione europea per l’efficienza della giustizia del Consiglio d’Europa (CEPEJ) approva il documento dal titolo altisonante European Ethical Charter on the Use of Artificial Intelligence in Judicial Systems and their Environment, in realtà, e per aperta ammissione della stessa CEPEJ, in Europa tecniche di intelligenza artificiale per previsioni “giuridiche” negli uffici giudiziari non erano utilizzate, uso che invece aveva principalmente i caratteri di un’iniziativa commerciale del settore privato rivolta a compagnie assicurative, dipartimenti legali, avvocati e singoli individui.

Quando il 15 dicembre 2021 la Settima commissione del CSM pubblica la Relazione sullo stato della Giustizia telematica – anno 2021 e dedica un paragrafo a Intelligenza artificiale e giustizia predittiva, in realtà cita solo delle iniziative di alcune Corti d’Appello (Venezia, Brescia e Genova). Iniziative che, a onore del vero, non sono neanche lontane parenti di cosa si intende per machine learning, predizione quantitativa e varie tecniche di IA. Di fatto conferma l’assenza di reali esperienze di IA negli uffici giudiziari italiani.

Il bando del Ministero della Giustizia

Ad agosto 2021 il Ministero della Giustizia italiano pubblica un bando riservato alle università pubbliche italiane^[2] che, già nel titolo, indica l’obiettivo dell’innovazione tecnologica e che fissa, tra i risultati da raggiungere, “l’aumento dell’utilizzo delle tecnologie da parte di tutti gli stakeholder e in particolare dei software utilizzati dai giudici, dalle cancellerie e dagli ‘assistenti dei giudici’ ossia dai componenti dell’Ufficio per il Processo”.

Il territorio italiano è diviso in sei macroaree. Nella Macroarea 1 (che raccoglie i Distretti delle Corti d’appello di Milano, Brescia, Torino, Genova) la componente accademica che si occupa dell’informatizzazione degli uffici giudiziari ha posto la necessità di valorizzare l’esistente digitale, costituito da milioni di atti digitali che si trovano presso i server ministeriali, indicando la necessità che questa grande quantità di documenti assuma la forma di insieme di dati (dataset) efficacemente esplorabile con tecniche per l’estrazione di informazione (information extraction), la creazione di massime e abstract (automated summarization), la costruzione di documenti (document builder), la rappresentazione grafica (visual graphics) e, in generale, con tecniche di analitica giuridica (legal analytics). E ha ricevuto il punteggio più alto!

Se questa svolta è possibile (e a nostro avviso i tempi sono maturi perché lo sia^[3]), balza in primo piano la necessità che ciò avvenga in un quadro di chiarezza applicativa, sul versante sia dei diritti in gioco, sia delle caratteristiche tecniche che i sistemi devono avere e rispettare, perché in questo campo i due aspetti (diritti e tecniche) sono strettamente interconnessi. Di qui la necessità di regole pratiche del flusso di lavoro, regole che possano garantire la conformità alle norme giuridiche e tecniche, e anche la qualità del risultato: un protocollo.

IA nella Giustizia, perché serve un protocollo

Oltre le ovvie e ben note esigenze di sensibilizzazione e formazione delle professioni coinvolte, è fondamentale da un punto di vista tecnico l’elaborazione di un protocollo generale, comune a tutte le applicazioni di IA nel campo della giustizia, e di protocolli specifici in relazione a natura dell’applicazione, obiettivi, coerenza del dataset e altro ancora Il punto di partenza è la consapevolezza che l’applicazione dell’IA in ambito giudiziario è un’attività ad alto rischio (high risk, secondo il gergo dello EU Artificial Intelligence Act^[4]) che richiede la massima cautela e condivisione tra le professioni coinvolte.

In più, vi è la necessità di acquisire una familiarità con il metodo sperimentale, che l’uso di tali sistemi richiede. Non vi è alcun sistema, per accurato che sia nella progettazione, che non debba essere testato, verificato in pratica, sottoposto a riesame critico, dal punto di vista sia tecnico, sia giuridico.

Le indicazioni necessarie

Il protocollo deve definire gli standard dei dataset e delle tecniche applicate al materiale in essi contenuti. I dati sono il più sottovalutato aspetto dell’IA e vi è chi, come MIT EmTechDigital nell’incontro organizzato il 29–30 marzo 2022, propone apertamente di spostare il focus dagli algoritmi e dai modelli alla qualità dei dati per migliorare le performance di sistemi di IA. E, nello stesso evento, vi è chi propone un approccio Data-First AI, che può trasformare l’inferenza dell’IA, traducendosi in migliori modelli che producono migliori decisioni. A proposito dell’affidabilità e qualità dei dataset è interessante anche la proposta di Timnit Gebru, di istituire Datasheets for Datasets. È noto che molti soggetti privati forniscono servizi (che in linea di principio è del tutto legittimo), ma sulla base di dataset costruiti raccogliendo decisioni giurisdizionali in modo non sempre controllato e, quindi, sulla base di dataset di cui non sono noti i datasheet.

Protocollo generale IA nella Giustizia, i parametri

Qui di seguito esponiamo una traccia del tutto schematica e puramente indicativa di quello che un protocollo generale dovrebbe contenere. Le parti in corsivo spiegano sinteticamente la ragione delle indicazioni e dei passaggi che abbiamo individuato.

1. Oggetto dell’attività, finalità e durata

L’oggetto dell’attività, la sua finalità e la durata devono essere chiaramente indicati.

1. Dati di input (corpora e dataset)

Nella costruzione di un tool di IA, qualunque ne sia la funzione, i dati svolgono un ruolo essenziale: per allenare il sistema (se si tratta di modelli ad apprendimento automatico o semiautomatico) e per permettere al sistema di estrarre conoscenza.

• 1. Origine: enti, soggetti privati o pubblici

Natura giuridica del soggetto da cui provengono i dati, le finalità per le quali sono stati raccolti, chi ne è autore/creatore per il caso di dati sintetici, si veda avanti punto 1.2

• 1. Natura e conservazione

La provenienza e la finalità dei dati condizionano il modo in cui essi devono essere valutati e conservati: se non sono stati raccolti dai medesimi soggetti che sviluppano il tool di AI, devono esserne valutate completezza e correttezza; deve essere condotta un’analisi preliminare sulla presenza di possibili bias; deve essere evidenziata anche la modalità di conservazione, l’accessibilità e la durata, evitandone la duplicazione, che moltiplica il rischio di errori e perdita di informazioni.

• • 1. Dati reali
    2. Dati sintetici
    3. Modalità di conservazione
       1. In quale formato, dove, come, a disposizione di chi e per quanto tempo
  1. Linguaggio/formato

Se i dati provengono da un’archiviazione di datalake, i formati potranno non essere omogenei: a seconda del tipo di tecnologia scelta e del tipo di training (di conseguenza richiesto) questa provenienza potrà essere un elemento non rilevante o essenziale. Se i materiali debbano essere oggetto di annotazione (come nel caso in cui essi siano prevalentemente in linguaggio naturale) e debbano quindi essere oggetto di trasformazione, dovrà essere deciso uno standard adeguato, un controllo degli eventuali errori e la modalità di conservazione dei dati a questo punto duplicati.

• • 1. Formale/naturale/entrambi (pdf, word, xml, txt)
       1. Se formale: quale/i
    2. Con metadati/senza metadati (e in quale formato sono conservati i metadati)
    3. Tipo di uniformazione qualitativa: x es. OCR di eventuali files in formati di immagine
  1. Dati personali (solo per i dati reali)

Qualora i dati di input siano anche dati personali (di persone fisiche) essi ricadono nell’ambito di applicazione del Regolamento 2016/679: tutte le operazioni fino a ora descritte ricadono nella nozione di trattamento. A seconda delle finalità del trattamento (ricerca, pubblico interesse) muta il regime previsto. Passaggio centrale è quello dell’anonimizzazione o pseudonimizzazione dei dati personali, a seconda che essi siano valutati come utili o meno all’allenamento del modello.

• • 1. Non presenti
    2. Presenti:
       1. GDPR compliant/non compliant
       2. Finalità del trattamento
       3. Titolare dei dati
       4. Conservazione
          1. Luogo
          2. Modalità di conservazione
          3. Durata
  1. Modalità di raccolta e qualità dei dati

Qualora l’attività non si limiti all’analisi di dati già esistenti, ma consista anche nella loro raccolta deve essere decisa la modalità più adeguata per effettuarla, a seconda della natura dei dati (immagini, file audio/video, file di testo).

• • 1. Da organizzare /Non da organizzare
    2. Strutturati / Non strutturati
    3. Datalake / datawarehouse

Tipo di tecnologia

A seconda del sistema di IA scelto per condurre l’analisi quantitativa, i profili da considerare possono cambiare radicalmente. I sistemi basati sulla conoscenza, infatti, non pongono problemi per ciò che concerne la spiegabilità dell’esito (sia esso predittivo, estrattivo o altro), mentre i sistemi di apprendimento automatico mostrano gradi di opacità differenti, che diventano più elevati nei sistemi di deep learning in presenza di una grossa quantità di nodi di rete.

• • 1. Sistemi basati sulla conoscenza
    2. Sistemi di apprendimento automatico (Machine learning)
       1. Supervisionato
       2. Non supervisionato
       3. Per rinforzo
    3. Deep learning (livelli di opacità/spiegabilità)

1. Dati di output e contesto operativo

Deve correttamente essere identificata ed esplicitata la destinazione d’uso dell’attività di IA: se meramente sperimentale/con finalità di ricerca o indirizzata a un contesto operativo o con finalità commerciali.

• • 1. Finalità
       1. Estrazione di conoscenza
          1. Massimazione estrattiva/astrattiva
          2. Indicatori
          3. Pattern logici/randomici
       2. Predizione di eventi/decisioni
          1. Esito di una decisione (giuridica, clinica, amministrativa, politica)
          2. Quantificazione (e.g. del danno)
          3. Una circostanza esterna che contribuisce alla determinazione del risultato (solvibilità, recidiva, complicanze)
    2. Contesto operativo
       • 1. Sperimentale (finalità di ricerca)
         2. Operativo istituzionale (assistente del giudice, document builder, altro): sperimentale/consolidato
         3. Operativo commerciale (assistente dell’avvocato)

Livello di rischio dell’attività sulla base dell’AI Act

La proposta di regolamento europeo per l’IA si pone come finalità di garantire che i sistemi di IA siano sicuri e conformi alla legge in materia di diritti e valori fondamentali. L’AI Act definisce i sistemi AI in modo ampio, includendo non solo i sistemi ad apprendimento automatico ma anche quelli basati sulla conoscenza. L’AI Act adotta una classificazione basata sul rischio per regolare i sistemi di AI. In termini di rischio percepito, alcuni sistemi AI sono vietati del tutto, mentre altri non sono regolati affatto. Abbiamo inserito i Principi etici della Carta CEPEJ 2018 come criteri utili per la valutazione del rischio.

• • 1. Vietata
    2. Alto rischio (valutazione di conformità dei sistemi prima di essere immessi sul mercato dell’UE: valutazione di conformità basata su controlli interni -vedi allegato VI-, e, in alcuni casi, valutazione di conformità del sistema di gestione della qualità e della documentazione tecnica condotta da una terza parte)
       1. Rispetto dei Principi etici della Carta CEPEJ 2018 (rispetto dei diritti fondamentali; non discriminazione; qualità e sicurezza; trasparenza, imparzialità ed equità nell’elaborazione dei dati)
    3. Basso rischio

Protocollo specifico per progetto

Quello che segue è un esempio di Protocollo specifico di un progetto ipotetico, ma verosimile. Accanto al titolo di ogni parte è riportato, in corsivo, il punto corrispondente del Protocollo generale.

1. Oggetto dell’attività e finalità (A. Oggetto dell’attività, finalità)

Realizzazione di un prototipo di un document builder destinato a essere di ausilio agli addetti agli Uffici per il processo (UPP) nelle ricerche giuridiche e nella redazione di bozze di provvedimenti giudiziari da offrire alla valutazione dei giudicanti.

Il document builder viene interrogato attraverso una schermata di accesso composta di campi nei quali l’utente inserisce i dati significativi del caso in studio, come materia, posizioni e domande delle parti, riferimenti normativi e/o giurisprudenziali. L’utente ha la possibilità, eventualmente, di inserire una lista ordinata secondo priorità logiche e giuridiche.

I dati inseriti dall’utente interrogano un dataset costituito da precedenti giurisprudenziali e altre fonti normative. Il sistema, in condizioni ottimali, può rendere

• una sequenza/ordine delle questioni da trattare (pregiudiziali di rito o merito 🡪 an (diritto vantato) 🡪 conseguenze (risarcimento/risoluzione/…) 🡪 …
• per ognuna di esse, alcuni frammenti di testo (punti di motivazione) con informazione sulla fonte del frammento (sentenza di origine e sua reperibilità)

Al giudice resta il compito più difficile e di più alto pregio intellettuale e professionale: selezionare quel materiale e quella proposta di percorso motivazionale e sfidarla, cambiando o precisando alcuni parametri, o alcuni elementi di fatto e di diritto che contraddicono e cambiano la consequenzialità della proposta del sistema.

Fasi del progetto e durata (A. … durata)

Il progetto, unitario nel suo obiettivo, si svolge in tre fasi: in primo luogo, l’acquisizione dei dati necessari; in secondo luogo, la realizzazione di una bozza progettuale che consenta di definire i dettagli del progetto stesso e i termini di fattibilità (proof of concept) e, in terzo luogo, una fase successiva di realizzazione di un prototipo da sperimentare in alcuni uffici giudiziari italiani.

Durata: 18 mesi (1+5+12)

Dati necessari, provenienza e acquisizione (B. Dati di input: corpora e dataset)

Il progetto richiede la disponibilità di un corpus di decisioni giudiziarie sufficientemente ampio. Le sentenze in materia civile e i provvedimenti endoprocessuali depositati secondo il PCT possono essere una buona base. I dati devono essere forniti in modo ufficiale dai titolari dei dati.

Il dataset di training è costituito da un insieme di provvedimenti decisori (sentenze e ordinanze) annotati da esperti di dominio.

Metodo di lavoro e timeline (D. Dati di output e contesto operativo)

Le operazioni necessarie sono indicativamente le seguenti:

• Acquisizione delle sentenze e dei provvedimenti.
• Fase proof of concept:
  • Individuazione di un’area tematica: per es. sentenze in materia di diritto dell’impresa o contratti di appalto.
  • Creazione del dataset per il proof of concept (verifica qualità dei dati: uniformazione e altro).
  • Attività di annotazione dei materiali selezionati: a) creazione di una prima versione di linee guida per l’annotazione; b) avvio annotazione; c) consolidamento delle linee guida e d) annotazione del corpus.
  • Apprendimento automatico: prima individuazione di tecniche di information extraction, strumenti di analisi semantica e argument mining delle decisioni (algoritmi di training) e loro applicazione.
  • Esperimenti di funzionamento del proof of concept.
• Fase creazione di un prototipo:
  • Creazione del dataset con i dati dei provvedimenti di un ampio numero di uffici giudiziari compresi in più distretti di corte d’appello
  • Individuazione delle aree tematiche, secondo priorità individuate in base alla frequenza e tenendo conto delle esigenze degli uffici giudiziari.
  • Apprendimento automatico: individuazione delle tecniche informatiche da utilizzare.
  • Eventuale ampliamento del numero di provvedimenti da annotare e relativa annotazione
  • Applicazione di un modello algoritmico e verifiche tecniche progressive
  • Esperimenti di funzionamento del prototipo in uno o più uffici giudiziari e verifica dei parametri AI Act, CEPEJ 2018 e GDPR.

1. Fase dinamica (postprototipo) (E. Livello di rischio dell’attività sulla base dell’AI Act ; B. Dati di input: corpora e dataset, d. Dati personali)
   • Decisione circa la realizzazione di un sistema esteso a tutto il territorio nazionale, sia quanto a basedati (che dovrebbe essere nazionale) e loro criteri qualitativi, sia quanto a sperimentazione della prima versione estesa in un ampio numero di uffici giudiziari
   • Verifiche circa problemi tecnici
   • Tenuta dei parametri AI Act, CEPEJ 2018 e GDPR nel contesto operativo (verifica di eventuali situazioni critiche con possibili lesioni di diritti fondamentali).
   • Tenuta dei parametri sui dati nazionali sui quali il document builder viene applicato.

Conclusione

Per chiudere ci limitiamo a ribadire che quanto esposto in questo contributo è più l’indicazione di un percorso che ci pare necessario piuttosto che una soluzione preconfezionata. È evidente, infatti, che anche per i protocolli vale il metodo trial and error, che può garantire un costante controllo, una verifica applicativa e il superamento dei problemi sorti. Qualcosa che ci pare di particolare importanza in un momento di possibili sviluppi sperimentali nel mondo della giustizia.

_

Note

1. Per lo stato dell’arte dal punto di vista tecnico e giuridico sia consentito rinviare a A.Santosuosso – G.Sartor, La giustizia predittiva: una visione realistica, in corso di stampa in Giurisprudenza italiana. ↑
2. Avviso “Finanziamento di interventi a regia nell’ambito dell’Asse I – Obiettivo Specifico 1.4 – Azione 1.4.1 “Azioni di miglioramento dell’efficienza e delle prestazioni degli Uffici Giudiziari attraverso l’innovazione tecnologica, il supporto organizzativo alla informatizzazione e telematizzazione degli Uffici Giudiziari, disseminazione di specifiche innovazioni e supporto all’attivazione di interventi di change management”.  ↑
3. Ulteriore conferma è data dall’Accordo quadro Cassazione-IUSS Pavia (29 settembre 2021) avente come obiettivo la valorizzazione del patrimonio conoscitivo costituito dal corpus della giurisprudenza e della legislazione italiana e europea, attraverso l’uso degli strumenti di legal analytics (LA) e di intelligenza artificiale (AI), in tema di ricerca su materiale giuridico digitale, di cui è in corso di finanziamento il primo contratto applicativo. ↑
4. Si veda European Parliament, Committee on the Internal Market and Consumer Protection/Committee on Civil Liberties, Justice and Home Affairs, DRAFT REPORT on the proposal for a regulation of the European Parliament and of the Council on harmonised rules on Artificial Intelligence (Artificial Intelligence Act) and amending certain Union Legislative Acts (COM2021/0206 – C9-0146/2021 – 2021/0106(COD)), 20/04/2022. Si veda anche L.Floridi et al, capAI. A procedure for conducting conformity assessment of AI systems in line with the EU Artificial Intelligence Act . ↑