L’audit come strumento di governance dell’IA: come fare

I Sistemi di Intelligenza Artificiale generativa sono al centro del business del nuovo millennio, anche se le ultime finiture dell’AI Act^[1] non danno vita facile nemmeno nell’ambito della ricerca scientifica fondamentale e applicata.

Lo sviluppo di nuove tecnologie LLM – Large Language Models, tutto orientato secondo modelli Risk-based oriented, inoltre, grava i produttori e gli importatori di nuovi impegni in punto di Accountability, che non possono essere esternalizzati nemmeno con le polizze assicurative “cyber”.

Prendono sempre più piede scelte di Governance orientate verso un approccio olistico, trasversale, il cui cardine centrale non dovrebbe essere il business ma il rispetto dei diritti fondamentali degli esseri umani, garantito con adempimenti di conformità alla normativa vigente, verificati attraverso gli Audit di I parte.

I modelli di rete neurale LLM – Large Language Models

I modelli di linguaggio di grandi dimensioni o Large Language Models – LLM, un particolare sviluppo delle applicazioni di machine learning, stanno offrendo risultati inaspettati, anche per la capacità di sviluppo di diversi tipi di elaborazione di linguaggio naturale, detto anche Natural Language Processing – NLP, tanto che “sono stati implementati anche nel mondo reale, sia in prodotti, come GitHub CoPilot, sia direttamente in servizi, come l’API GPT-3 di OpenAI”^[2].

Tali modelli di apprendimento profondo risultano migliori rispetto ai LLM – Logic Learning Machine, poiché anziché muoversi sulla logica simbolica e sulla programmazione logica induttiva, usano algoritmi di deep learning e sfruttano la potenza dei Big Data. Chiaramente, il loro processo di apprendimento richiede notevoli potenze di calcolo e, soprattutto, hardware specializzato ed è strutturato secondo i passaggi raccolta dati -> pre-processing -> architettura del modello -> formazione -> fine-tuning -> valutazione -> installazione.

“Nella letteratura tecnica sul tema, in merito ai c.d. algoritmi predittivi, […] si pone l’accento su varie problematiche, quali quelle emergenti dalla classificazione e dalla regressione dei dati, dove predizione e regressione del modello diventano sinonimi funzionali, anche se formalmente distinti, e quelle afferenti a: a) corrispondenza tra input e output, tema riguardante sia la descrizione del modello sia la distribuzione statistica dei dati rispetto alle casistiche rappresentate; b) apprendimento supervisionato da una valutazione retrospettiva del risultato ottenuto dalla elaborazione di una base dati – c.d. data set originario – utilizzata per far esercitare l’apprendimento del modello. Scegliere una distribuzione algoritmica determinata diviene, pertanto, un fattore determinante per la definizione del modello di valutazione. […] Si arriva, quindi, ai modelli di reti neurali che, mimando in ogni modo il comportamento di un neurone che reagisce ad uno stimolo, in fase di apprendimento creano il modello di riferimento per la successiva valutazione.”^[3]

Applicazioni AIoT: tra input e output

“Le tendenze e i benefici futuri per l’IA vedranno più applicazioni a mani libere”^[4], e non è più un futuro che riguarda il semplice IoT – Internet of Things. In effetti, le applicazioni di domotica avanzata e i nuovi progetti orientati verso la costruzione di smart cities oggi sono frutto di applicazioni di AIoT – Artificial Intelligence of Things, la nuova Intelligenza Artificiale Generativa, implementate in quasi tutti i settori della vita umana. Ciò in quanto “i modelli di linguaggio di grandi dimensioni possono essere utilizzati per creare, completare o combinare codice software, sia da frammenti di codice che da descrizioni di linguaggio naturale, e possono essere applicati a vari domini, attività e linguaggi di programmazione.^[5]”

Generative AI Trend Report, IoT Analytics, 2023

Anche l’Unione Europea è impegnata sul fronte dell’AIoT con il progetto AIoTwin^[6], un programma tutto europeo alla cui base c’è uno sforzo di cooperazione tra i principali ricercatori europei, università e istituzioni mai visto sino ad ora.

In tale panorama tutto il lavoro realizzato negli ultimi anni, e ancora in corso, delle grandi realtà creatrici di standard internazionali come IEEE^[7], ISO^[8], IEC^[9] e BDVA^[10], il cui impegno non si ferma a IoT e AIoT, gioca un ruolo fondamentale poiché è forte la concentrazione degli addetti ai lavori su Sistemi robotici, intelligenti e autonomi.^[11]

Raggiungere l’accountability attraverso gli audit di I parte

Già in ALTAI – Assessment List for Trustworthy Artificial Intelligence (ALTAI) for self-assessment^[12], una lista di controllo accessibile e dinamica indirizzata agli sviluppatori e gli implementatori di sistemi di Intelligenza Artificiale, al fine di valutare la presenza di Governance si chiedeva se il sistema fosse certificato per la sicurezza informatica o, comunque, certificato con uno standard internazionale.

L’AIA – AI Act, anche se nella sua versione ancora provvisoria, mette al centro della propria regolamentazione il ruolo fondamentale ricoperto dalla Governance e dalle certificazioni.

Inoltre, temi come Liability, Resposability e Accountability si impongono saldamente nella parte dedicata alla documentazione tecnica^[13], la quale, secondo la Proposta, deve essere stata redatta in modo da dimostrare che il sistema di AI sia conforme ai requisiti della Legge su AI (AIA – AI Act) prima della immissione sul mercato o messa in servizio.

Tenuto conto del fatto che “nel Machine Learning gli errori sono la regola”^[14], come garantire, quindi, un approccio di sviluppo di nuovi sistemi di IA che consenta alle aziende di dimostrare di essere accountable, anche nel caso in cui operi come mero importatori di sistemi sviluppati extra SEE – Spazio Economico Europeo? Scegliere di avviare un percorso di certificazione certamente potrebbe essere una delle soluzioni.

Grazie agli esperti aggiunti nominati in ISO – International Organization for Standardization e IEC – International Electrotechnical Commission stiamo portando avanti un lavoro denso e impegnativo a supporto di tutte quelle aziende che vorranno implementare gli standard internazionali, grazie al Comitato 533 di UNINFO^[15], presente in diversi Gruppi di lavoro del CEN/CENLEC JTC 21 e dell’ISO/IEC JTC 1 SC 42. “Tra gli standard più importanti vi sono ISO/IEC CD 5339 e ISO/IEC 25059:2023, che offrono rispettivamente linee guida per le applicazioni di IA e un modello di qualità per i sistemi di IA. ISO/IEC DTS 25058 e ISO/IEC CD TR 24030 forniscono, invece, indicazioni fondamentali per la valutazione della qualità dei sistemi di IA e presentano una vasta gamma di casi d’uso dell’IA. La qualità dei dati è uno dei temi principali, con una famiglia di norme ISO/IEC DIS 5259 che si occupa di affrontare la qualità dei dati per l’analisi e l’apprendimento automatico, compresi i requisiti di gestione della qualità dei dati, il quadro del processo di qualità dei dati e la governance della qualità dei dati.

La trasparenza dell’IA è affrontata dalla norma ISO/IEC AWI 12792, mentre le questioni relative ai pregiudizi indesiderati nelle attività di apprendimento automatico sono trattate dalla norma ISO/IEC CD TS 12791. L’ISO/IEC CD TS 8200 garantisce ulteriormente la controllabilità dei sistemi di IA automatizzati. […] La conformità a questi standard ISO/IEC potrebbe contribuire ad aiutare le aziende ad allinearsi alle nuove normative sull’IA, come l’imminente legge europea sull’IA. L’AI Act regolamenterà i sistemi di IA ad alto rischio, imponendo, tra gli altri requisiti, la trasparenza, l’equità, la solidità e la supervisione umana. Standard come l’ISO/IEC AWI 12792 e l’ISO/IEC CD TS 12791, che riguardano la trasparenza dell’IA e i pregiudizi indesiderati, potrebbero fornire alle aziende linee guida per soddisfare i requisiti di trasparenza e non discriminazione dell’UE.

Una conformità dimostrabile potrebbe quindi servire come prova in caso di controversie legali relative a questi aspetti. Allo stesso modo, lo standard ISO/IEC 23894:2023, che offre linee guida per la gestione del rischio delle applicazioni di IA, si allinea all’enfasi posta dall’AI Act sulla sicurezza e sulla gestione del rischio. L’adesione a questo standard potrebbe potenzialmente fornire un quadro per dimostrare la conformità a questi obblighi normativi. La legge richiede che i sistemi di IA ad alto rischio siano addestrati, convalidati e testati con set di dati di buona qualità, e la conformità a questi standard ISO/IEC potrebbe aiutare le aziende a soddisfare questo requisito.”^[16]

Grazie allo svolgimento di Audit interni, in particolar modo quelli che saranno realizzati sulla scorta di un già implementato e certificato Sistema di Gestione ISO/IEC 42001^[17], le aziende potranno dotarsi di un ottimo strumento per la verifica dell’osservanza di quanto prescritto dal framework internazionale, oltre che del pieno rispetto di leggi e regolamenti vigenti. In tal contesto, infatti, è noto che l’Accountability si raggiunge tramite la raccolta di evidenze che dimostrino che le scelte adottate e le strade intraprese sono compliant con il panorama normativo cogente e che saranno, pertanto, in linea con l’AIA – AI ACT.

La cosa positiva dell’implementazione di un sistema di gestione è data dal fatto che l’alta direzione potrà prendere atto delle criticità emerse in sede di Audit interno, nel caso in cui si registrino NC – non conformità, il tutto in ottica di miglioramento continuo. Le azioni di miglioramento dovranno comunque essere testate prima e dopo l’allenamento degli algoritmi finché, a monte, il modello non agisca su un dataset cristallizzato in punto di Data Quality. Si tratta di un processo circolare che si innesta in quello gli addetti ai lavori individuano come PDCA, ovvero il Plan, Do, Chek, Act del Ciclo di Deming.

La norma ISO/IEC 23053:2022

Per quello che riguarda il nostro tema, “tenuto conto del fatto che l’opacità spiana la strada all’errore e all’uso improprio, come affermò Domingos, in prima battuta, riteniamo utile riferirci alle prime fasi di costruzione di un sistema di Intelligenza Artificiale. In tal senso ha operato il Comitato Tecnico Congiunto ISO/IEC JTC 1, SC 42, il quale ha sviluppato un quadro, un framework di Intelligenza Artificiale e Machine Learning per descrivere un sistema di AI generico che utilizza tale tecnologia, applicabile a tutti i tipi e dimensioni di organizzazioni, comprese società pubbliche e private, enti governativi e organizzazioni senza scopo di lucro, che implementano o utilizzano sistemi di intelligenza artificiale”^[18].

Si tratta della norma ISO/IEC 23053:2022 “Framework for Artificial Intelligence (AI) Systems Using Machine Learning”^[19] la quale descrive un framework di Intelligenza Artificiale (AI) e Machine Learning – ML, ossia un Sistema di Gestione applicabile a tutti i tipi e dimensioni di organizzazioni, comprese aziende pubbliche e private, enti governativi e organizzazioni senza scopo di lucro, che stanno implementando o utilizzando sistemi di intelligenza artificiale. “Tale modello viene presentato come un costrutto matematico che genera un’inferenza o una previsione, basata su dati o informazioni di input, addestrato per rappresentare le proprietà statistiche rilevanti al fine di applicare la conoscenza acquisita dal software ad un’applicazione del mondo reale.”^[20]

ISO/IEC 23053:2022, Framework for Artificial Intelligence (AI) Systems Using Machine Learning, visionabile al link: https://www.iso.org/standard/74438.html

“Il pregio del framework è dato dal fatto che si coglie l’occasione per riconoscere a livello internazionale metodi e tecniche accreditate, quali metodi l’apprendimento automatico supervisionato, l’apprendimento automatico non supervisionato e l’apprendimento automatico di rinforzo.”^[21]

ISO/IEC 23053:2022, Framework for Artificial Intelligence (AI) Systems Using Machine Learning, visionabile al link: https://www.iso.org/standard/74438.html

“La soluzione adottata dalle aziende in genere è sguinzagliare gli algoritmi di apprendimento sulle montagne di dati […] applicando il machine learning a ogni aspetto del loro funzionamento. […] I dati sono il nuovo petrolio e la raffinazione, come per il petrolio, è un affare enorme. […] Perché pagare degli esperti che codifichino lentamente e faticosamente la conoscenza in una forma comprensibile da parte di un computer, quando possiamo estrarla dai dati in una frazione dello stesso prezzo?”^[22]

Conclusioni

A valle della analisi condotta è chiaro che l’accountability dei sistemi di intelligenza artificiale generativa è certamente uno strumento fondamentale verso una attribuzione di responsabilità a monte e per la costruzione di Sistemi di IA affidabile. Ricordiamo, infatti, che i temi della responsabilità del produttore e della trustworthy sono centrali anche nell’AIA – AI Act^[23] e ciò perché la nuova legislazione europea tende verso l’obiettivo di “riuscire a garantire l’applicazione dei principi di equità, non discriminazione, solidarietà ed eguaglianza nell’adozione e sviluppo dei sistemi di intelligenza artificiale.”^[24]

Note

1. Proposal For A Regulation Of The European Parliament And Of The Council Laying Down Harmonised Rules On Artificial Intelligence (Artificial Intelligence Act) And Amending Certain Union Legislative Acts, visionabile al link: https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=celex%3A52021PC0206 ↑
2. Jason Wei, Yi Tay, Rishi Bommasani, Colin Raffel, Barret Zoph, Sebastian Borgeaud, Dani Yogatama, Maarten Bosma, Denny Zhou, Donald Metzler, Ed H. Chi, Tatsunori Hashimoto, Oriol Vinyals, Percy Liang, Jeff Dean, William Fedus, Emergent Abilities of Large Language Models, in ArXiv, arXiv:2206.07682v2, 2022, https://arxiv.org/abs/2206.07682v2 ↑
3. Sapuppo, V., Capoluongo, A., Piccoli, A., La trasparenza comunicativa: il principio chiave che potrebbe scardinare le oscurità dei sistemi di Intelligenza Artificiale nell’applicazione del processo algoritmico automatico, in Applicazioni dell’Intelligenza Artificiale nella Pubblica Amministrazione, Risultati del GdL per l’IA del 2021, ANORC, 2021, visionabile al seguente link: https://anorc.eu/wp-content/uploads/2022/03/Paper-GdL-IA-2021_ANORC_22-1.pdf ↑
4. Wo Chang, Digital Data Advisor per l’Information Technology Laboratory – ITL del National Institute of Standards and Technology – NIST, USA, https://www.nist.gov/itl/big-data-nist/nbd-pwg-co-chairs ↑
5. Wegner, P., Using generative AI for IoT: 3 generative AIoT applications beyond ChatGPT, in IoT Analytics, 2023 visionabile al seguente link: https://iot-analytics.com/3-generative-aiot-applications-beyond-chatgpt/# ↑
6. European Commission, Twinning action for spreading excellence in Artificial Intelligence of Things, visionabile al seguente link: https://cordis.europa.eu/project/id/101079214 ↑
7. IEEE, Institute of Electrical and Electronics Engineers, https://www.ieee.org/ ↑
8. ISO, International Organization for Standardization, https://www.iso.org/home.html ↑
9. IEC, International Electrotechnical Commission, https://iec.ch/homepage ↑
10. BDVA, Big Data Value Association, https://www.bdva.eu/ ↑
11. Tra gli altri, vedasi ISO/TR 9241-810:2020, Ergonomics of human-system interaction — Part 810: Robotic, intelligent and autonomous systems, visionabile al link: https://www.iso.org/standard/76577.html ↑
12. European Commission, ALTAI – Assessment List for Trustworthy Artificial Intelligence (ALTAI) for self-assessment, visionabile al link: https://digital-strategy.ec.europa.eu/en/library/assessment-list-trustworthy-artificial-intelligence-altai-self-assessment ↑
13. All. IV – Documentazione tecnica di cui all’Articolo 11, Proposal For A Regulation Of The European Parliament And Of The Council Laying Down Harmonised Rules On Artificial Intelligence (Artificial Intelligence Act) And Amending Certain Union Legislative Acts, visionabile al seguente link: https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=celex%3A52021PC0206 ↑
14. Sapuppo, V., La Governance dei Sistemi di Intelligenza Artificiale: tra criticità e possibili soluzioni, 2022, Academia.Edu, visionabile al link: https://www.academia.edu/88450504/LA_GOVERNANCE_DEI_SISTEMI_DI_INTELLIGENZA_ARTIFICIALE_TRA_CRITICITA_E_POSSIBILI_SOLUZIONI ↑
15. Commissione UNINFO UNI/CT 533, Intelligenza Artificiale – AI, Normazione nel settore dell’Intelligenza Artificiale, https://www.uninfo.it/index_pages/partecipare/aree/category/ai-intelligenza-artificiale.html ↑
16. Scannel, B., 2023, https://www.linkedin.com/posts/valentina-grazia-sapuppo-017002188_in-an-unprecedented-and-concerted-effort-activity-7089963772429119488-9o6y?utm_source=share&utm_medium=member_desktop ↑
17. ISO/IEC FDIS 42001, Information technology — Artificial intelligence — Management system, https://www.iso.org/standard/81230.html ↑
18. Sapuppo, V., La Governance dei Sistemi di Intelligenza Artificiale: tra criticità e possibili soluzioni, 2022, Academia.Edu, visionabile al link: https://www.academia.edu/88450504/LA_GOVERNANCE_DEI_SISTEMI_DI_INTELLIGENZA_ARTIFICIALE_TRA_CRITICITA_E_POSSIBILI_SOLUZIONI ↑
19. ISO/IEC FDIS 23053:2022, Framework for Artificial Intelligence (AI) Systems Using Machine Learning, visionabile al link: https://www.iso.org/standard/74438.html ↑
20. Sapuppo, V., La Governance dei Sistemi di Intelligenza Artificiale: tra criticità e possibili soluzioni, 2022, Academia.Edu, visionabile al link: https://www.academia.edu/88450504/LA_GOVERNANCE_DEI_SISTEMI_DI_INTELLIGENZA_ARTIFICIALE_TRA_CRITICITA_E_POSSIBILI_SOLUZIONI ↑
21. Sapuppo, V., La Governance dei Sistemi di Intelligenza Artificiale: tra criticità e possibili soluzioni, 2022, Academia.Edu, visionabile al link: https://www.academia.edu/88450504/LA_GOVERNANCE_DEI_SISTEMI_DI_INTELLIGENZA_ARTIFICIALE_TRA_CRITICITA_E_POSSIBILI_SOLUZIONI ↑
22. Domingos, P., L’Algoritmo Definitivo. La macchina che impara da sola e il futuro del nostro mondo, 2015, Bollati Boringheri. ↑
23. Proposal For A Regulation Of The European Parliament And Of The Council Laying Down Harmonised Rules On Artificial Intelligence (Artificial Intelligence Act) And Amending Certain Union Legislative Acts, visionabile al seguente link: https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=celex%3A52021PC0206 ↑
24. Sapuppo, V., Capoluongo, A., Piccoli, A., La trasparenza comunicativa: il principio chiave che potrebbe scardinare le oscurità dei sistemi di Intelligenza Artificiale nell’applicazione del processo algoritmico automatico, in Applicazioni dell’Intelligenza Artificiale nella Pubblica Amministrazione, Risultati del GdL per l’IA del 2021, ANORC, 2021, visionabile al seguente link: https://anorc.eu/wp-content/uploads/2022/03/Paper-GdL-IA-2021_ANORC_22-1.pdf ↑