Nel 2023 è stata pubblicata la ISO/IEC 42001, la prima norma internazionale per i sistemi di gestione dell’intelligenza artificiale (AI Management System – AIMS). Questo standard rappresenta una risposta alla crescente necessità di governare l’intelligenza artificiale in modo responsabile, etico e conforme alle normative.
Parallelamente, al centro di qualsiasi sistema di gestione efficace si trovano gli indicatori (KPI): strumenti che permettono di monitorare, valutare e migliorare continuamente le performance. Ma quali possono essere gli esempi di indicatori chiave per un AIMS conforme alla ISO/IEC 42001? Questo articolo prova a fornire qualche risposta.
Non va però dimenticato che tema della applicazione degli indicatori nel contesto di un AIMS è un tema di frontiera, la letteratura disponibile è veramente limitata. Le proposte di indicatori formulate, vanno, anche alla luce di questo elemento, riviste in un base al contesto in cui opera la singola organizzazione.
Indice degli argomenti
Dal ciclo PDCA alla gestione del rischio: perché misurare conta
La ISO/IEC 42001:2023 si basa su un approccio risk-based e sul ciclo PDCA (Plan-Do-Check-Act), richiedendo alle organizzazioni di identificare, valutare e gestire i rischi associati ai sistemi di AI lungo tutto il loro ciclo di vita. Questo comporta anche l’analisi dell’efficacia delle misure poste in atto e ciò si ottiene anche tramite la valutazione di indicatori.
Gli indicatori di un sistema di gestione ISO/IEC 42001:2023 possono essere classificati in diverse categorie, ciascuna corrispondente agli aspetti fondamentali della gestione responsabile dell’AI e nello specifico elaborando quelli che sono identificati come “Potenziali obiettivi organizzativi” come declinati dall’Appendice C dello standard.
KPI di governance e leadership
Misurano l’impegno del top management e la maturità organizzativa.
Esempi di indicatori chiave:
• percentuale di membri del consiglio di amministrazione formati sull’AI responsabile;
• numero di politiche AI approvate e comunicate all’organizzazione;
• budget allocato alla gestione etica e responsabile dell’AI (% sul totale investimenti AI);
• frequenza delle revisioni del sistema di gestione AI da parte del management;
• rispetto della attività pianificata rispetto a quella eseguita da parte del Comitato etico.
Esempio pratico:
Un’azienda fissa come obiettivo che il 100% del senior management completi entro 6 mesi un corso sui principi dell’AI responsabile, misurando bimensilamente il tasso di completamento.
KPI di risk assessment
Misurano come è trattata la valutazione e gestione del rischio che è un elemento centrale nel contesto della ISO/IEC 42001.
Esempi di indicatori chiave:
• numero di sistemi di AI classificati per livello di rischio (alto/medio/basso);
• percentuale di sistemi di AI ad alto rischio sottoposti a valutazione d’impatto completa;
• tempo medio per completare una AI Impact Assessment;
• numero di rischi AI identificati, valutati e mitigati per periodo di tempo;
• percentuale di rischi residui entro i livelli di tolleranza definiti;
• frequenza di aggiornamento delle valutazioni di rischio;
Esempio pratico:
Un’organizzazione sanitaria monitora che il 100% dei sistemi di AI utilizzati per diagnosi mediche (alto rischio) riceva una rivalutazione del rischio almeno ogni 6 mesi, dopo ogni aggiornamento o incidente significativo.
KPI di qualità dei dati
Misura l’efficacia dei dati utilizzati nei sistemi di AI.
Esempi di indicatori chiave:
• percentuale di dataset validati secondo criteri di qualità definiti;
• livello di rappresentatività dei dataset (misurazione della diversità);
• tasso di errori o anomalie rilevato nei dati di addestramento;
• percentuale di dati tracciabili alla fonte originale;
• completezza della documentazione dei dataset (data cards/datasheets);
• frequenza di audit sulla qualità dei dati.
Esempio pratico:
Una banca misura che i dataset utilizzati per modelli di credit scoring abbiano una rappresentazione equa per tutte le categorie demografiche vulnerabili, con scostamenti massimi del 5% rispetto alla popolazione di riferimento.
KPI di trasparenza e spiegabilità
Misura come viene reso trasparente e spiegabile il sistema di AI.
Esempi di indicatori chiave:
• percentuale di sistemi di AI documentati con specifiche complete;
• livello di interpretabilità dei modelli (metriche XAI – Explainable AI che misurano quanto un modello AI è trasparente e comprensibile);
• tempo medio per fornire spiegazioni agli utenti sulla base delle loro richieste;
• numero di richieste di spiegazione ricevute rispetto a quelle evase;
• completezza della documentazione tecnica per audit esterni.
Esempio pratico:
Un’azienda di e-commerce stabilisce che per ogni decisione automatizzata che impatta negativamente un cliente (es. rifiuto di un ordine), il sistema deve fornire almeno 3 fattori spiegabili ed oggettivi che hanno contribuito alla decisione.
KPI di equità e non-discriminazione
Misura l’efficacia delle misure adottate per ridurre i bias nel sistema AI.
Esempi di indicatori chiave:
• misure di fairness dei modelli, ovvero metriche matematiche specifiche che verificano l’equità del modello usando criteri diversi, come demographic parity, equalized odds, ecc.;
• gap di performance tra gruppi demografici diversi;
• numero di test di bias condotti per sistema AI;
• percentuale di sistemi di AI sottoposti a fairness audit ovvero verifica sistematica volta ad analizzare se il sistema AI discrimina ingiustamente certi gruppi di persone;
• incidenti di discriminazione rilevati e risolti;
• diversità dei team di sviluppo AI.
Esempio pratico:
Un sistema di recruiting AI misura che il tasso di successo nella selezione dei candidati non vari più del 10% tra genere maschile e femminile con qualifiche equivalenti, monitorando mensilmente questa metrica.
KPI di privacy e protezione dati
Misura l’efficacia della corretta gestione dei dati personali.
Esempi di indicatori chiave:
• percentuale di sistemi di AI conformi a GDPR/normative privacy applicabili;
• numero di Privacy Impact Assessment condotte per sistemi di AI;
• utilizzo di tecniche di privacy-enhancing ovvero metodi che permettono di usare e analizzare dati mantenendo alta la protezione della privacy come differential privacy che aggiunge “rumore” matematico per nascondere dati individuali, federated learning per addestrare il modello AI sui dispositivi degli utenti senza trasferire i loro dati personali a server centrali;
• tempo di conservazione medio dei dati nel rispetto delle politiche di retention;
• numero di data breach originati da sistemi di AI;
• percentuale di richieste GDPR (accesso, cancellazione) evase nei termini definiti.
Esempio pratico:
Una piattaforma di social media stabilisce che il 100% dei nuovi modelli AI che elaborano dati personali devono utilizzare la differential privacy, una tecnica che protegge la privacy degli utenti aggiungendo “rumore” matematico ai dati per rendere impossibile identificare informazioni su singoli individui pur mantenendo utili le analisi aggregate. La piattaforma definisce inoltre parametri specifici di epsilon, il valore che controlla il livello di protezione della privacy, garantendo così che tutti i modelli rispettino standard precisi e verificabili di tutela dei dati persona.
KPI di performance e accuratezza
Misura le performance del sistema AI in termini di accuratezza, precisione e affidabilità dei risultati prodotti.
Esempi di indicatori chiave:
• misura di accuracy (percentuale di previsioni corrette sul totale), precision (ciò che il modello identifica come positivo, quanto è davvero positivo), recall (tra tutti i casi positivi reali, quanti il modello riesce a identificare) dei modelli in produzione;
• tasso di falsi positivi e falsi negativi nelle fasi di test dei sistemi di AI;
• drift dei modelli nel tempo (data drift, concept drift) ovvero la variazione dell’accuratezza del modello in quanto il contesto è variato rispetto a quando il modello è stato sviluppato ed addestrato;
• latenza e tempo di risposta dei sistemi;
• disponibilità e uptime dei servizi AI;
• confronto della performance reale rispetto alla performance attesa.
Esempio pratico:
Un sistema di fraud detection bancario stabilisce soglie minime di recall (95% delle frodi rilevate) e precision (massimo 2% di falsi positivi), con alert automatici quando si scende al di sotto questi valori.
KPI di sicurezza
Misura l’efficacia delle misure di prevenzione di attacchi ai sistemi di AI.
Esempi di indicatori chiave:
• numero di vulnerability assessment condotte sui sistemi di AI;
• tempo medio di remediation per vulnerabilità identificate;
• frequenza di penetration test specifici per AI;
• percentuale di modelli protetti contro attacchi adversarial ovvero che hanno difese contro input malevoli progettati appositamente per ingannare il sistema (es. immagini modificate impercettibilmente per far sbagliare una classificazione).
• numero di incidenti di sicurezza AI (model poisoning manipolazione del modello durante l’addestramento, data poisoning – corruzione dei dati di training per alterare il comportamento del modello, ecc.);
• copertura dei controlli di sicurezza sui sistemi di AI.
Esempio pratico:
Un’azienda automobilistica che sviluppa sistemi di guida autonoma verifica ogni tre mesi la capacità dei propri modelli di visione artificiale di resistere ad attacchi informatici progettati per ingannare il sistema, ad esempio tramite immagini o segnali stradali modificati appositamente per confondere l’AI. L’azienda misura quanti di questi tentativi di attacco vengono bloccati con successo, garantendo così che le auto autonome non possano essere facilmente “ingannate” da input malevoli.
KPI di ciclo di vita e MLOps
Misura i risultati dei processi strutturati nel corso del ciclo di vita di un sistema di AI
Esempi di indicatori chiave:
• tempo medio dal concept al deployment di un sistema AI;
• frequenza di aggiornamento e riaddestramento dei modelli;
• percentuale di modelli con Pipeline CI/CD completa – Continuous Integration/Continuous Deployment – è un sistema automatizzato che testa, valida e rilascia nuove versioni dei modelli AI in modo continuo e controllato;
• tempo di rollback in caso di problemi (tempo necessario per tornare a una versione precedente funzionante del sistema AI quando si verifica un problema con la versione in uso);
• copertura del monitoraggio in produzione;
• percentuale di modelli versionati e tracciabili.
Esempio pratico:
Una finanziaria che utilizza in produzione sistemi di AI, stabilisce che tutti i modelli in produzione devono essere riaddestrati almeno ogni 3 mesi e che il processo di deployment deve includere test A/B automatizzati (confrontando le versioni A e B del modello mostrandole a gruppi diversi di utenti reali per comprendere quale performa meglio) su almeno il 5% del traffico prima del rollout completo.
KPI su risorse umane e competenze
Misura la qualità delle misure di poste in atto per mitigare i rischi associati alle risorse umane che interagiscono con i sistemi di AI.
Esempi di indicatori chiave:
• percentuale di personale AI formato sui principi etici e normativi;
• ore di formazione media per addetto al deployment dei sistemi di AI;
• tasso di turnover nei team AI;
• diversità di competenze nei team AI (tecnici, etici, legali, domain experts);
• valutazione delle competenze (skill assessment scores).
Esempio pratico:
Un’organizzazione governativa richiede che il 100% dei data scientist completi annualmente almeno 40 ore di formazione su etica AI, bias mitigation e normative applicabili.
KPI di coinvolgimento degli stakeholder
Misura l’efficacia del coinvolgimento degli stakeholder convolti nei sistemi di AI.
Esempi di indicatori chiave:
• numero di consultazioni con stakeholder per progetto AI;
• livello di soddisfazione degli utenti finali (es. tramite NPS Net Promoter Score);
• numero di reclami complessivamente ricevuti relativi a sistemi di AI;
• numero di reclami pertinenti ricevuti relativi a sistemi di AI;
• tempo medio di risoluzione dei reclami sui sistemi di AI;
• percentuale di feedback degli utenti incorporati nei miglioramenti dei sistemi di AI;
• numero di comunicazioni pubbliche sulla governance AI.
Esempio pratico:
Un comune che utilizza sistemi di AI per offrire dei servizi ai cittadini conduce survey semestrali per misurare il livello di fiducia dei cittadini nei sistemi automatizzati, con target di miglioramento semestre su semestre.
KPI di conformità normativa
Misura il rispetto della normativa caratterizzata da una continua evoluzione.
Esempi di indicatori chiave:
• percentuale di sistemi di AI conformi all’AI ACT – valutazione per categoria di rischio;
• numero di gap di conformità identificati e chiusi;
• tempo medio per adeguamento ai requisiti normativi;
• costo della non-conformità (sanzioni, penali, impegno risorse);
• numero di audit interni di conformità legislativa superati con successo;
• numero di audit di seconda e terza parte superati con successo.
Esempio pratico:
Un’azienda multinazionale mappa tutti i sistemi di AI di cui dispone rispetto alle categorie identificata dall’AI Act, misurando mensilmente il progresso verso la conformità completa entro le scadenze poste dalla normativa.
Come rendere leggibili i KPI: dashboard, soglie e reporting
Gli indicatori sono strumenti realmente utili quando sono:
• visualizzati efficacemente tramite dashboard interattive che permettono drill-down da KPI aggregati a metriche di dettaglio;
• contestualizzati e quindi integrati da target, soglie di allerta e trend storici;
• collegati a piani di azione di intervento con responsabilità definite quando si discostano dai target;
• comunicati, con un linguaggio appropriato tramite report periodici, con diversi gradi di aggregazione e per diversi livelli (operativo, tattico, strategico).
Criticità operative: misurare fairness, explainability e trade-off
L’implementazione, la misurazione e la valutazione degli indicatori nel contesto dei sistemi di AI non è immediata e necessita di affrontare diverse sfide.
La complessità tecnica emerge dal fatto che misurare fairness o explainability richiede esperienza specialistica e strumenti sofisticati. Si presenta inoltre la necessità di bilanciare obiettivi contrastanti, poiché migliorare l’accuratezza può ridurre l’interpretabilità mentre aumentare la privacy può diminuire l’utilità.
L’evoluzione rapida richiede che gli indicatori siano aggiornati costantemente per riflettere nuove tecnologie e normative, d’altra parte non tutti gli indicatori richiedono la stessa frequenza di monitoraggio.
Inoltre, l’overhead operativo, ovvero il carico di lavoro aggiuntivo e le risorse extra (tempo, personale, costi) necessarie per gestire il monitoraggio e la misurazione degli indicatori, rappresenta una criticità dato che il monitoraggio eccessivo può rallentare l’innovazione se non ben bilanciato.
Infine, persiste poi il problema della standardizzazione, considerando che manca ancora consenso universale su come misurare alcuni aspetti come ad esempio quale metrica di equità e imparzialità usare.
Buone pratiche: pochi KPI, automazione e revisione periodica
Le migliori pratiche da usare si basano sugli elementi di seguito indicati.
• È consigliabile iniziare con pochi indicatori critici e espandere gradualmente piuttosto che implementare tutto subito, automatizzando il più possibile la raccolta e il reporting per ridurre il carico manuale.
• Risulta fondamentale coinvolgere stakeholder diversi nella definizione degli indicatori, includendo figure tecniche, legali, business e utenti.
• Prima di fissare target ambiziosi è necessario stabilire baseline e benchmark di riferimento.
• L’integrazione con sistemi esistenti quali quality management, risk management e compliance permette di evitare la creazione di silos di indicatori che rischiano di essere slegati da altri contesti aziendali.
• È importante rivedere periodicamente la rilevanza degli indicatori, considerando che ciò che era importante in passato potrebbe non esserlo in futuro.
• Infine, occorre bilanciare i leading – indicatori predittivi che anticipano cosa accadrà in futuro (es. numero di test eseguiti, incidenti segnalati, ore di formazione del team) e i lagging indicators – indicatori consuntivi che misurano risultati già avvenuti (es. numero di guasti effettivi, accuratezza finale del modello, reclami ricevuti), dato che i primi predicono problemi futuri mentre i secondi misurano risultati passati.
Indicatori come leva di fiducia e vantaggio competitivo
Gli indicatori di un AIMS non sono un esercizio burocratico ma strumenti essenziali per navigare la complessità dell’AI responsabile. Il tema per altro è stato anche poco sviluppato in quanto di frontiera; ciò non toglie che la capacità di misurare, monitorare e migliorare la governance AI diventa un vantaggio competitivo oltre che un obbligo etico e normativo come impone lo standard
L’implementazione efficace di indicatori richiede un approccio olistico che bilanci performance tecnica, conformità normativa, etica e sostenibilità del business. Non tutti i parametri sono ugualmente utili da monitorare: il contesto deve guidare nella individuazione di quelli realmente necessari e sostenibili, sempre nel rispetto dei requisiti della norma. Un buon set di indicatori, aggiornato e rivisto ad intervalli, aiuterà le organizzazioni che interagiscono con sistemi di AI a minimizzare i rischi, costruendo al contempo la fiducia di utenti, regolatori e società nel suo complesso. Si bilancia in questo modo l’equilibrio tra innovazione e responsabilità come ci chiede lo standard.
