Sorveglianza umana dell’AI: cos’è e perché è centrale nell’AI ACT

La centralità dell’uomo è uno dei cardini delle scelte comunitarie nell’ambito della disciplina sulla intelligenza artificiale.

Tale scelta sposa l’idea di una IA che sia “human centric”: si chiede cioè che i sistemi di IA ad alto rischio siano progettati per essere uno strumento al servizio delle persone, rispettoso della dignità umana e dell’autonomia personale e siano sviluppati in modo da garantire un efficace controllo da parte delle persone fisiche durante il loro utilizzo.

In altre parole l’uomo deve essere sempre messo nella condizione di poter intervenire sulla macchina o comprenderne i risultati.

Vediamo allora cosa significa sotto il profilo informatico la “sorveglianza umana” (in inglese “oversight”) e cosa prevede poi il nuovo Regolamento UE AI Act.

Cosa si intende per sorveglianza umana

Il principio della human oversight, o supervisione umana, è una delle sette linee guida etiche per un’IA affidabile (trustworthy) sviluppate dal gruppo indipendente di esperti di alto livello sull’IA (HLEG) nominato dalla Commissione Europea nel 2019; tale principio è anche oggetto di specifica disciplina legislativa nell’art. 14 dell’AI Act.

L’human oversight è sostanzialmente l’attuazione di meccanismi che sono stati progettati (e specificati dettagliatamente nelle istruzioni per l’uso che devono accompagnare ogni sistema IA) per bilanciare la tensione esistente tra il concetto di “controllo” e quello di “autonomia” nella interazione tra gli esseri umani ed i sistemi informatici che operano con una sempre maggiore autonomia (oppure che possono influenzare con il loro output processi decisionali dall’esito legalmente rilevante).

Esercitando supervisione, cioè essendo in grado di farlo tecnicamente e avendo sviluppato le necessarie competenze e la necessaria percezione di autorità, l’essere umano coinvolto nell’operatività del sistema (il cosiddetto loop a cui ci si riferisce con l’espressione human-in-the-loop) può assicurare che il sistema operi “autonomamente” e correttamente all’interno dei parametri definiti e secondo destinazione d’uso, pur mantenendo la possibilità dell’intervento umano in determinati  momenti critici.

A tal riguardo è anche possibile fare riferimento al concetto di IA controllabile: secondo la ISO 22989 “controllabile”[1] è una “proprietà di un sistema di IA (3.1.4) [riguardo cui] un essere umano o un altro agente esterno (3.1.1) può intervenire nel funzionamento del sistema”.

Differenze tra sistema eteronomo e autonomo

Preme precisare che un sistema di questo tipo è eteronomo (3.1.9), piuttosto che autonomo; eteronomo è una “caratteristica di un sistema che opera sotto il vincolo dell’intervento, del controllo o della supervisione esterni”.

Sotto questo profilo la diffusa espressione “vari livelli di autonomia”  – presente anche nella definizione OCSE e  nel testo definitivo dell’AI ACT – sebbene meno corretta della espressione “vari livelli di eteronomia” (tra i quali lo stato di autonomia rappresenta l’ultimo livello in assenza di controllo da parte di alcun agenti esterni), è comunque abbastanza chiara nel suo significato.

E’ chiaro poi che  garantire una adeguata supervisione umana comporta la definizione e l’applicazione di confini etici e legali entro i quali un sistema automatizzato può operare, che comprendono anche la definizione di meccanismi di intervento umano ove tali limiti vengano avvicinati o superati (violazioni).

Nel contesto di processi decisionali automatizzati (Automated Decision Making, o ADM), cioè di quei processi in cui la presa di decisione è basata “esclusivamente sul trattamento automatizzato” (“solely on automated processing”) e nel contesto dei processi decisionali supportati cioè eseguiti da esseri umani con l’aiuto di sistemi di supporto decisionale (decision support systems, DSS), si ritiene che la supervisione sia necessaria per garantire trasparenza e attenzione dei confronti delle implicazioni etiche di queste tecnologie, soprattutto quando vi è il rischio che queste implicazioni riguardino la sicurezza, la salute e i diritti fondamentali. Infatti, una supervisione efficace non si limita a garantire che un DSS faccia ciò che dovrebbe fare (secondo la sua destinazione d’uso, o intended purpose), ma implica anche che il DSS lo faccia in modo legale, sicuro, etico e in linea con i valori della società (ad esempio, rispettando i diritti fondamentali dei soggetti, la loro privacy, e garantendo l’equità e la prevenzione di esiti discriminatori).

In tali contesti, la supervisione umana comporta un meccanismo di controllo che stabilisce come, quando e perché l’uomo interviene nelle operazioni di un sistema automatizzato, validandolo e garantendo l’allineamento con i valori della società e le norme legali.

I meccanismi di oversight

I meccanismi di supervisione possono essere poi divisi in due grandi famiglie: quelli che operano nel contesto di sviluppo (development) e quelli che operano nel contesto operativo (operations o deployment).

Gli audit algoritmici

Tra i primi, il meccanismo di oversight principale è quello degli audit algoritmici, che possono essere interni o esterni. Si tratta di revisioni complete degli algoritmi, delle fonti di dati e dei loro risultati per garantire che i modelli che li incorporano funzionino come previsto e non producano effetti dannosi. In questa famiglia di metodi può essere ricondotto tutto ciò che (con una espressione coniata nel 2019) abbiamo definito techno-vigilance, in linea con l’espressione farmaco-vigilanza, di cui prende in prestito la definizione: “insieme delle attività finalizzate all’identificazione, valutazione, comprensione e prevenzione degli effetti avversi o di qualsiasi altra conseguenza negativa inattesa correlato all’uso di un DSS.”[2]

Il monitoraggio in tempo reale

Tra i secondi (operations o after-deployment) ci si riferisce al monitoraggio in tempo reale, che si ritiene particolarmente importante in contesti come la sanità, la finanza o la giustizia penale, dove le decisioni hanno un impatto significativo sul mondo reale.

La distizione tra “supervisione della capacità” e “supervisione dell’allineamento”

Appare inoltre utile distinguere tra “supervisione della capacità” e “supervisione dell’allineamento” in un quadro di supervisione ben strutturato, questi due tipi di supervisione sono complementari.

Più precisamente, la “supervisione della capacità” assicura infatti che il sistema funzioni come previsto, mentre la “supervisione dell’allineamento” si assicura che il “come previsto” sia in linea con le norme sociali più ampie, i requisiti legali e le aspettative degli operatori (o deployer).

Più concretamente ancora: la “supervisione della capacità” è la supervisione della validità dell’output in base all’uso previsto e alla finalità prevista. Essa si concentra principalmente sulla garanzia che il sistema decisionale automatizzato adempia allo scopo previsto in modo efficiente e accurato. La preoccupazione principale in questo caso è l’affidabilità tecnica del sistema:  in questo caso sono quindi fondamentali soprattutto le procedure di audit, convalida e verifica.

La “supervisione dell’allineamento” è invece  la supervisione relativa ad altri requisiti di legge, come l’equità, i diritti alla privacy, i diritti di proprietà intellettuale e altri diritti fondamentali. Sebbene il sistema possa essere tecnicamente efficiente, deve anche allinearsi alle leggi e alle norme etiche esistenti, come la non discriminazione, la privacy dei dati, i diritti di proprietà intellettuale e altri diritti fondamentali.

Le tre configurazioni del contesto operativo: HITL, HOTL, HIC

Concentrandosi ora sul contesto operativo, si distinguono solitamente tre possibili configurazioni, spesso note con le loro espressioni Inglesi Human-in-the-Loop (HITL, o umano coinvolto nel ciclo di controllo), Human-on-the-Loop (HOTL, o umano sopra il ciclo di controllo) e Human-in-Command (HIC, o umano al comando). Mentre l’ultima è la configurazione in cui il supporto decisionale ha un ruolo marginale (poiché è un semplice strumento o un attuatore della volontà umana e l’essere umano può prendere decisioni anche senza l’aiuto della macchina, sebbene la sua prestazione ne possa essere inevitabilmente e significativamente impattata), la prima, l’espressione HITL, è molto più nota e ricorrente, a volta che anche a sproposito.

La configurazione Human-in-the-Loop

Questa espressione si riferisce a configurazioni di utilizzo dei sistemi di IA in processi decisionali dove però la partecipazione umana è intrinseca a tale processo e ne è parte integrante, in cui cioè l’agente umano è coinvolto direttamente e deve (non solo può) quindi influenzare, modificare o approvare le opzioni decisionali proposte dal sistema. L’espressione “Umano nel Ciclo di controllo” vuole evidenziare proprio la presenza attiva e continuativa dell’essere umano all’interno del processo decisionale influenzato dai risultati dell’IA, sottolineando la dimensione di interazione diretta, quasi collaborazione tra i due tipi di agenti e co-decisione. Proprio per questo motivo però (anche un po’ paradossalmente), è improprio parlare di oversight/supervisione nel caso di questa configurazione perché senza uno dei due componenti, l’essere umano o la macchina, il processo decisionale – come è idealmente inteso – non potrebbe svolgersi..

L’HITL può essere comunque considerato un meccanismo per la garanzia della eticità legalità e correttezza della decisione, è anzi il meccanismo più potente attuabile, perché coinvolge direttamente e in maniera importante l’essere umano, in tutti quegli ambiti dove si ritiene che senza la macchina non sia possibile (efficientemente) prendere delle decisioni informate.

Per questo motivo, tale configurazoine in realtà ne comprende molte altre di dettaglio (quelli che chiamiamo protocolli di collaborazione uomo-IA[3]), tante quante sono le combinazioni di diversi fattori, considerati parametri modificabili dell’interazione uomo-IA, allo scopo di ottenere prestazioni e risultati desiderabili. In particolare, possiamo avere diverse configurazioni HITL a seconda di quali attività sono automatizzate nel compito decisionale (ad esempio: la percezione del segnale, la sua elaborazione, il recupero delle informazioni, la sintesi delle informazioni, la memoria di lavoro, la riduzione delle alternative, la scelta dell’opzione, la selezione della risposta) e del grado di automazione di tali attività (ad esempio, secondo la scala dei livelli di automazione (LOA) di Parasuraman, i livelli che vanno da 2 a 7[4]).

Le confiurazioni HOTL

Infine nelle configurazioni HOTL, il supervisore umano invece non interviene in ogni decisione, ma monitora le operazioni del sistema in tempo reale e può intervenire quando necessario o richiesto dal sistema (livello 9 della scala LOA suddetta). Ciò consente agli esperti umani di intervenire quando è più importante, e quindi di dedicarsi nel frattempo ad altri compiti più creativi o a maggiore valore aggiunto. In uno scenario di ADM HOTL in tempo reale, la “supervisione di capacità” implica un monitoraggio continuo per garantire che il sistema funzioni secondo le specifiche, segnalando eventuali deviazioni o errori per una revisione immediata o successiva. In una configurazione ADM HOTL, la “supervisione dell’allineamento” comporta la definizione di limiti o soglie specifiche oltre le quali è richiesto l’intervento umano. Per fare un esempio un algoritmo finanziario potrebbe avere dei vincoli legati all’equità e alla non discriminazione: ove poi l’algoritmo  si avvicina a questi limiti, un supervisore umano verrebbe allertato per attivarsi e rivedere, o semplicemente validare, la decisione.

Le previsioni legislative: cosa dice l’AI Act?

Vediamo ora come il legislatore comunitario ha deciso di regolare  l’oversight nell’AICT.

In linea con un approcciomarcatamente“risk based” (colonna portante del regolamento e in ossequio al sistema di classificazione del rischio che ne rappresenta la concretizzazione), l’A.I. Act riconduce le tecnologie di IA a quattro classi di rischio (inaccettabile, alto, limitato e minimo) cui corrispondono approcci diversi: maggiore è l’invasività del sistema, maggiori saranno le tutele correlate al suo utilizzo e gli obblighi di legge previsti per evitare le relative sanzioni.

Tale classificazione – che determina il livello di regolamentazione e di conformità richiesto per i vari sistemi di IA e quindi influenza direttamente le modalità in cui le aziende sviluppano, implementano e gestiscono queste tecnologie – accorda dunque particolare rilevanza alle applicazioni con il maggior potenziale di danno umano.

Nello specifico, in quanto suscettibili di provocare “un rischio significativo di danno alla salute, alla sicurezza o ai diritti fondamentali delle persone fisiche” (Art. 6 AI Act) i sistemi ad alto rischio (tra i quali rientrano sistemi estremamente impattanti ed utilizzati in settori cruciali quali la sanità, i trasporti, la giustizia e la sicurezza pubblica)sono sottoposti a specifici obblighi, rigorose azioni di compliance e meccanismi di valutazione e mitigazione dei rischi.

Tra le misure di sicurezza per le cosiddette tecnologie di IA “ad alto rischio” il legislatore europeo annovera l’obbligo di supervisione umana (Art. 14).

Una tale circostanza attribuisce un ruolo di fondamentale importanza alla componente umana e conferma la necessità di assoggettare l’IA al principio della progettazione antropocentrica, che si sostanzia nell’adozione di soluzioni che attribuiscano all’essere umano il potere di sorveglianza e controllo dei processi operativi.

Più precisamente l’Art. 14 si compone di cinque paragrafi: di questi, i primi quatto hanno rilevanza generale (e si applicano quindi a tutti i sistemi di IA ad alto rischio), mentre il quinto fa espresso riferimento ai sistemi ad alto rischio di cui al punto 1, lett. a., dell’Allegato III (ossia ai sistemi di identificazione biometrica a distanza).

• Il primo paragrafo stabilisce la regola principale in base alla quale “i sistemi di IA ad alto rischio devono essere progettati e sviluppati in modo tale, anche con adeguati strumenti di interfaccia uomo-macchina, da poter essere efficacemente controllati da persone fisiche durante il periodo in cui il sistema IA è in uso”.

• Il secondo paragrafo precisa ulteriormente che “la supervisione umana è finalizzata a prevenire o ridurre al minimo i rischi per la salute, la sicurezza o i diritti fondamentali che possono emergere quando i sistemi di IA ad alto rischio sono utilizzati in conformità con la loro destinazione d’uso o in condizioni d’uso improprio ragionevolmente prevedibili”.

In particolare, tale circostanza si verifica quando i suddetti rischi persistono nonostante l’applicazione degli altri principali obblighi di salvaguardia imposti ai fornitori di sistemi di IA ad alto rischio, anch’essi indicati nel Capitolo II. La conformazione strutturale della disposizione denota dunque una chiara interrelazione, sia normativa che funzionale, con le altre misure di salvaguardia, evidenziando come la portata e le implicazioni della norma non possano essere pienamente comprese senza prendere in considerazione anche altre disposizioni del regolamento.

Le qualità richieste al supervisore umano

Il testo dell’Art. 14 non è invece particolarmente esplicito circa le qualità richieste al supervisore umano. Sul punto interviene però l’Art. 29, par. 1., lett a (ii), richiedendo che i supervisori umani siano competenti, adeguatamente qualificati e formati, e che dispongano delle risorse necessarie per garantire un’efficace supervisione del sistema di IA, senza tuttavia chiarire di quali qualifiche (né tantomeno di quali certificazioni) debbano risultare in possesso i soggetti incaricati di svolgere le funzioni di cui all’Art. 14 dell’AI Act.

• Il terzo paragrafo stabilisce le misure più concrete per il tramite delle quali i fornitori di sistemi IA dovrebbero adempiere all’obbligo di supervisione.

Gli obblighi in capo ai fornitori

La disposizione contempla due opzioni. Essa fa infatti riferimento alla possibilità che – in base ai rischi, al livello di autonomia e al contesto di utilizzo del sistema di IA – i fornitori garantiscano la supervisione umana

• attraverso l’identificazione e l’inserimento di misure di supervisione nel sistema di IA ad alto rischio prima dell’immissione sul mercato o della messa in servizio;
• attraverso l’identificazione, prima dell’immissione sul mercato o della messa in servizio del sistema, di qualsiasi misura appropriata che deve essere però implementata da parte dell’utente.

Con riferimento ai sistemi ad alto rischio di cui al punto 1., lett. a, dell’Allegato III il legislatore specifica espressamente la necessità che le suddette misure siano tali da garantire che “nessuna azione o decisione sia adottata dal distributore sulla base dell’identificazione risultante dal sistema, a meno che la stessa non sia stata verificata e confermata separatamente da almeno due persone fisiche con la necessaria competenza, formazione e autorità”.

Balza subito all’occhio la circostanza che l’articolo ponga i suddetti obblighi a carico dei fornitori, piuttosto che degli utenti di sistemi di IA ad alto rischio; circostanza, quest’ultima, che mette in risalto la natura preventiva della disposizione.

È allora opportuno precisare che per “provider” si intende “una persona fisica o giuridica, un’autorità pubblica, un’agenzia o un altro organismo che sviluppa un sistema di IA o un modello di IA per scopi generali o che fa sviluppare un modello di IA per scopi generali e li immette sul mercato o mette in servizio il sistema con il proprio nome o marchio, a titolo oneroso o gratuito” (Art. 3(2), AI Act); mentre il deployer” è “una persona fisica o giuridica, un’autorità pubblica, un’agenzia o un altro organismo che utilizza un sistema di IA sotto la propria autorità, tranne nel caso in cui il sistema IA sia utilizzato nel corso di un’attività personale non professionale”.

• Per ciò che concerne le caratteristiche tecniche specifiche di cui i fornitori devono dotare i loro sistemi di IA ad alto rischio, queste sono elencate al paragrafo 4 dell’art. 14 dell’AI Act.

La disposizione, in particolare, obbliga i fornitori a garantire che il sistema di IA ad alto rischio consenta alle persone a cui è assegnata la supervisione umana, a seconda delle circostanze, di:

• comprendere adeguatamente le capacità ed i limiti del sistema di IA ad alto rischio ed essere in grado di monitorarne debitamente il funzionamento, anche al fine di individuare e affrontare eventuali anomalie, disfunzioni e prestazioni inattese;
• rimanere consapevoli della possibile tendenza ad affidarsi automaticamente o a fare eccessivo affidamento sui risultati prodotti da un sistema di IA ad alto rischio (c.d. “automation bias”) in particolare per i sistemi di IA ad alto rischio utilizzati per fornire informazioni o raccomandazioni per decisioni che devono essere prese da persone fisiche;
• interpretare correttamente i risultati del sistema di IA ad alto rischio, tenendo conto in particolare degli strumenti e dei metodi di interpretazione disponibili;
• decidere, in qualsiasi situazione particolare, di non utilizzare il sistema di intelligenza artificiale ad alto rischio o di ignorare, escludere o annullare i risultati del sistema di intelligenza artificiale ad alto rischio;
• intervenire sul funzionamento del sistema di IA ad alto rischio o interrompere il sistema attraverso un pulsante di stop o una procedura simile che consenta al sistema di arrestarsi ad uno stato sicuro.

Nonostante nel complesso la formulazione dell’art. 14 non sia stata oggetto di modifiche sostanziali rispetto alla bozza originaria, è interessante notare come nel par. 4 lett. a) la parola “pienamente” (“fully”) sia stata sostituita da “adeguatamente” (“properly”): ciò sembrerebbe suggerire un’aspettativa meno rigida o comunque la presa di coscienza della circostanza per cui non sempre è possibile (o necessario) che gli utenti abbiano una comprensione completa del sistema.

Inoltre, come si evince dal dato testuale della disposizione, questa è stata redatta sull’assunto che gli obblighi di funzionalità tecnica debbano essere posti a carico del fornitore e che, in particolare, i criteri ad essi ricollegati siano “adeguati alle circostanze”. Ciò denota la sussistenza un requisito di proporzionalità – reso ancor più chiaro dall’ aggiunta (inserita nel corpo del testo del par. 4., ad opera della bozza del Consiglio) dell’aggettivo “proporzionato” accanto all’ aggettivo “adeguato” – nonché il riconoscimento, nei confronti del fornitore, di uno spazio discrezionale nella determinazione e nello sviluppo della specifica configurazione da mettere in atto.

Gli aspetti salienti in materia di sorveglianza umana ai sensi dell’art. 14

La ricostruzione effettuata ci consente quindi di inquadrare gli aspetti salienti in materia di sorveglianza umana ai sensi dell’art. 14, individuandoli

• nell’assenza di obblighi al di là di quelli previsti per il fornitore;
• nell’assenza di regolamentazione circa le misure di supervisione specifiche che il fornitore deve porre in atto (fatta eccezione per l’indicazione circa la supervisione tecnica che dovrebbe essere posta in essere prima dell’immissione sul mercato/in servizio).

Sul tema dell’oversight gli obblighi previsti per i fornitori dall’Art. 14 sembrerebbero poi potersi ampliare in ragione di quanto previsto dall’Art. 29 (1) AI Act., nella misura in cui esso stabilisce che “l’utilizzatore del sistema di IA ad alto rischio è tenuto ad adottare misure tecniche e organizzative adeguate a garantirne l’utilizzo in conformità alle istruzioni d’uso che lo accompagnano” le quali devono però, a loro volta, essere sviluppate e fornite dai fornitori (Art. 13(2) AI Act)

Tale legame tra le istruzioni d’uso e l’obbligo di sorveglianza di cui all’art. 14 sarebbe anche desumibile

• dall’art 29 (4) che fa riferimento all’obbligo degli utilizzatori di controllare il funzionamento del sistema ad alto rischio sulla base delle istruzioni d’uso informandone, se del caso, i fornitori;
• dall’art 29 (6) che prevede un obbligo esplicito per gli utenti di utilizzare le informazioni fornite ai sensi dell’art 13 per adempiere all’obbligo di effettuare una valutazione di impatto

sulla protezione dei dati ex. Art 35 GDPR.

Le sanzioni

Violare le norme dell’AI Act costerà caro.

Le sanzioni per le violazioni del nuovo regolamento sono state fissate in una percentuale del fatturato annuo globale nell’anno finanziario precedente della società incriminata o in un importo predeterminato, a seconda di quale sia il più elevato.

Più specificamente, per i sistemi di IA che sono immessi sul mercato o messi in servizio e che non rispettano i requisiti del regolamento, gli Stati membri dovranno stabilire sanzioni effettive, proporzionate e dissuasive, comprese sanzioni amministrative pecuniarie, in relazione alle violazioni, e comunicarle alla Commissione.

Il regolamento stabilisce le soglie da tenere in considerazione:

• fino a 35 milioni di euro o al 7% del fatturato mondiale totale annuo dell’esercizio precedente (se superiore) per violazioni relative a pratiche vietate o per l’inosservanza di requisiti in materia di dati;
• fino a 15 milioni di euro o al 3% del fatturato mondiale totale annuo dell’esercizio precedente, per l’inosservanza di qualsiasi altro requisito o obbligo del regolamento, compresa la violazione delle regole relative ai modelli di IA per finalità generali;
• fino a 7,5 milioni di euro o all’1,5% del fatturato mondiale totale annuo dell’esercizio precedente, per la fornitura di informazioni inesatte, incomplete o fuorvianti agli organismi notificati e alle autorità nazionali competenti in risposta a una richiesta;

Va evidenziato che, per ciascuna categoria di violazione, la soglia per le PMI sarebbe l’importo più basso tra i due previsti, mentre per le altre imprese sarebbe l’importo più elevato.

Inoltre, l’AI ACT chiarisce che una persona fisica o giuridica

• potrà presentare un reclamo alla pertinente autorità di vigilanza del mercato riguardo alla non conformità con il regolamento sull’IA;
• potrà attendersi che tale reclamo sia trattato in linea con le procedure specifiche di tale autorità.

La centralità della supervisione umana nei sistemi di IA ad alto rischio

Concludiamo queste note introduttive sul concetto, davvero centrale di supervisione umana come questa è inquadrata nell’attuale normativa Europea, facendo notare come l’AI Act di recentissima approvazione sottolinei con forza l’importanza di tali concetti per il corretto utilizzo dei sistemi di intelligenza artificiale ad alto rischio, e così facendo pone le basi per raggiungere e mantenere un opportuno equilibrio tra la lecita spinta all’innovazione tecnologica e l’altrettanto legittima volontà di proteggere i diritti fondamentali degli individui. Attraverso un approccio olistico che combina obblighi specifici per i fornitori e meccanismi di supervisione adeguatamente calibrati, il regolamento mira a garantire che l’IA sia sviluppata e utilizzata in maniera responsabile, sicura,  etica e legale. Tale quadro normativo non solo enfatizza la necessità di un controllo umano efficace per prevenire o mitigare i rischi associati all’uso dell’IA, ma stabilisce anche un modello di responsabilità che spinge verso una maggiore trasparenza e responsabilità (accountability) degli sviluppatori e degli utilizzatori di queste tecnologie.

Conclusioni

Questo orientamento legislativo rappresenta quindi per chi scrive un passo avanti significativo verso la creazione di un ecosistema di intelligenza artificiale che sia non solo avanzato dal punto di vista tecnologico, ma anche etico, sicuro e rispettoso dei valori umani fondamentali.

Note

[1] Kieseberg, P., Weippl, E., Tjoa, A. M., Cabitza, F., Campagner, A., & Holzinger, A. (2023, August). Controllable AI-An Alternative to Trustworthiness in Complex AI Systems?. In International Cross-Domain Conference for Machine Learning and Knowledge Extraction (pp. 1-12). Cham: Springer Nature Switzerland.

[2] Cabitza, F., & Zeitoun, J. D. (2019). The proof of the pudding: in praise of a culture of real-world validation for medical artificial intelligence. Annals of translational medicine, 7(8).

[3] Cabitza, F., Campagner, A., Ronzio, L., Cameli, M., Mandoli, G. E., Pastore, M. C., … & Gamboa, H. (2023). Rams, hounds and white boxes: Investigating human–AI collaboration protocols in medical diagnosis. Artificial Intelligence in Medicine, 138, 102506.

[4] Parasuraman, R., Sheridan, T. B., & Wickens, C. D. (2000). A model for types and levels of human interaction with automation. IEEE Transactions on systems, man, and cybernetics-Part A: Systems and Humans, 30(3), 286-297.