L’intelligenza artificiale ha il potenziale di rendere l’assistenza sanitaria più accessibile a tutti nonché più efficiente nei diversi campi applicativi. Tuttavia, tale tecnologia è anche vulnerabile a pregiudizi (bias) sociali, economici e sistemici che sono radicati nella società e nelle relazioni umane da generazioni. Il primo passo per evitare che l’intelligenza artificiale amplifichi le disuguaglianze esistenti in maniera insostenibile è comprendere come i pregiudizi possano insinuarsi negli algoritmi nonché come prevenirli attraverso un’attenta progettazione e implementazione dei sistemi.
Sanità digitale nel post-covid: nuovi strumenti per vincere vecchie sfide
La fonte più comune delle distorsioni dell’intelligenza artificiale
L’intelligenza artificiale può concretamente migliorare la salute e il benessere delle persone. Ragion per cui, la cosa meno tollerabile sarebbe un’intelligenza artificiale che perpetui o addirittura aggravi alcune delle disparità che esistono oggi in campo sanitario (es. differenze di reddito in alcuni paesi). Ciò che è necessario tenere in mente è che l’intelligenza artificiale è “plasmata” dai dati che gli vengono forniti: dati “cattivi” produrranno bias, dati “buoni” li eviteranno. È un cliché il prendere per “buono, oggettivo e imparziale” qualsiasi risultato prodotto da un algoritmo di intelligenza artificiale. Tuttavia, sono gli esseri umani che scelgono i dati che vanno in un algoritmo, il che significa che queste scelte sono ancora soggette a pregiudizi involontari che possono avere un impatto negativo su determinati gruppi (es. di genere o etnici) Questi pregiudizi possono verificarsi in qualsiasi fase dello sviluppo e dell’implementazione dell’intelligenza artificiale, sia che si tratti di utilizzare dataset per costruire un algoritmo, o di applicare un algoritmo in un contesto diverso da quello per cui era originariamente previsto.
Impatto in Sanità
La fonte più comune di distorsioni sono i dati che non rappresentano sufficientemente la popolazione “di destinazione”. Questo può avere implicazioni negative per alcuni gruppi sociali, come ad esempio le donne e le persone di colore, tipicamente sottorappresentati negli studi clinici. Come è stato sufficientemente appurato, se – ad esempio – in un contesto dermatologico gli algoritmi che analizzano i melanomi sono stati addestrati su pazienti caucasici, tali algoritmi potrebbero potenzialmente non riconoscere melanomi in pazienti di colore o di etnia asiatica. Prendiamo come altro esempio il Covid-19.
Ipotizziamo di avere un algoritmo progettato per dare priorità alle cure per i pazienti Covid-19; tale algoritmo potrebbe mettere in una posizione di svantaggio tutte quelle persone che non hanno accesso ai test Covid-19, perché se queste persone sono sottorappresentate nei training data – e, quindi, al momento dell’addestramento dell’algoritmo –, il medesimo algoritmo potrebbe non tenere conto di tutta quella fascia di popolazione sulla quale “non si è addestrato”. Anche se gli stessi dati sono privi di distorsioni, le scelte fatte durante l’elaborazione dei dati e lo sviluppo dell’algoritmo possono contribuire a diversi pregiudizi. Ma le differenze tra le varie etnie possono essere “trascurate” se il focus è il genere: molte malattie, infatti, si presentano in modo diverso nelle donne e negli uomini, che si tratti di patologie cardiovascolari, diabete o disturbi della salute mentale come la depressione e l’autismo. Ove gli algoritmi non tenessero conto di queste differenze, l’impatto sulle disuguaglianze di genere sarebbe enorme.
Intelligenza artificiale: opportunità del mercato e sfide etiche per un utilizzo consapevole
Soluzioni nella data science
Fortunatamente gli “attori” del settore stanno comprendendo la necessità di affrontare questi problemi. Negli Stati Uniti, con l’Algorithmic Accountability Act (bloccato al Congresso USA dal 2019[1]) si potrà richiedere alle aziende di valutare i loro sistemi di intelligenza artificiale al fine di eliminare potenziali rischi di risultati “ingiusti, distorti o discriminatori”. Una regolamentazione simile è in fase di sviluppo in Europa e in Cina, con linee guida che puntano a garantire che l’intelligenza artificiale sia affidabile e al coperto da rischi di pregiudizi.
Le aziende devono lavorare per incorporare ulteriormente questi ideali e principi guida nella loro forza lavoro: questo sarebbe il primo passo per “abbracciare” la consapevolezza circa i pro e i contro della tecnologia in esame. Quando si tratta di Data Science c’è bisogno di più educazione e formazione, comprendendo appieno come i pregiudizi possano sorgere nelle varie fasi di sviluppo degli algoritmi, nonché come gli stessi pregiudizi possano essere prevenuti o mitigati in corso d’opera. Spetta al settore IT del comparto sanitario dare la giusta priorità favorendo la formazione del personale aziendale, nonché assicurandosi che la diversità sia integrata in ogni aspetto dello sviluppo dell’intelligenza artificiale e mettendo in atto processi sufficienti per monitorare lo scopo e le prestazioni degli algoritmi, nonché la qualità dei dati.
Promuovere la cultura dell’inclusività
È necessario assicurarsi che le persone che lavorano sugli algoritmi di intelligenza artificiale riflettano la diversità del mondo “che li circonda”. In un campo che è stato storicamente guidato da sviluppatori di sesso maschile e di etnia caucasica, è necessario fare ogni sforzo per incoraggiare una cultura che sia la più inclusiva possibile.
È altrettanto importante puntare verso una vera cooperazione multidisciplinare per sfruttare tutti i punti di forza dell’intelligenza artificiale. Ciò significa promuovere un’intensa collaborazione tra gli sviluppatori di intelligenza artificiale e gli esperti clinici, combinando le capacità dell’intelligenza artificiale con una profonda comprensione contestuale della cura del paziente. Per esempio, quando ci sono variazioni note nella manifestazione di una malattia tra diversi generi o tra diverse etnie, i medici possono aiutare a convalidare se le raccomandazioni algoritmiche non stiano inavvertitamente danneggiando gruppi specifici. Per completare questa competenza, gli statistici e i metodologi, che hanno una profonda comprensione dei bias e delle strategie di mitigazione, sono preziosi per i team di sviluppo dell’intelligenza artificiale.
L’importanza di dati di qualità, diversi e rappresentativi
Per quanto attiene la “diversità dei dati”, la disponibilità limitata di dati di alta qualità può essere uno dei maggiori ostacoli nello sviluppo di una intelligenza artificiale che rappresenti accuratamente una determinata popolazione. Per promuovere lo sviluppo di un’intelligenza artificiale equa dovrebbe essere necessario aggregare una serie di dati “robusti”, ben annotati e curati tra le istituzioni in modo da proteggere la privacy dei pazienti e catturare la diversità tra – e all’interno di – gruppi demografici. Per esempio, il “Philips eICU Research Institute”[2] opera come una piattaforma che combina tra loro dati de-identificati di più di quattrocento unità di terapia intensiva sparse per gli Stati Uniti; l’archivio di dati risultante è stato utilizzato per sviluppare strumenti di intelligenza artificiale di assistenza in area critica, compreso un algoritmo che aiuta a decidere se un paziente è pronto per essere dimesso dalla terapia intensiva o meno. Di fronte al Covid-19 i ricercatori hanno anche spinto per una più ampia condivisione dei dati dei pazienti tra le varie istituzioni e tra i vari paesi, al fine di garantire che gli algoritmi di supporto alle decisioni cliniche siano sviluppati da dati diversi e rappresentativi (“casi concreti”), piuttosto che da campioni “di laboratorio”.
Infine, gli algoritmi richiedono una convalida approfondita per garantire che funzionino come previsto sull’intera popolazione “target”. Questo significa che hanno bisogno di essere “riallenati” e ricalibrati quando vengono applicati a pazienti di diversi generi o etnie, ovvero quando vengono utilizzati in diversi ospedali (anche dello stesso paese). Per esempio, in un progetto USA si è notato che gli algoritmi derivati dai dati multi-ospedalieri hanno funzionato bene anche in ospedali statunitensi che all’inizio non facevano parte del progetto. Ma quando sono stati testati alcuni algoritmi di ricerca “eICU” sviluppati negli Stati Uniti in Cina e in India, si è scoperto che era necessaria una “riqualificazione locale”. In pratica, è sempre necessario un attento esame e monitoraggio sul caso concreto.
Conclusioni
Ma come possono gli esperti dell’IT in campo sanitario sviluppare solidi sistemi di gestione per monitorare e documentare lo scopo di un algoritmo, la qualità dei dati, il processo di sviluppo e le prestazioni del sistema? Un elemento fondamentale è quello di garantire che ogni dataset ed ogni algoritmo sia accompagnato da un’adeguata documentazione sulla sua provenienza, lo scopo, i limiti e i potenziali errori. Inoltre, è necessaria una maggiore “enfasi” sull’incorporazione di “metriche di equità” nello sviluppo dell’intelligenza artificiale.
Stimolare l’uso di strumenti statistici per l’analisi e la mitigazione dei bias può essere un altro modo per mettere in primo piano l’equità. Un’area che merita particolare attenzione è l’intelligenza artificiale “ad autoapprendimento”: un algoritmo potrebbe passare attraverso tutti i necessari controlli di convalida e correttezza prima della sua implementazione; ma man mano che impara dai nuovi dati negli ospedali in cui viene implementato, come ci si può assicurare che il bias non si insinui involontariamente (quasi come un Cavallo di Troia)?
In pratica è sempre necessario un monitoraggio continuo dopo l’introduzione sul mercato delle tecnologie di intelligenza artificiale, così da garantire prestazioni eque e senza distorsioni. Idealmente questo includerebbe la ricerca di un modo per convalidare la rappresentatività dei nuovi training data in un modo che rispetti i confini etici, legali e normativi sul trattamento dei dati personali. In definitiva, tutto ciò si traduce nella creazione di una cultura aziendale forte e aperta, dove le persone si sentono a proprio agio a “sfidarsi a vicenda” su questioni di parzialità e correttezza. L’intelligenza artificiale ha il potenziale per rendere l’assistenza sanitaria più accessibile, conveniente ed efficace, e questo è qualcosa di cui essere entusiasti. Ma è necessario assicurarsi che ogni paziente possa beneficiarne in egual misura, indipendentemente dal sesso, dall’etnia o dall’origine.[3]
- All Information (Except Text) for H.R.2231 – Algorithmic Accountability Act of 2019. U.S. Congress. https://www.congress.gov/bill/116th-congress/house-bill/2231/all-info ↑
- eICU Collaborative Research Database. https://eicu-crd.mit.edu/about/eicu/ ↑
- How does bias affect healthcare AI, and what can be done about it? Healthcare IT News. https://www.healthcareitnews.com/news/how-does-bias-affect-healthcare-ai-and-what-can-be-done-about-it ↑
