Sanità digitale

GAN e diagnostica per immagini: applicazioni, limiti, nuove frontiere

Le GAN, reti generative avversarie, hanno grandi potenzialità di utilizzo nella diagnostica per immagini: come sono nate, come funzionano, tutte le possibili applicazioni, i problemi che impediscono l’ingresso nella pratica clinica

03 Feb 2022
Maria Elena Laino

Scientific Manager AI center, Humanitas Research Hospital

Le GAN, Generative Adversarial Networks o reti generative avversarie, rappresentano una delle idee più innovative proposte nell’ultimo decennio: vengono comunemente utilizzate per generare foto/video o file audio da file simili pre-esistenti ma potrebbero essere utilizzate anche in medicina, nella diagnostica per immagini. Un campo di ricerca che in futuro potrebbe rivoluzionare alcuni aspetti della pratica clinica: vediamo come.

L’Intelligenza Artificiale migliora la diagnostica per immagini: l’esperienza dell’Humanitas

Le applicazioni delle GAN nella diagnostica per immagini

Le GAN sono oggetto di studio per l’utilizzo nella diagnostica per immagini. Tra le applicazioni possibili: trasformare un’immagine radiologica in un’altra immagine appartenente alla stessa metodica o ad una metodica diversa; creare immagini radiologiche verosimili; migliorare la qualità delle immagini acquisite; segmentare le immagini radiologiche o sintetizzarle fino a prevedere l’andamento della malattia.

WHITEPAPER
Cosa serve per risparmiare davvero sull’energia? L’IoT da solo non basta!

Image to image traslation e cross-modality synthesis

Si tratta di un’applicazione per la quale un’immagine radiologica può essere trasformata in un’immagine diversa ma appartenente alla stessa metodica (image to image translation) oppure ad una metodica diversa (cross-modality synthesis).

Alla prima categoria appartengono quei casi in cui, data una certa immagine di risonanza magnetica, si genera una nuova immagine di una diversa sequenza (ad esempio, da una immagine T1w si ottiene una T2w/DWI). Nella seconda categoria rientrano quei casi in cui, partendo da un’immagine di una determinata modalità (ad esempio una TC), si ottiene una immagine appartenente ad un’altra modalità (ad esempio RM oppure PET).

I vantaggi di questo tipo di applicazione sono molteplici: ridurre i tempi di tempi di acquisizione degli esami radiologici o della dose di radiazioni somministrate ai pazienti, evitare ai pazienti di sottoporsi a esami aggiuntivi.

Image synthesis e data augmentation

In questo caso, le GAN vengono utilizzate per creare nuove immagini radiologiche, non vere ma molto verosimili e praticamente quasi indistinguibili da quelle reali.

Tra i vantaggi: la risoluzione di molti problemi di privacy, di anonimizzazione e di scarsità di dati recuperabili (come, ad esempio, nel caso di malattie rare). Tuttavia, per allenare una GAN a questo risultato è necessaria una enorme quantità di immagini.

GAN nel post-processing

Le GAN sono molto utili anche per migliorare la qualità delle immagini acquisite, quindi nel post-processing. Infatti, possono essere applicate per rimuovere gli artefatti di vario genere (da movimento, da protesi metalliche) oppure per aumentare la risoluzione delle immagini. Un esempio? Per migliorare la risoluzione di immagini acquisite a bassa dose di radiazione e renderle come se fossero state acquisite ad alta dose.

Anche in questo caso, i vantaggi sono notevoli ed includono la possibilità di migliorare la qualità delle immagini riducendo la dose di radiazioni somministrate oppure evitare che il paziente si sottoponga ad esami aggiuntivi.

Image segmentation

Soprattutto quando associate ad altre reti neurali, le GAN possono aiutare in un task molto utile per il training di algoritmi di intelligenza artificiale: la segmentazione delle immagini radiologiche. Ovvero, la contornazione su varie immagini dei reperti che l’algoritmo viene allenato a riconoscere.

Un task che di solito viene effettuato da professionisti (radiologi) manualmente: è facilmente intuibile il risparmio di tempo e risorse.

Brain decoding

Alcuni scienziati hanno pubblicato degli studi in cui, a partire dai segnali di risonanza magnetica funzionale (fMRI) del cervello, le GAN riuscivano a sintetizzare delle immagini.

Nello specifico, nei loro esperimenti, ai pazienti veniva chiesto di guardare un oggetto. Una volta sottoposti alla fMRI, veniva loro chiesto di ricordare l’oggetto visto in precedenza, così da attivare la corteccia visiva. I segnali fMRI ricavati da questo processo, venivano introdotti in una GAN per sintetizzare l’oggetto visto dal Paziente. Quasi fantascienza!

Disease progression modelling

Un’ultima applicazione delle GAN è quella di generare immagini che possano prevedere l’andamento della malattia. Ad esempio, dato un esame radiologico a tempo 0, le GAN possono essere addestrate per prevedere l’aspetto della malattia al tempo 1. Questo permetterebbe un approccio terapeutico molto più “personalizzato”, in un’ottica di medicina di precisione.

Perché le GAN non sono ancora entrate nella pratica clinica

Nonostante le applicazioni siano molto entusiasmanti, le GAN sono ancora oggetto di ricerca e non sono ancora entrate nella pratica clinica. Infatti, purtroppo risentono di alcune limitazioni che ne impediscono il loro utilizzo quotidiano.

Tra le principali limitazioni ci sono: l’enorme quantità di dati necessaria per l’addestramento a risultati affidabili; la dipendenza ai dataset di partenza (se addestrate su immagini di esami di adulti, non generano immagini di esami di bambini); il problema dell’hallucination. Infatti, le GAN possono rimuovere o aggiungere reperti medici (noduli, devices, malattie) in maniera imprevedibile sulla base di come sono state trainate e del dataset di partenza.

Conclusioni

Le GANs sono attualmente oggetto di studio attivo e dinamico nel settore dell’intelligenza artificiale e rappresentano degli strumenti molto innovativi che potrebbero apportare notevoli benefici in diagnostica per immagini. Tuttavia, per la loro validazione in campo clinico sono necessari ulteriori studi.

____________________________________________________________________

Bibliografia

Goodfellow, Ian, et al. “Generative adversarial nets.” Advances in neural information processing systems 27 (2014)

Wolterink, Jelmer M., et al. “Generative Adversarial Networks: A Primer for Radiologists.” RadioGraphics 41.3 (2021): 840-857

Sorin, Vera, et al. “Creating artificial images for radiology applications using generative adversarial networks (GANs)–a systematic review.” Academic radiology 27.8 (2020): 1175-1185

Osuala, Richard, et al. “A Review of Generative Adversarial Networks in Cancer Imaging: New Applications, New Solutions.” arXiv preprint arXiv:2107.09543 (2021)

Huang, Wei, et al. “Deep Natural Image Reconstruction from Human Brain Activity Based on Conditional Progressively Growing Generative Adversarial Networks.” Neuroscience Bulletin 37.3 (2021): 369-379

Ren, Ziqi, et al. “Reconstructing seen image from brain activity by visually-guided cognitive representation and adversarial learning.” NeuroImage 228 (2021): 117602

WEBINAR
23 Maggio 2022 -
Finance e cyber minacce: come proteggersi davvero e affrontare gli scenari di crisi
@RIPRODUZIONE RISERVATA

Articolo 1 di 3