Il digitale sta rivoluzionando il modo di lavorare del patologo. I vetrini istologici digitalizzati possono essere condivisi a distanza con altri esperti, archiviati e gestiti in maniera più semplice e veloce, utilizzati per lo sviluppo di metodi basati sull’intelligenza artificiale e in grado di supportare il medico durante le fasi di diagnosi, prognosi e trattamento terapeutico del paziente.
L’IA come supporto alla diagnosi: la medicina intelligente e il nodo dell’interpretazione
L’Anatomia patologica e la patologia digitale
L’anatomia patologica è lo studio della patologia attraverso l’analisi al microscopio del tessuto biologico prelevato mediante biopsia. Quello a cui si sta assistendo negli ultimi anni è la transizione dalla tradizionale pratica patologica verso un flusso di lavoro digitale, con la conseguente analisi del vetrino istologico non più al microscopio, ma mediante l’utilizzo di un monitor e di un calcolatore. L’analisi al computer prevede come primo passo la digitalizzazione del vetrino mediante l’utilizzo di scanner di elevata qualità, in modo da permettere l’acquisizione anche del minimo dettaglio. È frequente, infatti, il caso in cui una regione neoplastica occupi solo il 5% dell’intero vetrino e la perdita di dettagli potrebbe portare alla perdita di informazioni importanti per la diagnosi finale. Una volta acquisite, le immagini istologiche, dette Whole Slide Image (WSI), sono visualizzate ad alta risoluzione e possono essere esplorate e “navigate” con software ad hoc che consentono una efficiente e semplice visualizzazione dei dettagli a differenti risoluzioni, permettendo inoltre di effettuare misurazioni di zone di particolare interesse.
La Patologia Digitale non si limita solo alla digitalizzazione del vetrino e alla sua visualizzazione al computer. Vi sono infatti ulteriori vantaggi di vario tipo:
- facilità di organizzazione e archiviazione dei vetrini digitalizzati: i sistemi di gestione informatizzata di laboratorio (LIS) permettono di avere una tracciabilità immediata del vetrino in ogni sua fase, a partire dalla preparazione fino ad arrivare al recupero per confronto con casi “simili”;
- agevole condivisione, anche in tempo reale, delle immagini tra differenti laboratori o centri ospedalieri: i consulti condivisi, le “second opinion” hanno lo scopo di migliorare e velocizzare la fase di refertazione;
- formazione e training di giovani anatomopatologi: soprattutto in questi ultimi due anni di pandemia è subito apparso chiaro il vantaggio dell’utilizzo della didattica a distanza e il suo impatto nel formare e coinvolgere giovani aspiranti patologi;
- estrazione di dati complessi in modo altamente riproducibile tramite software specializzato: le immagini istologiche vengono analizzate ed elaborate mediante l’utilizzo di tecniche di Intelligenza Artificiale.
La Patologia Digitale e l’Intelligenza Artificiale
Le attuali tecniche di AI maggiormente utilizzate per l’analisi delle immagini istologiche sono per lo più basate sul DL. Due sono le principali sfide legate all’utilizzo di tali approcci per l’elaborazione delle immagini istologiche: la gestione della WSI da parte di un algoritmo di DL e la necessità di etichettamento delle immagini da parte dei patologi.
Data la complessità di calcolo delle tecniche di DL, le immagini di input degli attuali metodi hanno risoluzioni piuttosto limitate. Solitamente, l’approccio più comune è ridimensionare l’immagine in modo che possa essere elaborata da un algoritmo di DL. Nel caso delle WSI, come già detto precedentemente, è possibile che la neoplasia sia confinata in piccole zone dell’immagine e il ridimensionamento porterebbe alla perdita di molte informazioni importanti ai fini dell’analisi finale. Risulta quindi chiara la necessità di “semplificare” il problema. L’approccio base prevede l’etichettamento dell’intera WSI da parte del patologo, che associa all’immagine, ad esempio, la classe tumore benigno/maligno. In fase di addestramento, le WSI così annotate sono divise in porzioni (patch) di dimensioni elaborabili da un algoritmo di DL e ciascuna patch è passata all’algoritmo di classificazione. Successivamente, sono applicate regole di fusione delle informazioni associate a ciascuna patch per ottenere la classificazione dell’intera WSI. Quando l’algoritmo riceve una WSI mai vista prima, il processo è lo stesso: l’immagine viene divisa in patch, la rete addestrata associa una classe a ciascuna patch, successivamente è applicata la regola di fusione, ottenendo infine la classe predetta dall’algoritmo.
Chiaramente l’etichettamento dell’intera WSI ha il vantaggio che il lavoro del patologo è “limitato” ad associare un’etichetta all’intera immagine. D’altro canto, però, all’algoritmo di DL viene fornita una singola informazione relativa a tutta l’immagine e data la vastità e complessità delle informazioni presenti in una WSI, la singola etichetta limita considerevolmente le potenzialità di successo dell’algoritmo.
Per poter sfruttare al meglio le informazioni presenti nella WSI è necessaria un’ “annotazione” manuale dell’immagine: il patologo evidenzia, o per meglio dire, annota le zone di interesse della WSI e in particolare le zone contenenti la neoplasia, associando loro un’etichetta (e.g. benigno/maligno). Tali annotazioni da un lato richiedono molto più lavoro da parte dei patologi, ma dall’altro lato forniscono in fase di addestramento, un numero maggiore di informazioni, permettendo di ottenere classificazioni più accurate.
Il problema è naturalmente legato anche al numero di immagini che i patologi possono annotare: l’annotazione di una WSI è un processo tedioso e anche costoso in termini di tempo, che i patologi potrebbero dedicare ad attività più produttive. Considerando l’enorme mole di dati necessaria per addestrare le reti di DL, due sono le soluzioni che solitamente si adottano per limitare il lavoro di annotazione dei patologi.
È ormai nota l’esistenza di reti di DL per la classificazione che sono state addestrate su dataset contenenti milioni di immagini di vario tipo, ad esempio animali, oggetti, persone e permettono l’estrazione dalle immagini di caratteristiche piuttosto generiche. Tali reti sono dette “pre-addestrate” e possono essere ri-addestrate su immagini in ambiti più specifici, come ad esempio in campo medico. Il vantaggio di utilizzare le reti pre-addestrate è dovuto al fatto che esse necessitano di un numero di immagini molto più limitato per la fase di riaddestramento, dal momento che partono da caratteristiche generiche già estratte. Nel caso delle immagini istologiche il vantaggio è davvero notevole, considerando il lavoro che può essere risparmiato al patologo.
La seconda soluzione per limitare il numero di annotazioni manuali è l’utilizzo di dataset annotati e messi a disposizione della comunità scientifica.
Potenzialità e limiti
Uno degli obiettivi più ambiziosi della Patologia Digitale è l’utilizzo di strumenti di AI per velocizzare e rendere più accurati i processi di diagnosi, prognosi e risposta alla terapia dei pazienti, con particolare interesse all’ambito oncologico.
Le tecniche di AI sono utilizzate per l’analisi delle Whole Slide Image allo scopo di:
- classificare la neoplasia in benigna/maligna;
- localizzare e individuare il carcinoma;
- identificare i nuclei e valutare la loro morfologia, tessitura e densità;
- analizzare la struttura e l’organizzazione della parte epiteliale individuata;
- esaminare la regolarità delle parti tubolari;
- individuare linfociti e cellule mitotiche.
Ciascuna delle informazioni sopra elencate risultano particolarmente utili per supportare e velocizzare l’analisi del patologo nell’identificazione della tipologia del tumore che si sta analizzando e per la diagnosi finale. Basti pensare semplicemente ad un conteggio automatico dei linfociti o delle cellule mitotiche presenti in un’immagine istologica. Un conteggio manuale di tali cellule da parte del patologo richiederebbe un’analisi accurata dell’immagine anche a differenti zoom, portando via molto tempo che il patologo potrebbe invece impiegare per analisi di tipo differente e meno “meccaniche”.
Tuttavia, la patologia digitale deve ancora beneficiare appieno della grande quantità di informazioni che le WSI producono, poiché la gestione e la manipolazione di tali immagini risulta particolarmente impegnativa. Le classiche immagini mediche radiologiche, le Tomografie Computerizzate (CT), le Tomografie ad emissione di positroni (PET), le Risonanze Magnetiche (MRI) occupano pochi MB di memoria e hanno risoluzioni intorno ai 512×512 pixel. Le WSI occupano molto più spazio di memoria, dal momento che come detto in precedenza, vengono acquisiti anche i minimi dettagli del vetrino istologico. Ciascuna immagine memorizzata a risoluzione o magnification “40x” può occupare spazio fino a 15 GB, mentre immagini acquisite a “100x” possono arrivare ad occupare 375 GB di spazio di memoria. In termini di risoluzione si può arrivare anche a 100,000×100,000 pixel. Risulta chiaro quindi che tali immagini sono altamente sfidanti sia in termini di memorizzazione su disco che di gestione e analisi.
L’intelligenza artificiale
L’intelligenza artificiale è ormai parte delle nostre vite quotidiane: un esempio sono gli assistenti vocali, che ci consigliano che musica ascoltare, quali film vedere, cosa mangiare, luoghi da visitare, semplicemente basandosi su informazioni che, a volte anche inconsciamente, forniamo loro. Ma cos’è l’intelligenza artificiale (AI)? È difficile dare una definizione esatta di Intelligenza Artificiale. Uno dei principali motivi è perché non abbiamo ancora una definizione di insieme o un concetto solido per l’intelligenza in generale. Una possibile definizione è la seguente: « L’intelligenza artificiale è una disciplina appartenente all’informatica che studia i fondamenti teorici, le metodologie e le tecniche che consentono la progettazione di sistemi hardware/software capaci di fornire prestazioni tipiche dell’intelligenza umana. »,
Un essere umano espleta le proprie capacità mediante l’interazione sociale, l’apprendimento e il ragionamento su ciò che lo circonda e più nel dettaglio, mediante la comprensione ed elaborazione del linguaggio naturale e delle immagini. Proprio nel campo dell’analisi delle immagini, l’AI ha fatto enormi passi avanti negli ultimi decenni. Basti pensare agli algoritmi di riconoscimento facciale, ormai sempre più accurati, anche nel riconoscimento di volti coperti da mascherine chirurgiche.
Nonostante il termine intelligenza artificiale sia stato coniato a metà anni ‘50 del secolo scorso, solo negli ultimi decenni si sta assistendo ad un veloce evolversi delle tecnologie di AI e questo è principalmente dovuto a due fattori: la disponibilità di un numero sempre maggiore di dati da elaborare (i cosiddetti big data) e il potenziamento delle capacità di calcolo dei computer.
Attualmente, le tecniche più diffuse per sviluppare applicazioni di intelligenza artificiale sono il Machine Learning (ML) e Deep Learning (DL).
Gli algoritmi di Machine Learning (apprendimento automatico) si riferiscono ad algoritmi che consentono ad un sistema informatico di simulare processi di apprendimento attraverso l’analisi dei dati forniti. Gli algoritmi in tale settore si differenziano in base alle modalità di apprendimento utilizzate: supervisionato (supervised), non supervisionato (unsupervised), per rinforzo (reinforcement learning).
L’apprendimento supervisionato consiste nel fornire al sistema dei dati di ingresso e i rispettivi valori di uscita desiderati allo scopo di generare una regola generale che associ l’input all’output corretto;
Nell’apprendimento non supervisionato, invece, non vengono forniti i valori di uscita desiderati e si richiede al sistema di trovare una struttura (pattern) che ne identifichi caratteristiche comuni.
Infine, nell’apprendimento per rinforzo, il sistema impara a svolgere un’attività tramite ripetute interazioni di tipo “trial-and-error” (eseguite per tentativi ed errori) con un ambiente dinamico allo scopo di raggiungere un obiettivo ben definitivo.
A titolo di esempio, se pensiamo ad algoritmi di ML di tipo supervisionato applicati alle immagini, essi si basano sull’estrazione di caratteristiche peculiari dall’immagine che debbano essere tali da discriminare ad esempio un gatto da una tigre. Sono quindi estratte informazioni quali colore, tessitura, direzione dei contorni degli oggetti e così via. Tali informazioni vengono poi utilizzate per addestrare un algoritmo allo scopo di ottenere i seguenti output:
- classificazione: identificare la classe di appartenenza dell’oggetto presente nell’immagine, e.g. classificare l’immagine come raffigurante un gatto;
- segmentazione: partizionamento dell’immagine in regioni omogenee, e.g. segmentare il gatto e gli oggetti di sfondo;
- identificazione: individuazione delle regioni di interesse dell’immagine, e.g. individuare il gatto, ma non segmentarlo definendo i contorni;
- riconoscimento: riconoscere l’oggetto segmentato/identificato nell’immagine, e.g. riconoscere la presenza di un gatto e di una tigre sullo sfondo.
Facendo riferimento, ad esempio, alla sola attività classificazione è ovvio immaginare che quante più immagini saranno utilizzate per l’addestramento dell’algoritmo (molte immagini di gatti e tigri), maggiore sarà accurata la classificazione (distinzione tra gatto e tigre). Inoltre, le immagini vanno “etichettate”, cioè è necessario indicare all’algoritmo, in fase di apprendimento, se si sta processando l’immagine di un gatto o di un cane. Quando poi sarà fornita, in fase di validazione, un’immagine mai vista in precedenza, l’algoritmo dovrà essere in grado di distinguere se si tratta di un gatto o di una tigre.
Il deep learning
Per ciò che concerne il Deep Learning (apprendimento profondo), questa è ormai diventata la tecnica di AI maggiormente utilizzata nel campo dell’analisi delle immagini. A differenza degli altri algoritmi di ML, il DP non richiede all’utente la individuazione “a priori” delle caratteristiche discriminanti per l’elaborazione degli input ma è l’algoritmo stesso che fornirà gli output sulla base di caratteristiche da esso stesso individuate (e molte volte non note all’utente finale).
Il DL è basato sull’utilizzo di reti neurali artificiali che tentano di replicare il meccanismo di funzionamento della corteccia cerebrale, dove la rete è un modello composto da “neuroni” artificiali, e da connessioni tra i neuroni, un pò come avviene nelle sinapsi cerebrali. Le reti neurali sono composte da vari strati di neuroni: più strati ci sono, più esse si definiscono profonde. Le caratteristiche che vengono estratte dagli algoritmi di DL ai fini di classificazione, segmentazione, e così via, risultano completamente “slegate” dalla percezione umana e probabilmente è proprio dovuto a questo il gran successo di tali reti, che permettono di raggiungere accuratezze senza paragoni in molti ambiti, tra cui quello medico. Vi è però un rovescio della medaglia: la grande quantità di dati necessaria per l’addestramento di tali reti. Per fare un esempio, ai fini della classificazione delle immagini sono necessarie circa un migliaio di immagini per ottenere risultati soddisfacenti. Considerando che ciascuna di queste immagini deve essere etichettata come appartenente ad una data categoria, risulta chiaro il costo “umano” che c’è a valle di un addestramento di un algoritmo di DL.
Il problema dei Dataset
La Patologia Digitale è una disciplina relativamente giovane, quindi il numero di dataset pubblici di immagini istologiche è ancora piuttosto limitato. Un approccio che si sta diffondendo per rendere disponibili alla comunità scientifica sempre maggiori quantità di dati è quello delle “competition”, dove varie istituzioni (sia pubbliche che private) sono stimolate e rendere disponibili i propri dataset affichè vari “competitor” spossano testare in maniera competitiva l’efficacia dei propri algoritmi.
Sono state inoltre proposte svariate competizioni per l’analisi delle immagini istologiche. Tali competizioni hanno consentito la messa a disposizione della comunità scientifica di una serie di dataset utili per l’addestramento delle reti di DL. Alcuni di questi contiene le sole regioni di interesse annotate dai patologi, altri le intere WSI.
Restano comunque, sempre aperte le due principali sfide legate all’analisi delle WSI: la difficoltà di gestione da parte di un algoritmo di DL e il numero limitato di annotazioni che si possono ottenere da parte di un esperto patologo.
Relativamente al primo punto, recentemente, alcuni approcci tentano di elaborare l’intera WSI, trasformandola, mediante estrazione di caratteristiche, in una versione più compatta da fornire in input ad un algoritmo di DL [9-11]. In alcuni di questi approcci si tenta anche di supportare il patologo nella successiva fase di analisi del risultato del metodo proposto, mostrandogli le regioni dell’immagine che hanno portato l’algoritmo a prendere quella determinata decisione.
Per quanto riguarda la numerosità delle immagini annotate da fornire ad un algoritmo di DL, recentemente sono stati fatti una serie di tentativi per produrre immagini istologiche “sintetiche” [12-14]. Ancora una volta è il DL a tentare di trovare una soluzione e in particolare le Generative Adversarial Network (GAN). Si tratta di metodi che prevedono l’utilizzo di due reti che vengono addestrate in maniera “competitiva”.
Una rete viene addestrata per la classificazione, l’altra in parallelo apprende come generare nuovi dati che però hanno una distribuzione molto simile ai dati della rete che si utilizza per l’addestramento. Quindi, a partire da immagini istologiche annotate dai patologi, l’idea è quella di generare nuove immagini sintetiche che siano molto simili a quelle di partenza, ma che permettano di aumentare in modo significativo i dataset per l’addestramento di metodi di DL.
Conclusioni
L’analisi digitale delle immagini istologiche è ormai entrata a far parte della vita quotidiana dell’anatomopatologo. Ciò è dovuto essenzialmente ad alcuni indubbi vantaggi quali la diminuzione dei tempi di refertazione, la facilità di recupero di casi archiviati per una loro eventuale rivalutazione o per confronto con casi in esame, ed infine l’ottimizzazione dei tempi di analisi e supporto alla diagnosi grazie all’utilizzo di strumentazione software validata e specializzata.
Chiaramente, nonostante l’utilizzo sempre più diffuso e pervasivo delle tecnologie digitali e dell’intelligenza artificiale, al centro di ogni processo decisionale sanitario rimane sempre il medico e quindi, nel caso dell’anatomia patologica, il patologo che, nostro avviso, non potrà mai essere sostituito da un sistema di AI (almeno non in un futuro prossimo). È invece fondamentale che le nuove tecnologie di AI, opportunamente validate, possano essere utilizzate stabilmente come strumento di supporto ed aiuto ai clinici nelle loro attività di diagnosi, prognosi, prevenzione e cura.
Note e bibliografia
[1] http://www.andrewjanowczyk.com/use-case-6-invasive-ductal-carcinoma-idc-segmentation
[2] https://web.inf.ufpr.br/vri/databases/breast-cancer-histopathological-database-breakhis/
[3] https://iciar2018-challenge.grand-challenge.org/Dataset/
[4] https://camelyon16.grand-challenge.org/Data/
[5] https://camelyon17.grand-challenge.org/
[6] https://tupac.grand-challenge.org/
[7] https://research.ibm.com/haifa/Workshops/BRIGHT/
[8] https://www.bracs.icar.cnr.it/
[9] Brancati, N., De Pietro, G., Riccio, D., & Frucci, M. (2021). Gigapixel histopathological image analysis using attention-based neural networks. IEEE Access, 9, 87552-87562.
[10] Tomita, N., Abdollahi, B., Wei, J., Ren, B., Suriawinata, A., & Hassanpour, S. (2019). Attention-based deep neural networks for detection of cancerous and precancerous esophagus tissue on histopathological slides. JAMA network open, 2(11), e1914645-e1914645.
[11] Tellez, D., Litjens, G., van der Laak, J., & Ciompi, F. (2019). Neural image compression for gigapixel histopathology image analysis. IEEE transactions on pattern analysis and machine intelligence, 43(2), 567-578.
[12] Deshpande, S., Minhas, F., Graham, S., & Rajpoot, N. (2022). SAFRON: Stitching Across the Frontier Network for Generating Colorectal Cancer Histology Images. Medical image analysis, 77, 102337.
[13] Deshpande, S., Minhas, F., & Rajpoot, N. (2020, October). Train small, generate big: Synthesis of colorectal cancer histology images. In International Workshop on Simulation and Synthesis in Medical Imaging (pp. 164-173). Springer, Cham.
[14] Wei, J., Suriawinata, A., Vaickus, L., Ren, B., Liu, X., Wei, J., & Hassanpour, S. (2019). Generative image translation for data augmentation in colorectal histopathology images. Proceedings of machine learning research, 116, 10.
