Quando un software sanitario dichiara di utilizzare sistemi di intelligenza artificiale, l’audit non può fermarsi alla nomina del fornitore quale Responsabile del trattamento. Il quadro delineato dal Regolamento generale sulla protezione dei dati richiede qualcosa di più: il titolare deve essere in grado di dimostrare che anche la componente algoritmica del trattamento rispetta i principi di liceità, correttezza e responsabilizzazione.
Questo comporta un passaggio ulteriore. Non basta verificare le clausole contrattuali o le certificazioni esibite. Occorre analizzare la struttura decisionale del sistema, comprendere come opera e quali effetti può produrre sui dati sanitari trattati.
Indice degli argomenti
Audit AI sanitaria GDPR: spiegabilità e responsabilità decisionale
In ambito clinico, un risultato algoritmico non può essere accettato come dato neutro. Se incide su una priorità, su un alert o su una valutazione prognostica, deve essere ricostruibile nei suoi presupposti.
Il principio di trasparenza, letto insieme all’accountability, impone che il titolare sia in grado di comprendere e documentare, in misura proporzionata al rischio, logica generale, variabili rilevanti, limiti e impatti del sistema. Per questo è rilevante verificare se il sistema integri strumenti di spiegazione delle decisioni, quali LIME, SHAP o soluzioni equivalenti, ove adeguati al tipo di modello e al contesto clinico.
Non è una questione puramente tecnica. Se non è possibile individuare le variabili determinanti e il loro peso relativo, il controllo umano diventa solo apparente. E in sanità un controllo solo formale non è sufficiente.
Dati di addestramento e rischio di bias
Ogni modello riflette i dati su cui è stato addestrato. Se tali dati non rappresentano in modo adeguato la popolazione di riferimento, il sistema può produrre errori sistematici.
L’analisi deve quindi estendersi alla tracciabilità dei dati: provenienza dei dati, criteri di selezione, esclusioni, aggiornamenti, modalità di anonimizzazione o pseudonimizzazione. È necessario verificare se la composizione del dataset tenga conto di variabili rilevanti e se siano state effettuate verifiche sulla presenza di squilibri significativi.
Qui il rischio non è soltanto prestazionale. In presenza di dati appartenenti alle categorie particolari di cui all’art. 9 GDPR, eventuali effetti discriminatori assumono rilievo diretto sotto il profilo della legittimità del trattamento.
Rischio di re-identificazione nei sistemi di AI sanitaria
Un aspetto meno visibile riguarda la possibilità che il modello conservi tracce riconducibili ai dati utilizzati per l’addestramento. Attraverso tecniche di inferenza, potrebbe essere possibile stimare se determinate informazioni cliniche siano state incluse nei dati di addestramento.
È opportuno verificare se siano stati effettuati test di robustezza rispetto a tali scenari e se siano state adottate misure di mitigazione, anche mediante tecniche di protezione statistica dei dati.
La sola cifratura dei database non esaurisce il problema.
Si tratta di un profilo che non emerge dall’interfaccia del software, ma che può incidere in modo concreto sulla tutela dell’anonimato.
Model drift e monitoraggio nel tempo
Un sistema di AI non resta immutato. Le condizioni cliniche cambiano, i dati evolvono, le popolazioni si trasformano. Le performance possono ridursi progressivamente senza che ciò sia immediatamente evidente.
Per questo l’attenzione non deve limitarsi alla fase di acquisizione del software. Occorre verificare l’esistenza di procedure di monitoraggio continuo, indicatori di performance definiti e meccanismi di intervento in caso di scostamenti significativi. Va inoltre accertata la presenza di un controllo umano effettivo, con tracciabilità dei casi in cui il professionista sanitario non confermi l’indicazione algoritmica.
La conformità non è un evento iniziale, ma una condizione da mantenere nel tempo.
Controllo umano e decisioni automatizzate
Un ulteriore aspetto riguarda il rapporto tra l’impiego di sistemi di intelligenza artificiale e il divieto di decisioni basate unicamente su trattamenti automatizzati. In ambito sanitario, anche quando il sistema non assume una decisione finale, ma si limita a supportare il professionista attraverso segnalazioni o priorità, è necessario verificare quanto tale supporto incida in concreto sul processo decisionale.
Se l’indicazione algoritmica orienta in modo significativo la scelta clinica, il controllo umano non può ridursi a una validazione formale, ma deve tradursi nella possibilità effettiva di comprendere, valutare e, se necessario, discostarsi dal risultato proposto dal sistema. Questo implica non solo trasparenza sulle logiche di funzionamento, ma anche adeguata consapevolezza da parte degli utilizzatori e tracciabilità delle decisioni assunte nel tempo.
La verifica di questi elementi costituisce un passaggio rilevante nella valutazione del rischio e contribuisce a fondare la DPIA su basi tecniche e organizzative effettive.
L’audit di seconda parte
Per un DPO che valuta un fornitore di AI in ambito ospedaliero, la richiesta non può limitarsi alle certificazioni o alla documentazione commerciale. È necessario acquisire la documentazione tecnica pertinente del sistema, la descrizione delle variabili rilevanti e dei criteri di ponderazione, i report di robustezza rispetto ad attacchi e le evidenze sul monitoraggio nel tempo.
Questi elementi devono essere analizzati nella loro coerenza tecnica e giuridica, con particolare attenzione al trattamento di dati appartenenti alle categorie particolari di cui all’art. 9 del Regolamento generale sulla protezione dei dati.
E, infine, passaggio cruciale, va effettuata la DPIA, sulla base dei rischi effettivamente emersi dall’analisi tecnica del sistema.
