disinformazione

Deepfake, come affrontare attacchi sempre nuovi: evoluzioni e sfide future

La tecnica del deepfake è in continua evoluzione ed è molto difficile sviluppare algoritmi in grado di stare al passo con attacchi e tecniche di manipolazione sempre più sofisticati. Un nuovo approccio per la rivelazione dei deepfake assicura però un’elevata capacità di generalizzazione e sembra molto promettente

13 Ago 2021
Luisa Verdoliva

Professore Associato presso Università degli Studi di Napoli Federico II

deep fake_ intelligenza artificiale_7

Grazie ai recenti progressi nella generazione di dati sintetici, è ormai possibile manipolare automaticamente immagini e video con un elevato livello di realismo, soprattutto se si tratta di volti. I video così manipolati, noti anche come “deepfake”, possono essere usati per confezionare fake news particolarmente credibili, e rappresentano quindi una seria minaccia.

Per contrastare l’uso improprio di questi contenuti multimediali sono stati sviluppati diversi algoritmi. I più moderni ed efficaci si basano sul deep learning, in particolare sulle reti neurali convoluzionali, proprio come le tecniche per la generazione dei deepfake. Grazie alla disponibilità di grandi dataset di video con volti manipolati, questi detector imparano a riconoscere nuove immagini contraffatte. Tuttavia, riescono a riconoscere solo i tipi di manipolazione che hanno già incontrato nel dataset di addestramento o “training set”, mentre risultano poco o per nulla efficaci nei confronti di nuovi attacchi.

Come ti scovo il deepfake: le contromisure, con l’analisi forense

Per esempio, un detector che è stato addestrato a rivelare manipolazioni in cui tutto il volto è stato sostituito con un altro (face swapping) avrà difficoltà a rivelare manipolazioni che modificano solo l’espressione del soggetto e ne preservano l’identità (facial reenactment). Questo problema assume sempre maggiore importanza, considerato che nuove tecniche di manipolazione vengono sviluppate di continuo.

Così, un deepfake pericoloso, realizzato con una tecnica nuova, potrebbe essere considerato autentico da tutti i detector esistenti, guadagnandosi anche una sorta di “bollino blu” che ne aumenta ulteriormente la credibilità. La principale sfida tecnologica attuale, quindi, non è tanto sviluppare detector più affidabili, ma detector efficaci anche nei confronti di attacchi nuovi.

Esaminiamo di seguito un nuovo promettente approccio per la rivelazione dei deepfake che assicura un’elevata capacità di generalizzazione. Anche questa tecnica si basa sul deep learning, ma viene addestrata esclusivamente su video reali (one-class scenario) e quindi non dipende dalla specifica tecnica di manipolazione adottata.

Deepfake: non solo face swapping

I deepfake più diffusi sono quelli in cui il volto di un soggetto è sostituito con quello di un altro. Di conseguenza, questi deepfake sono anche la maggioranza nei dataset attualmente disponibili per l’addestramento di nuovi detector [1]. Recentemente, però, si stanno diffondendo altri tipi di attacchi, in cui l’identità del soggetto non viene modificata, ma si cambia solo la sua espressione oppure il discorso che sta pronunciando, facendo attenzione a ritoccare coerentemente anche il movimento delle labbra (Fig. 1).

WHITEPAPER
Sai come implementare una rivoluzione dell’IT che parte dai processi più profondi?
Digital Transformation
Software

Figura 1. Da sinistra a destra: immagine sorgente, immagine target, immagine target in cui viene applicato il volto dell’immagine sorgente (face swapping) e immagine target in cui viene modificata l’espressione (facial reenactment).

Per esempio, il MIT Center for Advanced Virtuality ha creato un deepfake in cui l’ex presidente Nixon tiene un discorso annunciando che gli astronauti dell’Apollo 11 non sarebbero mai più mai tornati dalla luna. I ricercatori del MIT hanno preso un attore per recitare il discorso e hanno riprodotto la voce di Nixon e i suoi movimenti con tecnologie di deep learning molto avanzate. Il progetto è stato pensato per educare l’opinione pubblica al fatto che i deepfake possono essere molto convincenti. Il risultato finale è impressionante e mostra l’importanza di sviluppare approcci di rilevamento della contraffazione che possano operare diversi tipi di manipolazioni facciali, anche mai incontrati finora.

Rivelazione dei deepfake mediante tracce basate sull’identità

Quando si realizza un deepfake di un volto si desidera che il video risultante sia attribuito chiaramente a un ben preciso soggetto. Ad esempio, se si altera una scena di Shining in modo che l’attore sembri Jim Carrey e non Jack Nicholson, è importante che il protagonista sia riconosciuto senza dubbio come Carrey. Analogamente, se si manipola un video di Nixon e se ne modifica il messaggio, l’identità di Nixon deve restare riconoscibile. Se invece i protagonisti del video risultano dubbi, cioè presentano chiare differenze da Jim Carrey o Richard Nixon, rispettivamente, il video diventa subito sospetto. L’idea base delle tecniche basate sull’identità è quella di verificare se i soggetti dei video sono proprio le persone che si pretende siano. Naturalmente, questa analisi non si ferma a somiglianze superficiali, ma guarda invece a caratteristiche biometriche dei soggetti, altamente specifici dell’individuo, ma difficilmente riproducibili da un generatore. Se il protagonista del video ha tratti somatici, oppure atteggiamenti o movimenti diversi da quelli tipici del preteso soggetto, si può sospettare che il video sia un deepfake. Ovviamente, in questa analisi è necessario avere a disposizione degli altri video reali del soggetto per poter misurare quanto il video risulti “distante” da quelli originali (Fig. 2). D’altra parte, si prescinde da qualsiasi video fake e non si è quindi legati ad alcuna particolare tecnica di manipolazione. Qualunque tecnica alteri i tratti biometrici del soggetto diventa rilevabile.

Figura 2. Tecnica basata sull’identità: il video sotto analisi viene elaborato per estrarre caratteristiche biometriche 3D del volto e analizzarle lungo la direzione temporale. Si valuta poi la distanza tra le caratteristiche estratte da tale video con quelle che provengono da alcuni video reali del soggetto coinvolto (https://arxiv.org/abs/2012.02512).

I primi lavori che si sono basati sulle caratteristiche biometriche si sono concentrati sui tratti distintivi del volto e dei movimenti della testa che sono difficili da imitare perfettamente [2]. È anche possibile focalizzarsi sulle inconsistenze tra i movimenti della bocca e il discorso che viene pronunciato, in particolare tener conto che se un deepfake non è realizzato perfettamente le labbra si muovono in maniera non sincrona con i fonemi emessi [3]. Queste inconsistenze riescono a rivelare anche manipolazioni che coinvolgono solo una parte del video e quindi possono essere estremamente utili, visto che basta cambiare anche solo una parte del discorso per cambiarne totalmente il senso. Lavori più recenti riescono a trarre vantaggio non solo dalle biometrie del viso, anche con modelli tridimensionali, ma anche dai movimenti che caratterizzano temporalmente uno specifico individuo e che sono legati a tutte le parti del volto [4].

La coerenza temporale delle biometrie facciali risulta essere estremamente discriminante e anche robusta a possibili elaborazioni del video, come la compressione e il ridimensionamento, che spesso vengono applicati automaticamente quando si carica un video su un social network. Particolarmente interessante è la possibilità di introdurre nell’approccio un gioco avversario mediante le GAN (Generative Adversarial Network): il rivelatore dell’identità di un soggetto viene messo alla prova da un generatore di volti falsi durante la fase di addestramento allo scopo di migliorare la capacità del discriminatore di riconoscere i tratti biometrici di una specifica identità. È importante sottolineare che l’adozione di una strategia GAN permette di identificare con una maggiore precisione anche modifiche della sola espressione del volto, come accade nel facial reenactment [4].

Attualmente si sta sperimentando l’uso di caratteristiche legate al modo in cui un soggetto esprime le proprie emozioni [5], che sembrano essere particolarmente adatte a distinguere un’identità vera da una falsa soprattutto se si affianca l’analisi facciale con quella dell’audio. Infatti, le emozioni espresse dalle varie parti del volto dovrebbero essere consistenti con quelle relative alla voce. Queste ricerche sono motivate da numerosi studi che hanno mostrato la capacità di sistemi di intelligenza artificiale a riconoscere le emozioni in un individuo soprattutto se si analizzano congiuntamente le caratteristiche percettive legate per esempio al movimento della bocca o degli occhi con il tono della voce. Visto che attualmente le tecniche per realizzare un deepfake non sono in grado di portare in conto queste specifiche correlazioni legate alle emozioni, questa direzione di ricerca sembra essere molto promettente.

Un altro aspetto interessante di questi approcci è la possibilità di interpretare i risultati, cosa molto difficile con la maggior parte delle tecniche di rivelazione pubblicate recentemente. Infatti, quando una rete neurale prende una decisione o fornisce un sintetico punteggio di verosimiglianza del video, questo non aiuta a capire come la rete abbia “ragionato”. La rete stessa è vista come una black-box, i cui meccanismi interni restano ignoti e impredicibili. I metodi basati sull’identità, invece, non basano la propria decisione su possibili imperfezioni nei video, ma rispondono ad una domanda chiara sull’identità della persona ritratta nel video. La manipolazione è rivelata se e solo se ci sono chiare distorsioni dei tratti biometrici caratteristici del soggetto.

Sfide future

Con il continuo miglioramento dei deepfake, è evidente che sarà sempre più importante considerare il contesto in cui il video appare e quindi analizzare non solo il video stesso, ma tutte le fonti multimediali ad esso collegate: testo, voce, immagini, informazioni accessibili in database. Una foto o un video utilizzato per diffondere una fake news non dovrebbe essere studiato in isolamento, ma insieme al testo che lo accompagna, l’audio e tutte le informazioni contestuali disponibili.

Di conseguenza, l’approccio può essere modificato in base alla disponibilità di ulteriori informazioni, ad esempio metadati o versioni quasi identiche del immagine/video sotto analisi. Le analisi dovrebbero sempre più concentrarsi su livelli semantici, piuttosto che sintattici, come previsto dalla recente iniziativa lanciata da DARPA sul progetto Semantic Forensics.

Bibliografia

[1] L. Verdoliva, “Media Forensics and Deepfakes: an overview” IEEE Journal of Selected Topics in Signal Processing, 2020.

[2] S. Agarwal and H. Farid, “Protecting World Leaders Against Deep Fakes”, IEEE CVPR Workshops 2019.
[3] S. Agarwal et al. “Detecting Deep-Fake Videos from Phoneme-Viseme Mismatches”, IEEE CVPR Workshops 2020.

[4] D. Cozzolino et al., “ID-Reveal: Identity-aware DeepFake Video Detection”, arXiv preprint arXiv:2012.02512, 2020.
[5] T. Mittal et al. “Emotions Don’t Lie: An Audio-Visual Deepfake Detection Method using Affective Cues”, ACM Multimedia 2020.

@RIPRODUZIONE RISERVATA

Speciale PNRR

Tutti
Incentivi
PA
Sostemibilità
Analisi
Formazione
Salute digitale
Sicurezza
Sostenibilità
Digital Economy
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr
Formazione
Trasferimento tecnologico, il Mise mette sul piatto 7,5 milioni
Strategie
PSN e Strategia Cloud Italia: a che punto siamo e come supportare la PA in questo percorso
Dispersione idrica
Siccità: AI e analisi dei dati possono ridurre gli sprechi d’acqua. Ecco gli interventi necessari
PNRR
Cloud, firmato il contratto per l’avvio di lavori del Polo strategico
Formazione
Competenze digitali, stanziati 48 milioni per gli Istituti tecnologici superiori
Iniziative
Digitalizzazione delle reti idriche: oltre 600 milioni per 21 progetti
Competenze e competitività
PNRR, così i fondi UE possono rilanciare la ricerca e l’Università
Finanziamenti
PNRR, si sbloccano i fondi per l’agrisolare
Sanità post-pandemica
PNRR, Missione Salute: a che punto siamo e cosa resta da fare
Strategie
Sovranità e autonomia tecnologica nazionale: come avviare un processo virtuoso e sostenibile
La relazione
Pnrr e PA digitale, l’alert della Corte dei conti su execution e capacità di spesa
L'editoriale
Elezioni 2022, la sfida digitale ai margini del dibattito politico
Strategie
Digitale, il monito di I-Com: “Senza riforme Pnrr inefficace”
Transizione digitale
Pnrr: arrivano 321 milioni per cloud dei Comuni, spazio e mobilità innovativa
L'analisi I-COM
Il PNRR alla prova delle elezioni: come usare bene le risorse e centrare gli obiettivi digitali
Cineca
Quantum computing, una svolta per la ricerca: lo scenario europeo e i progetti in corso
L'indice europeo
Desi, l’Italia scala due posizioni grazie a fibra e 5G. Ma è (ancora) allarme competenze
L'approfondimento
PNRR 2, ecco tutte le misure per cittadini e imprese: portale sommerso, codice crisi d’impresa e sismabonus, cosa cambia
Servizi digitali
PNRR e trasformazione digitale: ecco gli investimenti e le riforme previste per la digitalizzazione della PA
Legal health
Lo spazio europeo dei dati sanitari: come circoleranno le informazioni sulla salute nell’Unione Europea
Servizi digitali
PNRR e PA digitale: non dimentichiamo la dematerializzazione
Digital Healthcare transformation
La trasformazione digitale degli ospedali
Governance digitale
PA digitale, è la volta buona? Così misure e risorse del PNRR possono fare la differenza
Servizi digitali
Comuni e digitale, come usare il PNRR senza sbagliare
La survey
Pnrr e digitale accoppiata vincente per il 70% delle pmi italiane
Missione salute
Fascicolo Sanitario Elettronico alla prova del PNRR: limiti, rischi e opportunità
Servizi pubblici
PNRR: come diventeranno i siti dei comuni italiani grazie alle nuove risorse
Skill gap
PNRR, la banda ultra larga crea 20.000 nuovi posti di lavoro
Il Piano
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUMPA2022
PNRR e trasformazione digitale: rivedi i Talk di FORUM PA 2022 in collaborazione con le aziende partner
I contratti
Avio, 340 milioni dal Pnrr per i nuovi propulsori a metano
Next Generation EU
PNRR, a che punto siamo e cosa possono aspettarsi le aziende private
Fondi
Operativo il nuovo portale del MISE con tutti i finanziamenti per le imprese
Servizi comunali
Il PNRR occasione unica per i Comuni digitali: strumenti e risorse per enti e cittadini
Healthcare data platform
PNRR dalla teoria alla pratica: tecnologie e soluzioni per l’innovazione in Sanità
Skill
Competenze digitali, partono le Reti di facilitazione
Gli obiettivi
Scuola 4.0, PNRR ultima chance: ecco come cambierà il sistema formativo
Sistema Paese
PNRR 2, è il turno della space economy
FORUM PA 2022
FORUM PA 2022: la maturità digitale dei comuni italiani rispetto al PNRR
Analisi
PNRR: dalla Ricerca all’impresa, una sfida da cogliere insieme
Innovazione
Pnrr, il Dipartimento per la Trasformazione digitale si riorganizza
FORUM PA 2022
PA verde e sostenibile: il ruolo di PNRR, PNIEC, energy management e green public procurement
Analisi
PNRR, Comuni e digitalizzazione: tutto su fondi e opportunità, in meno di 3 minuti. Guarda il video!
Rapporti
Competenze digitali e servizi automatizzati pilastri del piano Inps
Analisi
Attuazione del PNRR: il dialogo necessario tra istituzioni e società civile. Rivedi lo Scenario di FORUM PA 2022
Progetti
Pnrr, fondi per il Politecnico di Torino. Fra i progetti anche IS4Aerospace
Analisi
PNRR, Colao fa il punto sulla transizione digitale dell’Italia: «In linea con tutte le scadenze»
La Svolta
Ict, Istat “riclassifica” i professionisti. Via anche al catalogo dati sul Pnrr
Analisi
Spazio, Colao fa il punto sul Pnrr: i progetti verso la milestone 2023
FORUM PA 2022
Ecosistema territoriale sostenibile: l’Emilia Romagna tra FESR e PNRR
Il Piano
Innovazione, il Mise “centra” gli obiettivi Pnrr: attivati 17,5 miliardi
Analisi
PNRR: raggiunti gli obiettivi per il primo semestre 2022. Il punto e qualche riflessione
Analisi
PNRR: dal dialogo tra PA e società civile passa il corretto monitoraggio dei risultati, tra collaborazione e identità dei luoghi
Webinar
Comuni e PNRR: un focus sui bandi attivi o in pubblicazione
Analisi
Formazione 4.0: cos’è e come funziona il credito d’imposta
PA e Sicurezza
PA e sicurezza informatica: il ruolo dei territori di fronte alle sfide della digitalizzazione
PA e sicurezza
PNRR e servizi pubblici digitali: sfide e opportunità per Comuni e Città metropolitane
Water management
Water management in Italia: verso una transizione “smart” e “circular” 
LE RISORSE
Transizione digitale, Simest apre i fondi Pnrr alle medie imprese
Prospettive
Turismo, cultura e digital: come spendere bene le risorse del PNRR
Analisi
Smart City: quale contributo alla transizione ecologica
Decarbonizzazione
Idrogeno verde, 450 milioni € di investimenti PNRR, Cingolani firma
Unioncamere
PNRR, imprese in ritardo: ecco come le Camere di commercio possono aiutare
I fondi
Industria 4.0: solo un’impresa su tre pronta a salire sul treno Pnrr

Articoli correlati