Proprio nel periodo in cui il presidente degli USA Donald Trump si batte per tagliare la spesa sociale, appare un video su TikTok dove una donna di colore viene intervistata da un giornalista sulla vendita dei buoni pasto.
Questo sui buoni pasto è uno dei tanti video apparsi durante lo Shutdown, la paralisi dell’amministrazione federale innescata dalla mancata approvazione della legge di bilancio, che ha provocato, tra l’altro, l’abbandono a se stessi dei beneficiari degli aiuti chiamati Supplemental Nutrition Assistance Program (SNAP).
Indice degli argomenti
Dal TikTok ai buoni pasto: un video deepfake con IA che scatena odio
In sostanza, la donna intervistata nel video sarebbe un soggetto beneficiato che vende i buoni, il che è vietato dalla legge e costituisce reato.
Il contenuto è stato visto da migliaia di utenti, molti dei quali hanno seppellito la donna con insulti di ogni genere. Centinaia di persone l’hanno diffamata, ricorrendo anche a frasi razziste, definendola una criminale; altre hanno attaccato i programmi di assistenza governativa.
Ecco alcuni di essi, pubblicati dal New York Times: “Sì, frode! Ecco cosa sta succedendo! Tagliate i buoni pasto!”; “dovresti usare i buoni pasto per sfamare i tuoi figli, non per venderli, così puoi avere soldi in contanti per pagare l’affitto”; “questo sistema è corrotto. Potrebbe andare a cercarsi un lavoro come tutti noi!!”; “Gli americani sono pecore sovraccaricate a causa di persone come lei!”.
In effetti, il video era semplicemente un falso (deepfake) creato con l’app Sora di OpenAI. Sora ed altre app simili stanno producendo disinformazione a palate, facendo credere a chi guarda i video realizzati con l’IA che essi siano veri anche quando includono etichette di avvertenza.
Sora è in campo da pochi mesi, ed è bastato questo breve lasso di tempo per verificare che i video ingannevoli sono aumentati a dismisura su TikTok, X, YouTube, Facebook e Instagram.
Perché i video deepfake con IA alimentano pregiudizi e propaganda
Le misure di sicurezza implementate da molti social media si dimostrano impotenti (deliberatamente?) davanti ai continui progressi degli strumenti messi a disposizione degli utenti malevoli.
Perché, se è vero che molti di tali prodotti sono innocui, la stragrande maggioranza viene realizzata per altri fini, e cioè: per influenzare il dibattito pubblico e la politica; per alzare il livello del razzismo e dei pregiudizi ad esso collegati; per orientare la pubblica opinione denigrando, ad esempio, l’Ucraina e il suo governo in occasione dello scandalo che ha coinvolto collaboratori e amici del presidente Volodymyr Zelensky.
Tornando al video dei buoni pasto, Fox News l’ha presentato come un esempio di indignazione pubblica per l’abuso nella loro elargizione. L’articolo è stato poi rimosso dal sito web, ma intanto i suoi danni li aveva certamente già prodotti.
Indizi e segnali: come smascherare un video deepfake con IA
Ma era difficile verificare che il video era falso? Qualche indizio è stato individuato dagli esperti.
Una filigrana con la scritta “Sora” appare brevemente in alto a sinistra, prima di sfocarsi. Sembra che l’autore abbia utilizzato uno strumento per rimuovere la filigrana (vedremo più avanti che ci sono già aziende specializzate in queste operazioni).
Un piccolo hashtag #AI appare in basso, alla fine della descrizione. TikTok ha aggiunto la propria etichetta sotto la descrizione, probabilmente solo dopo che un utente ha segnalato che il prodotto era stato confezionato usando l’IA.
Anche Trump è stato preso di mira da un video pubblicato su TikTok che, con sullo sfondo la Casa Bianca, faceva sentire una voce simile alla sua che rimproverava il gabinetto per la pubblicazione di documenti relativi a Jeffrey Epstein.
NewsGuard, che monitora la disinformazione, ha accertato che il video, non etichettato come “IA”, è stato visualizzato da oltre tre milioni di persone nel giro di pochi giorni.
Un secondo caso virale di video deepfake con IA e il ruolo dei pregiudizi
Altro caso clamoroso riguarda un video, diventato virale in pochissimo tempo anche perché condiviso da tantissimi utenti, nel quale un uomo presumibilmente musulmano (per come è vestito e per altro) cucina addirittura usando acqua di fogna!
Alcuni esperti lo hanno analizzato rilevando che include una filigrana “Sora AI”; contiene dettagli irrealistici, come quello in cui l’uomo solleva un pesante recipiente per il senza sforzo, come se non pesasse nulla; il mestolo si muove in modo rigido e innaturale.
Tutti questi elementi portano già a dire con certezza che si tratta di immagini generate dall’intelligenza artificiale.
In più, una filigrana alla fine del video con la scritta “@dark.wab48” indica un nome utente, il quale, si scopre senza difficoltà, ha pubblicato lo stesso video sulla sua pagina TikTok @dark.wab48 specificando che è stato generato utilizzando l’intelligenza artificiale.
Infine, è stato analizzato il video con Hive, lo strumento di rilevamento dei contenuti basati sull’intelligenza artificiale, che lo ha etichettato come generato con essa al 99,9%.
Cosa fanno (e non fanno) le piattaforme contro i video deepfake con IA
Finora, le piattaforme si sono affidate in gran parte ai creatori per rivelare che i contenuti pubblicati non sono reali, ma non sempre l’hanno fatto.
YouTube, TikTok e altre piattaforme possono rilevare che un video è stato realizzato utilizzando l’intelligenza artificiale, ma raramente lo segnalano immediatamente agli utenti. Nabiha Syed, direttore esecutivo della Mozilla Foundation, ritiene che le aziende di social media “Avrebbero dovuto essere preparate” a questa sfida.
Dal canto loro, coloro che producono strumenti di intelligenza artificiale affermano di voler chiarire agli utenti quali contenuti siano generati dai computer.
Filigrane visibili e metadati invisibili: cosa promettono i tool
Sora e Veo di Google appongono una filigrana visibile nei video. Sora appone un’etichetta col suo nome; entrambe includono metadati invisibili, leggibili da un computer, che stabiliscono l’origine di ogni falso.
L’idea è quella di informare le persone che ciò che stanno vedendo non è reale e di fornire alle piattaforme che li presentano i segnali digitali per rilevarli automaticamente.
Moderazione lenta e disclosure aggirabile: il problema delle etichette tardive
I ricercatori che hanno monitorato gli usi ingannevoli sono dell’avviso che spetti alle aziende fare di più per garantire che le persone sappiano cosa è reale e cosa non lo è.
Secondo Sam Gregory, direttore esecutivo di Witness, organizzazione per i diritti umani focalizzata sulle minacce della tecnologia, “potrebbero fare di meglio, nella moderazione dei contenuti, per contrastare disinformazione e misinformazione. Lo stesso per quanto riguarda la ricerca proattiva delle informazioni generate dall’intelligenza artificiale e il loro etichettamento. Invece non stanno facendo nulla”.
TikTok, apparentemente in risposta alle preoccupazioni sulla persuasività dei video falsi, ha annunciato che avrebbe inasprito le sue regole sulla divulgazione dell’uso dell’intelligenza artificiale. Ha anche promesso nuovi strumenti per consentire agli utenti di decidere quanto contenuto artificiale, rispetto a quello autentico, desiderare.
YouTube utilizza la filigrana invisibile di Sora per aggiungere una piccola etichetta che indica che i video creati con l’intelligenza artificiale sono stati “alterati o sintetici”. Tuttavia, a volte le etichette possono comparire dopo che migliaia o addirittura milioni di persone hanno già guardato i video, o non comparire affatto.
Watermark rimossi e incentivi economici: perché l’ecosistema favorisce i falsi
Le persone con intenzioni malevole hanno scoperto che è facile aggirare le regole di divulgazione. Alcuni semplicemente le ignorano. Altri manipolano i video per rimuovere i watermark identificativi.
(I watermark, in italiano filigrana, sono informazioni aggiunte a un file (testo, immagine, video) per identificarne l’origine, proteggerlo da uso non autorizzato o indicarne lo stato. Può essere un logo o un testo sovrapposto e trasparente, oppure un elemento incorporato in modo invisibile nel contenuto stesso, come accade per le banconote o i documenti di alta sicurezza).
Il Times ha trovato decine di esempi di video di Sora pubblicati su YouTube senza l’etichetta automatica. Altro grosso problema, come abbiamo accennato sopra, concerne la rimozione delle etichette.
Come sempre accade, la tecnologia, e i suoi utilizzi non a fin di bene, vanno troppo veloce. Fatto sta che sono già state create diverse aziende che offrono la rimozione di loghi e filigrane.
Modificare o condividere video può comportare la rimozione dei metadati incorporati nel video originale, che indicano che è stato realizzato con l’intelligenza artificiale. Inoltre, anche quando i loghi restano visibili, gli utenti potrebbero non notarli se scorrono velocemente la pagina.
Secondo un’analisi dei commenti condotta dal New York Times, che ha utilizzato strumenti di intelligenza artificiale per classificare il contenuto dei commenti, quasi due terzi degli oltre 3.000 utenti che hanno commentato il video di TikTok sui buoni pasto hanno risposto come se fosse reale.
Gli account non autentici, compresi quelli gestiti da agenti stranieri o malintenzionati, svolgono un ruolo fondamentale nella distribuzione e promozione dei social media, ma non è chiaro se lo facciano anche nelle conversazioni relative a questi video.
OpenAI ha assicurato che l’uso ingannevole o fuorviante di Sora è vietato, e di assumere provvedimenti contro chi viola le sue policy.
Ad avviso della creatrice di Sora, ci sono decine di strumenti in grado di realizzare video sempre più realistici, molti dei quali non adottano alcuna misura di sicurezza o restrizione d’uso. Inoltre, i video generati dall’intelligenza artificiale vengono creati e condivisi su molti strumenti diversi.
Per tali motivi, il problema dei contenuti ingannevoli “richiede uno sforzo a livello di ecosistema”.
Un portavoce di Meta, dal canto suo, ha affermato che non è sempre possibile etichettare ogni video generato dall’intelligenza artificiale, soprattutto perché la tecnologia è in rapida evoluzione. Tuttavia, l’azienda “sta lavorando per migliorare i sistemi di etichettatura dei contenuti”.
X e TikTok non hanno risposto alle richieste di commento.
Ad avviso di Alon Yamin, AD di Copyleaks (azienda che rileva contenuti basati sull’intelligenza artificiale), le piattaforme di social media non avevano e non hanno convenienza economica a limitare la diffusione dei video finché gli utenti continuavano e continuano a cliccarci sopra.
“Nel lungo termine, una volta che il 90% del traffico dei contenuti sulla piattaforma diventa AI, sorgono dubbi sulla qualità della piattaforma e dei contenuti, e quindi potrebbero esserci maggiori incentivi finanziari per moderare effettivamente i contenuti AI”.
Questo, perciò, non avverrà a breve, sempre per lo stesso motivo: le Big Tech sono totalmente disinteressate ad altro che non sia il profitto.
L’avvento di video realistici ha rappresentato una manna per le operazioni di disinformazione, frode e influenza straniera. I video di Sora sono già comparsi in recenti campagne di disinformazione russe su TikTok e X.
Tagli e arretramenti: la risposta istituzionale alla disinformazione
James P. Rubin e Darjan Vujica, due ex funzionari di un ufficio del Dipartimento di Stato, ora sciolto, che combatteva le operazioni di influenza straniera, hanno sostenuto su Foreign Affairs che i progressi nell’intelligenza artificiale stavano intensificando gli sforzi per indebolire i paesi democratici e dividere le società.
Non si tratta di persone qualsiasi, ma di funzionari molto qualificati, il cui allarme vale quindi tantissimo. James Rubin è stato Consigliere Senior dei Segretari di Stato Antony Blinken e Madeleine Albright e ha ricoperto il ruolo di Inviato Speciale e Coordinatore del Global Engagement Center del Dipartimento di Stato durante l’amministrazione Biden.
Darjan Vujica è stato Direttore dell’Analisi presso il Global Engagement Center del Dipartimento di Stato e Coordinatore delle tecnologie emergenti presso l’Ambasciata americana in India dal 2024 al 2025.
Il caso “Rubio” e la diplomazia esposta ai deepfake
I due hanno citato il video – che abbiamo analizzato prima – realizzato per denigrare i musulmani indiani, sul supposto musulmano che cucinava usando acqua di fogna.
“Stanno peggiorando e continueranno a peggiorare la situazione” ha dichiarato Vujica riferendosi ai video realizzati con l’intelligenza artificiale. “La barriera all’uso dei deepfake come parte della disinformazione è crollata e, una volta diffusa, è difficile correggere la notizia”.
Nell’articolo riferiscono di quanto accaduto a giugno (davvero inquietante e indicativo) quando l’account protetto Signal di un ministro degli Esteri europeo ha ricevuto un SMS.
Il mittente si presentava come il Segretario di Stato americano Rubio latore di una richiesta urgente. Poco dopo, altri due ministri degli Esteri, un governatore degli Stati Uniti e un membro del Congresso hanno ricevuto lo stesso messaggio, accompagnato da un messaggio con la voce di Rubio.
La comunicazione appariva verosimile, ma il tono tradiva un autore che non poteva essere un alto funzionario. Si trattava infatti di un deepfake, progettato con intelligenza artificiale.
Se la bugia non fosse stata scoperta, la trovata avrebbe potuto seminare discordia, compromettere la diplomazia americana o estorcere informazioni sensibili ai rappresentanti europei.
Profili sintetici e operazioni di influenza su larga scala
Ad agosto, i ricercatori della Vanderbilt University hanno rivelato che la GoLaxy (cinese) aveva creato con l’IA i profili di dati di almeno 117 parlamentari statunitensi in carica e oltre 2.000 personaggi pubblici americani.
Dati utilizzabili per creare con l’IA alter ego plausibili dei personaggi scelti, e quindi messaggi calibrati sulla psicologia dei loro seguaci.
Quindi l’uso dell’IA ha reso significativamente più facile per i malintenzionati sviluppare operazioni di influenza sempre più efficaci, a basso costo e su larga scala.
Secondo i due alti funzionari, ora defenestrati con tutto l’ufficio del quale facevano parte, “il governo degli Stati Uniti dovrebbe ampliare e perfezionare i propri strumenti per identificare e bloccare queste campagne”.
Invece, l’amministrazione Trump ha disarmato, ridimensionando le difese statunitensi contro la disinformazione estera e lasciando il Paese tristemente impreparato a gestire gli attacchi basati sull’intelligenza artificiale.
Le conseguenze paventate sono estremamente allarmanti: le campagne di influenza digitale mineranno progressivamente la fiducia dei cittadini nelle istituzioni, nei processi e nella leadership democratica, minacciando di condannare la democrazia americana a morte causa tagli.
Come riconoscere video deepfake con IA: checklist pratica per utenti e redazioni
Un aiuto, nell’individuazione di video falsi generati con l’IA, può venire dalla presenza dei seguenti elementi:
- Movimenti ed espressioni innaturali: movimenti bruschi, rigidità o espressioni facciali che sembrano anomale, come incongruenze nel battito delle palpebre o transizioni emotive.
- Illuminazione, ombre e colori: incongruenze nell’illuminazione, in particolare con ombre innaturali, luci tremolanti o texture (la qualità visibile e tattile della superficie di un oggetto, che sia liscio, rugoso, morbido, o duro, ed è essenzialmente un effetto visivo che aggiunge ricchezza e dimensione a una qualunque composizione, Wikipedia) strane. Attenzione agli oggetti irrealistici che appaiono e scompaiono, che si trasformano in modo inaspettato o che assumono forme insolite.
- Audio e video non corrispondenti: video in cui l’audio non corrisponde ai movimenti delle labbra o alle azioni sullo schermo.
- Rumore di sottofondo: rumore che non sembra appartenere alla scena (ad esempio, suoni della natura riprodotti su una scena urbana trafficata).
- Verifica dei fatti: un video non contiene contesto, informazioni sulla sua fonte o un modo semplice per verificarne l’autenticità. Se il video contiene affermazioni specifiche, in particolare riguardanti eventi o persone reali, verificare le informazioni tramite fonti attendibili come organi di stampa o siti web ufficiali.
Detto ciò, può anche essere importante usare strumenti di rilevamento automatico dei contenuti, basati sull’intelligenza artificiale, e anche l’istinto: l’intuito e le prime reazioni vanno spesso nella giusta direzione.
Conclusioni
Il quadro che emerge è preoccupante. Chi agisce per il male trova sempre, e molto rapidamente, gli strumenti per farlo.
La situazione peggiora quando dall’altra parte l’esercito non è compatto, o addirittura ha nel suo seno la Quinta Colonna, che in quest’ambito è sempre quella formata dalle Big Tech assetate di denaro.
