I video deepfake sono difficili da rilevare per gli occhi inesperti perché possono essere abbastanza realistici. Sia usato come armi personali di vendetta, manipolare i mercati finanziari o destabilizzare le relazioni internazionali, i video che ritraggono persone che fanno e dicono cose che non hanno mai fatto o detto sono una minaccia fondamentale all'idea di vecchia data che "vedere per credere". Non più.

La maggior parte dei deepfake vengono realizzati mostrando a un algoritmo informatico molte immagini di una persona, e poi fargli usare ciò che ha visto per generare nuove immagini del viso. Allo stesso tempo, la loro voce è sintetizzata, quindi sembra e suona come se la persona avesse detto qualcosa di nuovo.

Alcuni dei lavori precedenti del mio gruppo di ricerca ci hanno permesso di rilevare video deepfake che non includevano la normale quantità di battito di ciglia di una persona, ma l'ultima generazione di deepfake si è adattata, quindi la nostra ricerca ha continuato ad avanzare.

Ora, la nostra ricerca può identificare la manipolazione di un video guardando da vicino i pixel di fotogrammi specifici. Facendo un passo avanti, abbiamo anche sviluppato una misura attiva per proteggere le persone dal diventare vittime di deepfake.

Trovare i difetti

In due recenti articoli di ricerca, abbiamo descritto i modi per rilevare i deepfake con difetti che non possono essere risolti facilmente dai falsi.

Quando un algoritmo di sintesi video deepfake genera nuove espressioni facciali, le nuove immagini non sempre corrispondono all'esatto posizionamento della testa della persona, o le condizioni di luce, o la distanza dalla telecamera. Per far fondere i volti falsi nell'ambiente circostante, devono essere geometricamente trasformati, ruotati, ridimensionato o altrimenti distorto. Questo processo lascia artefatti digitali nell'immagine risultante.

Potresti aver notato alcuni artefatti da trasformazioni particolarmente gravi. Questi possono far sembrare una foto ovviamente ritoccata, come bordi sfocati e pelle artificialmente liscia. Trasformazioni più sottili lasciano ancora tracce, e abbiamo insegnato a un algoritmo per rilevarlo, anche quando le persone non riescono a vedere le differenze.

Questi artefatti possono cambiare se un video deepfake ha una persona che non guarda direttamente la telecamera. Il video che cattura una persona reale mostra il suo viso in movimento in tre dimensioni, ma gli algoritmi deepfake non sono ancora in grado di fabbricare volti in 3-D. Anziché, generano una regolare immagine bidimensionale del viso e poi provano a ruotare, ridimensiona e distorci quell'immagine per adattarla alla direzione in cui la persona dovrebbe guardare.

Non lo fanno ancora molto bene, che offre un'opportunità di rilevamento. Abbiamo progettato un algoritmo che calcola in che direzione punta il naso della persona in un'immagine. Misura anche in che direzione punta la testa, calcolato utilizzando il contorno del viso. In un video reale della testa di una persona reale, quelli dovrebbero essere tutti allineati in modo abbastanza prevedibile. Nei deepfake, anche se, sono spesso disallineati.

Difendersi dai deepfake

La scienza del rilevamento dei deepfake è, effettivamente, una corsa agli armamenti:i falsari miglioreranno nel creare le loro finzioni, e quindi la nostra ricerca deve sempre cercare di stare al passo, e anche un po' avanti.

Se ci fosse un modo per influenzare gli algoritmi che creano deepfake per essere peggiori nel loro compito, renderebbe il nostro metodo migliore per rilevare i falsi. Il mio gruppo ha recentemente trovato un modo per farlo.

Le librerie di immagini dei volti sono assemblate da algoritmi che elaborano migliaia di foto e video online e utilizzano l'apprendimento automatico per rilevare ed estrarre i volti. Un computer potrebbe guardare una foto di classe e rilevare i volti di tutti gli studenti e dell'insegnante, e aggiungi solo quei volti alla libreria. Quando la libreria risultante ha molte immagini di volti di alta qualità, il deepfake risultante ha maggiori probabilità di riuscire a ingannare il suo pubblico.

Abbiamo trovato un modo per aggiungere rumore appositamente progettato a fotografie o video digitali che non sono visibili agli occhi umani ma possono ingannare gli algoritmi di rilevamento del volto. Può nascondere i modelli di pixel utilizzati dai rilevatori di volti per individuare un volto, e crea richiami che suggeriscono che c'è un volto dove non ce n'è uno, come in un pezzo dello sfondo o in un quadrato di vestiti di una persona.

Con meno volti reali e più non volti che inquinano i dati di addestramento, un algoritmo deepfake sarà peggiore nel generare un volto falso. Ciò non solo rallenta il processo di creazione di un deepfake, ma rende anche il deepfake risultante più imperfetto e più facile da rilevare.

Mentre sviluppiamo questo algoritmo, speriamo di poterlo applicare a qualsiasi immagine che qualcuno sta caricando sui social media o su un altro sito online. Durante il processo di caricamento, forse, potrebbero essere chiesti, "Vuoi proteggere i volti di questo video o immagine dall'uso in deepfake?" Se l'utente sceglie di sì, quindi l'algoritmo potrebbe aggiungere il rumore digitale, permettendo alle persone online di vedere i volti ma nascondendoli efficacemente da algoritmi che potrebbero cercare di impersonarli.

Questo articolo è stato ripubblicato da The Conversation con una licenza Creative Commons. Leggi l'articolo originale.