I ricercatori dell'esercito hanno sviluppato un'intelligenza artificiale e una tecnica di apprendimento automatico che produce un'immagine del viso visibile da un'immagine termica del viso di una persona catturata in condizioni di scarsa illuminazione o notturne. Questo sviluppo potrebbe portare a una migliore biometria in tempo reale e analisi forensi post-missione per operazioni notturne segrete.

Termocamere come FLIR, o Infrarossi per guardare in avanti, i sensori sono attivamente distribuiti su veicoli aerei e terrestri, nelle torri di avvistamento e nei punti di controllo a fini di sorveglianza. Più recentemente, le termocamere stanno diventando disponibili per l'uso come termocamere indossabili. La possibilità di eseguire il riconoscimento facciale automatico di notte utilizzando tali telecamere termiche è utile per informare un soldato che un individuo è qualcuno di interesse, come qualcuno che potrebbe essere in una lista di controllo.

Le motivazioni per questa tecnologia, sviluppate da Drs. Benjamin S. Riggan, Nathaniel J. Short e Shuowen "Sean" Hu, dal laboratorio di ricerca dell'esercito degli Stati Uniti, sono per migliorare le capacità sia automatiche che umane.

"Questa tecnologia consente la corrispondenza tra le immagini termiche del volto e i database biometrici esistenti/le liste di controllo dei volti che contengono solo immagini di volti visibili, " ha detto Riggan, uno scienziato ricercatore. "La tecnologia offre agli esseri umani un modo per confrontare visivamente le immagini facciali visibili e termiche attraverso la sintesi del viso termico-visibile".

Ha detto che in condizioni notturne e di scarsa illuminazione, non c'è luce sufficiente per una fotocamera convenzionale per catturare immagini facciali per il riconoscimento senza illuminazione attiva come un flash o un riflettore, che rivelerebbe la posizione di tali telecamere di sorveglianza; però, le termocamere che catturano la firma del calore emanata naturalmente dal tessuto cutaneo vivente sono ideali per tali condizioni.

"Quando si utilizzano termocamere per acquisire immagini facciali, la sfida principale è che l'immagine termica acquisita deve essere confrontata con una lista di controllo o una galleria che contiene solo immagini visibili convenzionali di persone note di interesse, " Riggan ha detto. "Pertanto, il problema diventa quello che viene definito spettro incrociato, o eterogeneo, riconoscimento facciale. In questo caso, le immagini della sonda facciale acquisite in una modalità vengono confrontate con un database della galleria acquisito utilizzando una diversa modalità di imaging".

Questo approccio sfrutta tecniche avanzate di adattamento del dominio basate su reti neurali profonde. L'approccio fondamentale è composto da due parti chiave:un modello di regressione non lineare che mappa una data immagine termica in una corrispondente rappresentazione latente visibile e un problema di ottimizzazione che proietta la proiezione latente nello spazio dell'immagine.

I dettagli di questo lavoro sono stati presentati a marzo in un documento tecnico "Thermal to Visible Synthesis of Face Images using Multiple Regions" alla IEEE Winter Conference on Applications of Computer Vision, o WACV, nel lago Tahoe, Nevada, che è una conferenza tecnica composta da studiosi e scienziati del mondo accademico, industria e governo.

Alla conferenza, I ricercatori dell'esercito hanno dimostrato che combinando informazioni globali, come i lineamenti di tutto il viso, e informazioni locali, come le caratteristiche delle regioni fiduciarie discriminatorie, Per esempio, occhi, naso e bocca, migliorato la discriminabilità delle immagini sintetizzate. Hanno mostrato come le rappresentazioni mappate da termica a visibile da entrambe le regioni globali e locali nella firma termica del viso potrebbero essere utilizzate insieme per sintetizzare un'immagine del viso visibile raffinata.

Il problema di ottimizzazione per la sintesi di un'immagine tenta di preservare congiuntamente la forma dell'intero volto e l'aspetto dei dettagli fiduciari locali. Utilizzando le immagini sintetizzate dal calore al visibile e le immagini della galleria visibile esistente, hanno eseguito esperimenti di verifica del volto utilizzando un'architettura di rete neurale profonda open source comune per il riconoscimento del volto. L'architettura utilizzata è esplicitamente progettata per il riconoscimento facciale basato sul visibile. Il risultato più sorprendente è che il loro approccio ha ottenuto prestazioni di verifica migliori rispetto a un approccio generativo contraddittorio basato sulla rete, che in precedenza mostrava proprietà fotorealistiche.

Riggan attribuisce questo risultato al fatto che l'obiettivo teorico del gioco per i GAN cerca immediatamente di generare immagini sufficientemente simili in gamma dinamica e aspetto simile a una foto alle immagini di allenamento, pur trascurando talvolta di preservare le caratteristiche identificative, Egli ha detto. L'approccio sviluppato da ARL preserva le informazioni sull'identità per migliorare la discriminabilità, Per esempio, maggiore precisione di riconoscimento sia per gli algoritmi di riconoscimento facciale automatico che per il giudizio umano.

Nell'ambito della presentazione del documento, I ricercatori dell'ARL hanno presentato una dimostrazione quasi in tempo reale di questa tecnologia. La dimostrazione di prova del concetto includeva l'uso di una termocamera FLIR Boson 320 e un laptop che eseguiva l'algoritmo quasi in tempo reale. Questa dimostrazione ha mostrato al pubblico che un'immagine termica acquisita di una persona può essere utilizzata per produrre un'immagine visibile sintetizzata in situ. Questo lavoro ha ricevuto un premio come miglior articolo nella sessione volti/biometria della conferenza, degli oltre 70 lavori presentati.

Riggan ha affermato che lui e i suoi colleghi continueranno ad estendere questa ricerca sotto il patrocinio della Defense Forensics and Biometrics Agency per sviluppare una solida capacità di riconoscimento facciale notturno per il soldato.