I ricercatori del laboratorio del professore dell'UC Santa Barbara Yasamin Mostofi hanno permesso, per la prima volta, determinare se la persona dietro un muro è la stessa persona che appare in un determinato filmato, utilizzando solo un paio di ricetrasmettitori WiFi all'esterno.

Questo nuovo sistema di identificazione della persona basato sull'andatura cross-modale video-WiFi, a cui si riferiscono come XModal-ID (pronunciato Cross-Modal-ID), potrebbe avere svariate applicazioni, dalla sorveglianza e sicurezza alle case intelligenti. Ad esempio, considera uno scenario in cui le forze dell'ordine hanno un filmato di una rapina. Sospettano che il rapinatore si nasconda all'interno di una casa. Una coppia di ricetrasmettitori WiFi all'esterno della casa può determinare se la persona all'interno della casa è la stessa del video della rapina? Domande come questa hanno motivato questa nuova tecnologia.

"Il nostro approccio proposto consente di determinare se la persona dietro il muro è la stessa delle riprese video, utilizzando solo un paio di ricetrasmettitori WiFi standard all'esterno, " ha detto Mostofi. "Questo approccio utilizza solo le misurazioni della potenza ricevuta di un collegamento WiFi. Non è necessario alcun precedente WiFi o dati di formazione video della persona da identificare. Inoltre non necessita di alcuna conoscenza dell'area operativa."

La metodologia proposta e i risultati sperimentali appariranno alla 25a Conferenza Internazionale su Mobile Computing and Networking (MobiCom) il 22 ottobre.

Negli esperimenti del team, un trasmettitore WiFi e un ricevitore WiFi sono dietro le pareti, fuori da una stanza dove una persona sta camminando. Il trasmettitore invia un segnale wireless la cui potenza ricevuta viene misurata dal ricevitore. Quindi, dato il filmato di una persona da un'altra area e utilizzando solo tali misurazioni della potenza wireless ricevuta, il ricevitore può determinare se la persona dietro il muro è la stessa persona vista nel filmato.

Questa innovazione si basa sul lavoro precedente nel Mostofi Lab, che ha aperto la strada al rilevamento con segnali a radiofrequenza di tutti i giorni come il WiFi dal 2009.

"Però, identificare una persona attraverso i muri, dalle riprese video del candidato, è un problema molto impegnativo, " ha detto Mostofi. Il successo del suo laboratorio in questa impresa è dovuto alla nuova metodologia proposta che hanno sviluppato.

"Il modo in cui ognuno di noi si muove è unico. Ma come possiamo acquisire e confrontare correttamente il contenuto delle informazioni sull'andatura dei segnali video e WiFi per stabilire se appartengono alla stessa persona?"

I ricercatori hanno proposto un nuovo modo che, per la prima volta, può tradurre il contenuto dell'andatura video nel dominio wireless.

"Il nostro approccio è multidisciplinare, attingendo da aree sia delle comunicazioni wireless che della visione, " disse Chitra Karanam, uno dei tre dottorati studenti sul progetto. Date alcune riprese video, il team ha utilizzato per la prima volta un algoritmo di recupero della mesh umana per estrarre la mesh 3D che descrive la superficie esterna del corpo umano in funzione del tempo. Hanno quindi utilizzato l'approssimazione dell'onda elettromagnetica di Born per simulare il segnale RF che sarebbe stato generato se questa persona stesse camminando in un'area WiFi.

Successivamente hanno impiegato il loro approccio di elaborazione tempo-frequenza per estrarre le caratteristiche chiave dell'andatura sia dal segnale WiFi reale (misurato dietro il muro) sia dal segnale simulato basato su video. I due segnali vengono quindi confrontati per determinare se la persona nell'area WiFi è la stessa persona nel video.

La pipeline di elaborazione dei ricercatori prevede una serie di funzioni matematiche, comprese la trasformata di Fourier di breve durata e le funzioni di Hermite, per ottenere lo spettrogramma del segnale ricevuto. "Uno spettrogramma trasporta il contenuto frequenza-tempo del segnale, che trasporta implicitamente le informazioni sull'andatura della persona, " ha spiegato Belal Korany, un altro dottorato studente coinvolto nello sforzo.

Diverse caratteristiche importanti dell'andatura vengono quindi estratte da entrambi gli spettrogrammi e opportunamente confrontate per dichiarare se la persona nel video è dietro il muro.

"Abbiamo testato ampiamente questa tecnologia nel nostro campus, " disse Herbert Cai, il terzo dottorato studente sul progetto. Il laboratorio ha testato la loro nuova tecnologia il 1, 488 coppie WiFi-video, tratto da un pool di otto persone, e in tre diverse aree dietro il muro, e ha raggiunto una precisione complessiva dell'84% nell'identificare correttamente la persona dietro il muro.