Gli informatici sono concentrati sull'aggiunta di funzionalità avanzate per rendere altamente credibile la "realtà" negli ambienti di realtà virtuale (VR). Un aspetto chiave della realtà virtuale è consentire interazioni sociali remote e la possibilità di renderlo più immersivo rispetto a qualsiasi altro mezzo di telecomunicazione precedente. I ricercatori di Facebook Reality Labs (FRL) hanno sviluppato un sistema rivoluzionario chiamato Codec Avatars che offre agli utenti VR la possibilità di interagire con gli altri mentre si rappresentano con avatar realistici animati con precisione in tempo reale. I ricercatori mirano a costruire il futuro della connessione all'interno della realtà virtuale, ed eventualmente, realtà aumentata offrendo l'esperienza più socialmente impegnata possibile per gli utenti nel mondo VR.

Ad oggi, avatar altamente fotorealistici resi in tempo reale sono stati realizzati e utilizzati frequentemente nell'animazione al computer, per cui gli attori sono dotati di sensori posizionati in modo ottimale per acquisire computazionalmente dettagli geometrici dei loro volti e delle loro espressioni facciali. Questa tecnologia dei sensori, però, non è compatibile con i design o le piattaforme di visori VR esistenti, e le tipiche cuffie VR ostruiscono diverse parti del viso in modo che la tecnologia di acquisizione facciale completa sia difficile. Perciò, questi sistemi sono più adatti per le prestazioni unidirezionali piuttosto che per le interazioni bidirezionali in cui due o più persone indossano tutte le cuffie VR.

"Il nostro lavoro dimostra che è possibile animare con precisione avatar fotorealistici da telecamere montate da vicino su un visore VR, ", afferma l'autore principale Shih-En Wei, ricercatore presso Facebook. Wei e collaboratori hanno configurato un visore con sensori minimi per l'acquisizione facciale, e il loro sistema consente due vie, autentica interazione sociale in VR.

Wei e i suoi colleghi di Facebook dimostreranno il loro sistema di animazione facciale in tempo reale VR al SIGGRAPH 2019, tenutosi dal 28 luglio al 1 agosto a Los Angeles. Questo incontro annuale mette in mostra i principali professionisti del mondo, accademici, e menti creative all'avanguardia nella computer grafica e nelle tecniche interattive.

In questo lavoro, i ricercatori presentano un sistema in grado di animare le teste degli avatar con somiglianze personali molto dettagliate monitorando con precisione le espressioni facciali in tempo reale degli utenti utilizzando un set minimo di telecamere montate sull'auricolare (HMC). Rispondono a due sfide chiave:viste difficili della telecamera sull'HMC e le grandi differenze di aspetto tra le immagini catturate dalle telecamere dell'auricolare e i rendering dell'avatar realistico della persona.

Il team ha sviluppato un prototipo di auricolare "training", che non solo ha telecamere sul normale visore di tracciamento per l'animazione in tempo reale, ma è inoltre dotato di telecamere in posizioni più accomodanti per un tracciamento del viso ideale. I ricercatori presentano una tecnica di intelligenza artificiale basata su Generative Adversarial Networks (GAN) che esegue una traduzione coerente dello stile dell'immagine multi-vista per convertire automaticamente le immagini a infrarossi HMC in immagini che sembrano un avatar renderizzato ma con la stessa espressione facciale della persona.

"Confrontando queste immagini convertite utilizzando ogni pixel, non solo le caratteristiche facciali sparse, e i rendering dell'avatar 3D, " nota Wei, "possiamo mappare con precisione tra le immagini del visore di tracciamento e lo stato dell'avatar 3-D attraverso un rendering differenziabile. Dopo che la mappatura è stata stabilita, addestriamo una rete neurale per prevedere i parametri del viso da un set minimo di immagini della telecamera in tempo reale".

Hanno dimostrato una varietà di esempi in questo lavoro, e sono stati in grado di dimostrare che il loro metodo può trovare mappature di alta qualità anche per sottili espressioni facciali sulla parte superiore del viso, un'area molto difficile da catturare, dove l'angolazione della telecamera dall'auricolare è storta e troppo vicina al soggetto. I ricercatori mostrano anche una cattura facciale estremamente dettagliata, comprese sottili differenze nelle lingue, i denti, e occhi, dove l'avatar non ha una geometria dettagliata.

Oltre ad animare gli avatar in VR, il team di FRL sta anche costruendo sistemi che un giorno potrebbero consentire alle persone di creare rapidamente e facilmente i propri avatar da poche immagini o video. Mentre i codec avatar di oggi vengono creati automaticamente, il processo richiede un ampio sistema di telecamere e microfoni per catturare l'individuo. FRL mira anche a creare e animare corpi completi per esprimere segnali sociali più completi. Anche se questa tecnologia è lontana anni dal raggiungere le cuffie dei consumatori, il gruppo di ricerca sta già lavorando a possibili soluzioni per mantenere i dati degli avatar al sicuro e garantire che gli avatar siano accessibili solo alle persone che rappresentano.