Anche i fotografi e i videografi alle prime armi che si affidano ai loro dispositivi portatili per scattare foto o realizzare video spesso considerano l'illuminazione del loro soggetto. L'illuminazione è fondamentale nel cinema, gioco, e ambienti di realtà virtuale/aumentata e può creare o distruggere la qualità di una scena e degli attori e degli attori in essa contenuti. Replicare l'illuminazione realistica dei personaggi è rimasta una sfida difficile nella computer grafica e nella computer vision.

Sebbene siano stati compiuti progressi significativi sui sistemi di cattura volumetrica, concentrandosi sulla ricostruzione geometrica 3D con texture ad alta risoluzione, come metodi per ottenere forme e trame realistiche del volto umano, molto meno lavoro è stato fatto per recuperare le proprietà fotometriche necessarie per riaccendere i caratteri. I risultati di tali sistemi mancano di dettagli precisi e l'ombreggiatura del soggetto è precotta nella trama.

Gli informatici di Google stanno rivoluzionando quest'area della tecnologia di acquisizione volumetrica con un nuovo, sistema completo in grado, per la prima volta, per catturare la riflettanza di tutto il corpo delle prestazioni umane in 3D, e fonderli perfettamente nel mondo reale tramite AR o nelle scene digitali dei film, Giochi, e altro ancora. Google presenterà il suo nuovo sistema, chiamato The Relightables, presso ACM SIGGRAPH Asia, tenutasi dal 17 al 20 novembre a Brisbane, Australia. SIGGRAPH Asia, ora nel suo 12° anno, attrae le persone tecniche e creative più rispettate di tutto il mondo nella computer grafica, animazione, interattività, gioco, e tecnologie emergenti.

Ci sono stati importanti progressi in questo campo di lavoro che l'industria chiama sistemi di acquisizione 3D. Attraverso questi sofisticati sistemi, gli spettatori hanno potuto vedere i personaggi digitali prendere vita sul grande schermo, ad esempio, in blockbuster come Avatar e la serie Avengers e molto altro.

Infatti, la tecnologia di cattura volumetrica ha raggiunto un alto livello di qualità, ma molte di queste ricostruzioni mancano ancora del vero fotorealismo. In particolare, nonostante questi sistemi utilizzino configurazioni da studio di fascia alta con schermi verdi, faticano ancora a catturare i dettagli ad alta frequenza degli umani e recuperano solo una condizione di illuminazione fissa. Ciò rende questi sistemi di acquisizione volumetrica inadatti per il rendering fotorealistico di attori o interpreti in scene arbitrarie in diverse condizioni di illuminazione.

Il sistema Relightables di Google consente di personalizzare l'illuminazione dei personaggi in tempo reale o di riaccenderli in qualsiasi scena o ambiente.

Lo dimostrano su soggetti registrati all'interno di una sfera geodetica personalizzata dotata di 331 luci LED a colori personalizzate (chiamato anche sistema di acquisizione di Light Stage), una serie di fotocamere ad alta risoluzione, e un set di sensori di profondità personalizzati ad alta risoluzione. Il sistema Relightables acquisisce circa 65 GB al secondo di dati grezzi da quasi 100 telecamere e il suo framework computazionale consente di elaborare i dati in modo efficace su questa scala.

Il loro sistema cattura le informazioni sulla riflettanza su una persona:il modo in cui l'illuminazione interagisce con la pelle è un fattore importante per l'aspetto realistico delle persone digitali. I tentativi precedenti utilizzavano un'illuminazione piatta o richiedevano caratteri generati dal computer. Non solo sono in grado di acquisire informazioni di riflettanza su una persona, ma sono in grado di registrare mentre la persona si muove liberamente all'interno del volume. Di conseguenza, sono in grado di riaccendere la loro animazione in ambienti arbitrari.

Storicamente, le telecamere registrano le persone da un unico punto di vista e condizione di illuminazione. Questo nuovo sistema, notare i ricercatori, consente agli utenti di registrare qualcuno e di visualizzarlo da qualsiasi punto di vista e condizione di illuminazione, eliminando la necessità di uno schermo verde per creare effetti speciali e consentendo condizioni di illuminazione più flessibili.

Le interazioni dello spazio, leggero, e l'ombra tra un artista e il suo ambiente giocano un ruolo fondamentale nel creare un senso di presenza. Oltre al semplice "taglia e incolla" un'acquisizione video 3D, il sistema offre la possibilità di registrare qualcuno e quindi inserirlo senza problemi in nuovi ambienti, sia nel proprio spazio per esperienze AR, sia nel mondo di una realtà virtuale, film, o esperienza di gioco.

Al SIGGRAPH Asia, Il team di Relightables presenterà i componenti del proprio sistema, dall'acquisizione all'elaborazione alla visualizzazione, con demo video di ogni fase. Accompagneranno i partecipanti attraverso i dettagli della costruzione di The Relightables, descrivendo le principali sfide che hanno affrontato nel lavoro e mostrando alcune interessanti applicazioni e rendering.