Google ha svelato una nuova esperienza immersiva di realtà virtuale (VR) basata su un nuovo sistema che cattura e riproduce immagini di alta qualità, immagini realistiche dal mondo reale utilizzando campi luminosi. Creato da un team di importanti ricercatori di Google, Benvenuti a Light Fields è il tuffo del gigante della tecnologia nell'arena nascente delle esperienze VR dei campi di luce, un angolo emozionante della tecnologia video VR che sta guadagnando terreno grazie alla sua promessa di offrire immagini ed esperienze di altissima qualità nel mondo virtuale.

Google ha rilasciato Welcome to Light Fields all'inizio di quest'anno come app gratuita su Steam VR per HTC Vive, Oculus Rift, e visori Windows Mixed Reality. I creatori dimostreranno l'esperienza VR al SIGGRAPH 2018, nel Padiglione Immersivo, un nuovo spazio per la conferenza di quest'anno. Il Padiglione è dedicato esclusivamente al virtuale, aumentata, e realtà mista e conterrà:il Vrcade, uno spazio per la realtà virtuale, AR, e giochi o esperienze MR; il Teatro VR, una stravaganza narrativa che fa parte del Computer Animation Festival; e il rinomato Villaggio, per la presentazione di progetti su larga scala. SIGGRAFO 2018, tenutosi dal 12 al 16 agosto a Vancouver, British Columbia, è un raduno annuale che mette in mostra i principali professionisti del mondo, accademici, e menti creative all'avanguardia nella computer grafica e nelle tecniche interattive.

Le destinazioni in Welcome to Light Fields includono lo Space Shuttle Discovery della NASA, offrendo agli spettatori la vista di un astronauta all'interno del ponte di volo, che non è mai stato aperto al pubblico; gli incontaminati interni in teak e mogano della Gamble House, un tesoro architettonico a Pasadena, CIRCA; e la gloriosa chiesa di Santo Stefano sulle colline di Granada, CIRCA, ospita una splendida parete di oltre 14, 000 pezzi di vetro colorato scintillante.

"Adoro il fatto che i campi di luce in VR possano teletrasportarti in luoghi esotici nel mondo reale, e farti credere veramente che ci sei, "dice Ryan Overbeck, ingegnere del software presso Google che ha co-diretto il progetto. "Per me, questa è magia."

Per dare vita a questa esperienza, Overbeck ha lavorato con un team che includeva Paul Debevec, ingegnere del personale senior presso Google, che ha gestito il progetto e guidato la parte hardware con gli ingegneri Xueming Yu, Jay Busch, e Graham Fyffe. Con Overbeck, Daniel Erickson e Daniel Evangelakos si sono concentrati sulla parte software. I ricercatori hanno progettato un sistema completo per l'acquisizione e il rendering di alta qualità, immagini fisse a campo luminoso sferico da filmati catturati nel mondo reale. Hanno sviluppato due sistemi di telecamere a campo leggero di facile utilizzo, basato sulla fotocamera sportiva GoPro Hero4action, che catturano in modo efficiente migliaia di immagini sulla superficie di una sfera. Queste immagini sono state quindi passate attraverso una pipeline di elaborazione del campo luminoso basata su cloud.

Tra l'altro, spiega Overbeck, "La pipeline di elaborazione utilizza la visione artificiale per posizionare le immagini in 3D e generare mappe di profondità, e usiamo una versione modificata del nostro codec video vp9 [formattazione video] per comprimere i dati del campo luminoso fino a una dimensione gestibile." Per eseguire il rendering di un set di dati del campo luminoso, lui nota, il team ha utilizzato un algoritmo di rendering che fonde le migliaia di immagini del campo luminoso in tempo reale.

Il team si è affidato al talentuoso pool di ingegneri di Google nella visione artificiale, grafica, compressione video, e l'apprendimento automatico per superare le sfide uniche poste dalla tecnologia dei campi leggeri. Hanno anche collaborato a stretto contatto con il team WebM (che realizza il codec video vp9) per sviluppare il formato di compressione del campo luminoso di alta qualità incorporato nel loro sistema, e si è affidato molto all'esperienza del team Jump VR per aiutare a posare le immagini e generare mappe di profondità. (Jump è il sistema VR professionale di Google per ottenere la produzione di video 3-D-360 su larga scala.)

Infatti, con Welcome to Light Fields, il team di Google sta dimostrando il potenziale e la promessa della tecnologia VR a campo luminoso, mettendo in mostra la capacità della tecnologia di fornire un'esperienza davvero coinvolgente con un livello di realismo senza pari. Sebbene la tecnologia dei campi di luce sia stata ricercata ed esplorata nella computer grafica per più di 30 anni, sistemi pratici per fornire effettivamente esperienze di campo luminoso di alta qualità non sono ancora stati possibili.

Parte della motivazione del team dietro la creazione di questa esperienza di campo luminoso VR è quella di rinvigorire il campo nascente.

"Welcome to Light Fields dimostra che ora è possibile realizzare un avvincente visore VR Light Field che funziona su hardware di livello consumer, e speriamo che questa conoscenza incoraggi altri a essere coinvolti nella costruzione della tecnologia e dei media del campo luminoso, " afferma Overbeck. "Comprendiamo che per realizzare prodotti di consumo convincenti basati su campi di luce, abbiamo bisogno di un fiorente ecosistema di campi di luce. Abbiamo bisogno di codec a campo chiaro aperto, abbiamo bisogno di artisti che creino bellissime immagini in campo luminoso, e abbiamo bisogno di persone che usano la realtà virtuale per interagire con i campi di luce".