Il film in 3-D di James Cameron Avatar ha cercato di rivoluzionare l'esperienza cinematografica quando è stato rilasciato per la prima volta nel 2009, creare un mondo coinvolgente per gli spettatori. Ma se volessi sentire anche il caldo e il vento, mentre voli su una banshee, direttamente dal tuo posto al cinema?

Mentre esiste già un piccolo numero di cosiddetti film "4-D" che aggiungono un elemento fisico, i ricercatori dell'Università di Toronto stanno lavorando su un modo per applicare la funzione in modo più ampio.

"Di solito la sedia trema, ci possono essere schizzi o qualche altro tipo di interazione durante la visione del film, "dice Yuhao Zhou, uno studente del quarto anno presso il dipartimento di ingegneria elettrica e informatica di Edward S. Rogers Sr., dell'intrattenimento emergente. "In questo momento tutti questi effetti vengono creati dalla prima fase di produzione. Vorremmo automatizzare questo tipo di processo per i film che non sono stati originariamente creati per i cinema 4-D".

Zhou sta lavorando con Makarand Tapaswi, un borsista post-dottorato in scienze informatiche, e Sanja Fidler, un assistente professore presso il dipartimento di scienze matematiche e computazionali dell'Università di T Mississauga e il dipartimento di informatica tri-campus. Recentemente hanno avuto il loro lavoro, Now You Shake Me:Verso il cinema 4-D automatico, presentato in una presentazione in evidenza alla conferenza Computer Vision and Pattern Recognition (CVPR) a Salt Lake City, Utah.

Zhou dice che un film in 4-D è generalmente percepito dal punto di vista in prima persona, o fotocamera. Se Will Turner in Pirati dei Caraibi sente il vento soffiargli in faccia, e lo spettatore vuole sperimentare di essere Turner, Allora loro, pure, avrebbero dovuto sperimentare il vento in faccia.

"Vogliamo avere una funzione in cui puoi semplicemente premere un interruttore e provare i sentimenti dei personaggi, " dice Zhou.

Per portare un film normale o 3-D in 4-D, i ricercatori hanno utilizzato un sito web freelance per annotare gli effetti del film per il loro modello di previsione 4-D.

"Per esempio, [in Il Signore degli Anelli:La Compagnia dell'Anello] Frodo tira fuori Sam dall'acqua, ma ci sono diversi effetti che accadono contemporaneamente, "dice Zhou, che ha iniziato a lavorare con Fidler durante il suo terzo anno di studi universitari. "Primo, lo tira – c'è un'interazione fisica con la mano. Quando Sam torna in acqua, tira Frodo, e la barca trema.

"La fotocamera è il tuo input, " aggiunge Tapaswi. "Ma in questo caso non si vuole solo sperimentare ciò che vede la telecamera, ma anche uno dei personaggi:rivivi come i personaggi si sentivano tremare e così via."

Sebbene la tecnologia 4-D sia ancora fuori dalla gamma delle interazioni fisiche, ovvero, una mano che tira:Tapaswi prevede sensori di pressione per simulare il tocco man mano che la tecnologia avanza. Il modello potrebbe rivelarsi utile in altri settori come la realtà virtuale o la realtà aumentata.

"Stiamo raccogliendo questi tipi di annotazioni per studi futuri, " dice Zhou.

Per il loro set di dati, hanno applicato sia la classificazione degli effetti che il rilevamento. Per la classificazione degli effetti, Zhou dice che la loro rete neurale, una funzione di machine learning che consente analisi approfondite e apprendimento dei dati, caratteristiche estratte da un breve clip, compreso il movimento e l'audio. Per il rilevamento, lui dice, la rete neurale può prevedere quali sono gli effetti, e dove si verificano, in un lungo videoclip.

"Non vuoi solo sapere cosa succede a un personaggio in una particolare inquadratura. Vuoi essere in grado di dire, '[l'effetto] è il vento ora, non solo perché vedo il vento in questo momento, ma [perché] probabilmente prima c'era vento, '", dice Tapaswi.

I ricercatori hanno scoperto che alcuni generi di film tendevano a condividere effetti simili, ad esempio film ambientati nello spazio come Interstellar o Gravity. Questo può essere visto come un nuovo modo di raggruppare, dice Tapaswi.

"Di solito con i film in 3D, gli spettatori portano gli occhiali e si siedono su una sedia, " dice Zhou. "Con il cinema 4D automatico, la rete neurale elaborerebbe le informazioni sui film 2-D e 3-D, dargli da mangiare sulla sedia, e simulare gli effetti."