Un team di ricercatori ha dimostrato di poter recuperare un video di movimento che si svolge in una scena nascosta osservando i cambiamenti nell'illuminazione in una regione visibile vicina. Hanno esaminato l'effetto indiretto sulle ombre e sull'ombreggiatura in una regione osservata.

Traduzione:giocare con le ombre per ottenere informazioni può essere seriamente gratificante. Il team di ricercatori ha creato un nuovo algoritmo di intelligenza artificiale che può aiutare le telecamere a "vedere" le cose fuori dalla telecamera utilizzando solo ombre in movimento.

Il loro metodo può ricostruire un video nascosto in base alle ombre che proietta. Il risultato è che puoi stimare l'aspetto del video nascosto.

Hillary Grigonis in Tendenze digitali hanno scritto della loro ricerca con un confronto interessante, come "leggere i burattini delle ombre al contrario". Come mai? "...il computer vede l'ombra a forma di coniglio ed è quindi in grado di creare una stima dell'oggetto che ha creato quell'ombra. Il computer non sa cosa sia quell'oggetto, ma può fornire un abbozzo della forma."

Inziando, erano interessati a risolvere il problema dell'attività che si svolgeva al di fuori del loro campo visivo.

Ulteriori informazioni sono disponibili sulla pagina web del progetto MIT CSAIL (Computer Science and Artificial Intelligence Laboratory) su compmirrors.csail.mit.edu e su GitHub.

Gli autori hanno considerato il valore della loro ricerca:"Abbiamo dimostrato che le scene disordinate possono essere trasformate computazionalmente in specchi a bassa risoluzione senza previa calibrazione". Con un solo ingresso video della scena visibile, potrebbero recuperare un video latente della scena nascosta e una matrice di trasporto della luce.

"Lo troviamo straordinario, " loro hanno detto, "che la semplice richiesta di fattori latenti facilmente esprimibili da una CNN [rete neurale convoluzionale] è sufficiente per risolvere il nostro problema, permettendoci di aggirare completamente sfide come la stima della geometria e delle proprietà di riflettanza della scena".

Inserito il 6 dicembre il loro video è intitolato "Computational Mirrors:Revealing Hidden Video". Michael Zhang in PetaPixel riassunto quello che hanno fatto nel video. "Gli scienziati del CSAIL del MIT condividono come hanno puntato una telecamera su una pila di oggetti e poi hanno filmato le ombre create su quegli oggetti da una persona che si muoveva fuori dalla telecamera".

Le didascalie dei video hanno inoltre sottolineato che il loro metodo può anche ricostruire la silhouette di una performance live-action dalle sue ombre. I risultati coprono almeno il colore e il movimento. Zhang ha valutato cosa erano in grado di fare. "L'intelligenza artificiale ha analizzato le ombre ed è stata in grado di ricostruire un video sfocato ma straordinariamente accurato di ciò che la persona stava facendo con le sue mani [sic]".

Possibili applicazioni? Note video:"Con ulteriore perfezionamento, questo metodo potrebbe consentire alle auto a guida autonoma di rilevare gli ostacoli nascosti.

Rachel Gordon, MIT CSAIL, ha parlato di altre possibilità:centri di accoglienza per anziani attenti alla sicurezza dei loro residenti; squadre di ricerca e soccorso che ne fanno uso quando devono navigare in aree pericolose e ostruite.

Tutto sommato, i ricercatori hanno intrapreso un percorso interessante verso l'acquisizione di informazioni oltre la linea di vista, ma altri al MIT in un certo senso sono stati lì, Fatto. Le scene al di fuori di una normale linea di vista erano al centro dell'attenzione dei ricercatori del MIT sette anni fa, ha detto Gordon di CSAIL, e poi hanno usato i laser per produrre immagini 3D.

Nell'ultimo sforzo di ricerca, però, il team voleva vedere cosa potevano ottenere senza utilizzare attrezzature speciali. Gordon ha citato il ricercatore capo su questo. Miika Aittala, chi ha detto, "Si può ottenere un bel po' con apparecchiature di imaging non a vista come i laser, ma nel nostro approccio hai accesso solo alla luce che raggiunge naturalmente la fotocamera, e cerchi di trarre il massimo dalle scarse informazioni in esso contenute."

Pensa a decodificare. La sfida era quella di decodificare e dare un senso a questi segnali di illuminazione. Pensa all'algoritmo. Gordon ha scritto che il team si è concentrato sulla rottura dell'ambiguità specificando algoritmicamente che volevano uno schema di "rimescolamento" che corrisponda a ombreggiature e ombreggiature plausibili nel mondo reale, per scoprire il video nascosto che sembra avere bordi e oggetti che si muovono in modo coerente.

Ha spiegato che il loro algoritmo allena due reti neurali contemporaneamente. "Una rete produce lo schema di rimescolamento, e l'altro stima il video nascosto. Le reti vengono premiate quando la combinazione di questi due fattori riproduce il video registrato dal disordine, spingendoli a spiegare le osservazioni con dati nascosti plausibili".

Il loro articolo che discute il loro lavoro si chiama "Computational Mirrors:Blind Inverse Light Transport by Deep Matrix Factorization, " ed è su arXiv. Gli autori sono Miika Aittala, Prafull Sharma, Lucas Murmann, Adam Yedidia, Gregory Wornell, William T. Freeman e Fredo Durand.

I rapporti hanno affermato che presenteranno il loro lavoro alla Conferenza sui sistemi di elaborazione delle informazioni neurali (NeurIPS 2019) a Vancouver, British Columbia.

© 2019 Scienza X Rete