David Lindel, uno studente laureato in ingegneria elettrica alla Stanford University, indossò una tuta ad alta visibilità e si mise al lavoro, allungamento, camminare e saltare attraverso una stanza vuota. Attraverso una telecamera puntata lontano da Lindell, verso quello che sembrava essere un muro bianco, i suoi colleghi potevano osservare ogni sua mossa.

È perché, nascosto ad occhio nudo, veniva scansionato da un laser ad alta potenza e le singole particelle di luce che rifletteva sulle pareti intorno a lui venivano catturate e ricostruite dai sensori avanzati della fotocamera e dall'algoritmo di elaborazione.

"La gente parla di costruire una telecamera che possa vedere così come gli esseri umani per applicazioni come auto e robot autonomi, ma vogliamo costruire sistemi che vadano ben oltre, " disse Gordon Wetzstein, un assistente professore di ingegneria elettrica a Stanford. "Vogliamo vedere le cose in 3-D, dietro gli angoli e oltre lo spettro della luce visibile."

Il sistema di telecamere testato da Lindell, che i ricercatori stanno presentando alla conferenza SIGGRAPH 2019 il 1 agosto, si basa su precedenti fotocamere dietro l'angolo sviluppate da questo team. È in grado di catturare più luce da una maggiore varietà di superfici, vedere più ampio e più lontano ed è abbastanza veloce da monitorare per la prima volta i movimenti fuori dalla vista, come i calisthenics di Lindell. un giorno, i ricercatori sperano che i sistemi di visione sovrumani possano aiutare le auto e i robot autonomi a funzionare in modo ancora più sicuro di quanto farebbero con la guida umana.

Praticità e sismologia

Mantenere il loro sistema pratico è una priorità assoluta per questi ricercatori. L'hardware che hanno scelto, le velocità di scansione e di elaborazione delle immagini, e lo stile di imaging sono già comuni nei sistemi di visione per auto autonomi. I sistemi precedenti per la visualizzazione di scene al di fuori della linea di vista di una telecamera si basavano su oggetti che riflettono la luce in modo uniforme o forte. Ma gli oggetti del mondo reale, comprese le auto luccicanti, non rientrano in queste categorie, quindi questo sistema può gestire la luce che rimbalza su una serie di superfici, comprese le palle da discoteca, libri e statue dalla trama intricata.

Al centro della loro avanzata c'era un laser 10, 000 volte più potente di quello che usavano un anno fa. Il laser scansiona un muro di fronte alla scena di interesse e quella luce rimbalza sul muro, colpisce gli oggetti nella scena, rimbalza al muro e ai sensori della fotocamera. Quando la luce laser raggiunge la telecamera rimangono solo dei granelli, ma il sensore li cattura tutti, inviandolo a un algoritmo altamente efficiente, sviluppato anche da questo team, che districa questi echi di luce per decifrare il tableau nascosto.

"Quando guardi il laser che lo scansiona, non vedi niente, " ha descritto Lindell. "Con questo hardware, possiamo fondamentalmente rallentare il tempo e rivelare queste tracce di luce. Sembra quasi una magia".

Il sistema può eseguire la scansione a quattro fotogrammi al secondo. Può ricostruire una scena alla velocità di 60 fotogrammi al secondo su un computer con un'unità di elaborazione grafica, che migliora le capacità di elaborazione grafica.

Per far avanzare il loro algoritmo, il team ha cercato ispirazione in altri campi. I ricercatori sono stati particolarmente attratti dai sistemi di imaging sismico, che fanno rimbalzare le onde sonore dagli strati sotterranei della Terra per scoprire cosa c'è sotto la superficie, e hanno riconfigurato il loro algoritmo per interpretare allo stesso modo la luce che rimbalza come onde emanate dagli oggetti nascosti. Il risultato è stato lo stesso utilizzo di memoria ad alta velocità e basso con miglioramenti nelle loro capacità di vedere scene di grandi dimensioni contenenti vari materiali.

"Ci sono molte idee usate in altri spazi:sismologia, immagini con i satelliti, radar ad apertura sintetica, applicabili a guardare dietro gli angoli, " ha detto Matthew O "Toole, un assistente professore alla Carnegie Mellon University che in precedenza era un borsista post-dottorato nel laboratorio di Wetzstein. "Stiamo cercando di prendere un po' da questi campi e speriamo di poter restituire loro qualcosa prima o poi".

Passi umili

Essere in grado di vedere il movimento in tempo reale da una luce altrimenti invisibile che rimbalza dietro un angolo è stato un momento emozionante per questo team, ma un sistema pratico per auto o robot autonomi richiederà ulteriori miglioramenti.

"Sono passi molto umili. Il movimento sembra ancora a bassa risoluzione e non è super veloce, ma rispetto allo stato dell'arte dell'anno scorso è un miglioramento significativo, " ha detto Wetzstein. "Siamo rimasti stupefatti la prima volta che abbiamo visto questi risultati perché abbiamo acquisito dati che nessuno ha visto prima".

Il team spera di passare a testare il proprio sistema su auto di ricerca autonome, mentre si esaminano altre possibili applicazioni, come l'imaging medico che può vedere attraverso i tessuti. Tra gli altri miglioramenti alla velocità e alla risoluzione, lavoreranno anche per rendere il loro sistema ancora più versatile per affrontare condizioni visive difficili che i conducenti incontrano, come la nebbia, piovere, tempeste di sabbia e neve.