Un nuovo tempo reale, Il sistema di tracciamento del movimento 3D sviluppato presso l'Università del Michigan combina rilevatori di luce trasparenti con metodi avanzati di rete neurale per creare un sistema che potrebbe un giorno sostituire LiDAR e telecamere nelle tecnologie autonome.

Mentre la tecnologia è ancora agli inizi, le applicazioni future includono la produzione automatizzata, imaging biomedico e guida autonoma. Un articolo sul sistema è pubblicato in Comunicazioni sulla natura.

Il sistema di imaging sfrutta i vantaggi della trasparenza, nanoscala, fotorivelatori di grafene altamente sensibili sviluppati da Zhaohui Zhong, professore associato di ingegneria elettrica e informatica, e il suo gruppo. Si crede che siano i primi del loro genere.

"La combinazione approfondita di nanodispositivi di grafene e algoritmi di apprendimento automatico può portare a opportunità affascinanti sia nella scienza che nella tecnologia, " disse Dehui Zhang, uno studente di dottorato in ingegneria elettrica e informatica. "Il nostro sistema combina efficienza di potenza computazionale, velocità di tracciamento veloce, hardware compatto e un costo inferiore rispetto a molte altre soluzioni."

I fotorivelatori di grafene in questo lavoro sono stati ottimizzati per assorbire solo il 10% circa della luce a cui sono esposti, rendendoli quasi trasparenti. Poiché il grafene è così sensibile alla luce, questo è sufficiente per generare immagini che possono essere ricostruite attraverso l'imaging computazionale. I fotorilevatori sono impilati uno dietro l'altro, risultando in un sistema compatto, e ogni strato si concentra su un piano focale diverso, che consente l'imaging 3D.

Ma l'imaging 3D è solo l'inizio. Il team ha anche affrontato il monitoraggio del movimento in tempo reale, che è fondamentale per una vasta gamma di applicazioni robotiche autonome. Per fare questo, avevano bisogno di un modo per determinare la posizione e l'orientamento di un oggetto tracciato. Gli approcci tipici coinvolgono i sistemi LiDAR e le telecamere a campo luminoso, entrambi soffrono di limitazioni significative, dicono i ricercatori. Altri usano metamateriali o più fotocamere. L'hardware da solo non era sufficiente per produrre i risultati desiderati.

Avevano anche bisogno di algoritmi di deep learning. Zhen Xu ha aiutato a collegare questi due mondi, uno studente di dottorato in ingegneria elettrica e informatica. Ha costruito la configurazione ottica e ha lavorato con il team per consentire a una rete neurale di decifrare le informazioni sulla posizione.

La rete neurale è addestrata a cercare oggetti specifici nell'intera scena, e quindi concentrarsi solo sull'oggetto di interesse, ad esempio, un pedone nel traffico, o un oggetto che si sposta nella tua corsia su un'autostrada. La tecnologia funziona particolarmente bene per sistemi stabili, come la produzione automatizzata, o proiettare le strutture del corpo umano in 3D per la comunità medica.

"Ci vuole tempo per addestrare la tua rete neurale, " ha detto il capo progetto Ted Norris, professore di ingegneria elettrica e informatica. "Ma una volta fatto, E 'fatto. Quindi, quando una telecamera vede una certa scena, può dare una risposta in millisecondi."

Il dottorando Zhengyu Huang ha guidato la progettazione dell'algoritmo per la rete neurale. Il tipo di algoritmi sviluppato dal team è diverso dai tradizionali algoritmi di elaborazione del segnale utilizzati per tecnologie di imaging di vecchia data come i raggi X e la risonanza magnetica. Ed è emozionante per il co-leader del team Jeffrey Fessler, professore di ingegneria elettrica e informatica, specializzato in imaging medico.

"Nei miei 30 anni al Michigan, questo è il primo progetto in cui sono stato coinvolto in cui la tecnologia è agli inizi, " Fessler ha detto. "Siamo molto lontani da qualcosa che comprerai a Best Buy, ma va bene. Questo fa parte di ciò che rende questo eccitante".

Il team ha dimostrato il successo nell'inseguire un raggio di luce, così come una coccinella reale con una pila di due array di fotorivelatori di grafene 4x4 (16 pixel). Hanno anche dimostrato che la loro tecnica è scalabile. Credono che ci vorrebbero solo 4, 000 pixel per alcune applicazioni pratiche, e array di 400x600 pixel per molti altri.

Sebbene la tecnologia possa essere utilizzata con altri materiali, ulteriori vantaggi del grafene sono che non richiede illuminazione artificiale ed è rispettoso dell'ambiente. Sarà una sfida costruire l'infrastruttura di produzione necessaria per la produzione di massa, ma può valerne la pena, dicono i ricercatori.

"Il grafene è ora quello che era il silicio nel 1960, " ha detto Norris. "Mentre continuiamo a sviluppare questa tecnologia, potrebbe motivare il tipo di investimento che sarebbe necessario per la commercializzazione".

Il documento è intitolato "Tracciamento 3D basato su rete neurale con un sistema di imaging a stack focale trasparente al grafene".