Patterns adorna un modello statico utilizzato per testare il proiettore Hyperspectral Stripe della Rice University, che combina immagini spettroscopiche e 3D. I modelli in bianco e nero simili a codici a barre vengono visualizzati sul DMD per generare le strisce iperspettrali. Credito:Kelly Lab/Rice University
Le righe sono di moda questa stagione in un laboratorio della Rice University, dove i ricercatori li usano per creare immagini che le semplici fotocamere non potrebbero mai catturare.
Il loro compatto Hyperspectral Stripe Projector (HSP) è un passo avanti verso un nuovo metodo per raccogliere le informazioni spaziali e spettrali necessarie per le auto a guida autonoma, visione artificiale, monitoraggio delle colture, rilevamento dell'usura superficiale e della corrosione e altre applicazioni.
"Posso immaginare questa tecnologia nelle mani di un agricoltore, o su un drone, guardare un campo e vedere non solo i nutrienti e il contenuto di acqua delle piante ma anche, a causa dell'aspetto tridimensionale, l'altezza dei raccolti, "ha detto Kevin Kelly, un professore associato di ingegneria elettrica e informatica presso la Brown School of Engineering di Rice. "O forse può guardare un dipinto e vedere i colori e la trama della superficie in dettaglio, ma con il vicino infrarosso si vede anche sotto la tela."
Il laboratorio di Kelly potrebbe abilitare la spettroscopia 3-D al volo con un sistema che combina HSP, una serie di sensori monocromatici e una programmazione sofisticata per offrire agli utenti un'immagine più completa della forma e della composizione di un oggetto.
"Stiamo ottenendo informazioni quadridimensionali da un'immagine, tre spaziali e uno spettrale, in tempo reale, " ha detto Kelly. "Altre persone usano più modulatori e quindi richiedono fonti di luce intensa per raggiungere questo obiettivo, ma abbiamo scoperto che potevamo farlo con una fonte di luce di luminosità normale e alcune ottiche intelligenti."
Una nuvola di punti 3D di oggetti ricostruita dal sistema di imaging basato su Hyperspectral Stripe Projector della Rice University. La fotocamera monocromatica acquisisce anche i dati spettrali per ogni punto per fornire non solo la forma del bersaglio, ma anche la sua composizione materiale. Credito:Kelly Lab/Rice University
Il lavoro di Kelly, Yibo Xu, l'autore principale e ex-alunna di Rice, e lo studente laureato Anthony Giljum sono descritti in un documento ad accesso aperto in Ottica Express .
HSP prende spunto dalle tecniche di imaging 3D portatili che sono già nelle mani dei consumatori - pensa ai sistemi di identificazione del viso negli smartphone e ai body tracker nei sistemi di gioco - e aggiunge un modo per estrarre ampi dati spettrali da ogni pixel catturato. Questi dati compressi vengono ricostruiti in una mappa 3D con informazioni spettrali che possono incorporare centinaia di colori ed essere utilizzati per rivelare non solo la forma di un oggetto ma anche la sua composizione materiale.
"RGB regolare (rosso, verde, blu) le telecamere fondamentalmente ti danno solo tre canali spettrali, " disse Xu. "Ma una telecamera iperspettrale ci dà spettri in molti, molti canali. Possiamo catturare il rosso a circa 700 nanometri e il blu a circa 400 nanometri, ma possiamo anche avere larghezze di banda ogni pochi nanometri o meno tra. Questo ci dà una buona risoluzione spettrale e una comprensione più completa della scena.
"HSP codifica simultaneamente le misure di profondità e iperspettrali in modo molto semplice ed efficiente, consentendo l'uso di una telecamera monocromatica invece di una costosa telecamera iperspettrale come tipicamente utilizzata in sistemi simili, " disse Xu, che ha conseguito il dottorato alla Rice nel 2019 ed è ora ingegnere di ricerca in machine learning e visione artificiale presso Samsung Research America Inc. Ha sviluppato sia l'hardware che il software di ricostruzione come parte della sua tesi nel laboratorio di Kelly.
HSP utilizza un dispositivo digitale a microspecchi (DMD) standard per proiettare strisce con motivi che assomigliano a codici a barre colorati su una superficie. L'invio della proiezione di luce bianca attraverso un reticolo di diffrazione separa i modelli sovrapposti in colori.
Un bersaglio e la sua immagine della nuvola di punti mostrano una funzionalità del proiettore a strisce iperspettrali della Rice University, che acquisisce dati 3D e dati spettrali per ogni punto per fornire non solo la forma del bersaglio ma anche la sua composizione materiale. Credito:Kelly Lab/Rice University
Ogni colore viene riflesso sulla fotocamera monocromatica, che assegna un livello numerico di grigio a quel pixel.
Ogni pixel può avere più livelli, uno per ogni striscia di colore che riflette. Questi vengono ricombinati in un valore spettrale complessivo per quella parte dell'oggetto.
"Utilizziamo un singolo DMD e un unico reticolo in HSP, " Xu ha detto. "Il nuovo design ottico di ripiegare il percorso della luce sullo stesso reticolo di diffrazione e obiettivo è ciò che lo rende davvero compatto. Il singolo DMD ci permette di mantenere la luce che vogliamo e buttare via il resto".
Questi spettri finemente sintonizzati possono andare oltre la luce visibile. Ciò che riflettono al sensore come spettri a banda fine multiplex può essere utilizzato per identificare la composizione chimica del materiale.
Allo stesso tempo, le distorsioni nel pattern sono ricostruite in nuvole di punti 3D, essenzialmente un'immagine del bersaglio, ma con molti più dati di quelli che potrebbe fornire una semplice istantanea.
Kelly immagina che l'HSP sia integrato nei fari delle auto in grado di vedere la differenza tra un oggetto e una persona. "Non potrebbe mai confondersi tra un vestito verde e una pianta verde, perché ogni cosa ha la sua firma spettrale, " Egli ha detto.
Kelly ritiene che il laboratorio alla fine incorporerà le idee della rivoluzionaria fotocamera a pixel singolo di Rice per ridurre ulteriormente le dimensioni del dispositivo e adattarlo anche per l'acquisizione di video compressivi.
