I ricercatori hanno sviluppato una fotocamera facile da costruire che produce immagini 3D da una singola immagine 2D senza obiettivi. In una prima applicazione della tecnologia, i ricercatori prevedono di utilizzare la nuova fotocamera, che chiamano DiffuserCam, per osservare l'attività microscopica dei neuroni in topi viventi senza microscopio. In definitiva, potrebbe rivelarsi utile per un'ampia gamma di applicazioni che coinvolgono l'acquisizione 3D.

La fotocamera è compatta ed economica da costruire perché consiste solo di un diffusore - essenzialmente un pezzo di plastica irregolare - posizionato sopra un sensore di immagine. Sebbene l'hardware sia semplice, il software che utilizza per ricostruire immagini 3D ad alta risoluzione è molto complesso.

"Il DiffuserCam può, in un colpo solo, acquisire informazioni 3D in un grande volume ad alta risoluzione, " ha detto il capo del gruppo di ricerca Laura Waller, Università della California, Berkeley. "Pensiamo che la fotocamera potrebbe essere utile per le auto a guida autonoma, dove le informazioni 3D possono offrire un senso di scala, oppure potrebbe essere utilizzato con algoritmi di apprendimento automatico per eseguire il rilevamento dei volti, tenere traccia delle persone o classificare automaticamente gli oggetti."

In ottica , La rivista della Optical Society per la ricerca ad alto impatto, i ricercatori mostrano che la DiffuserCam può essere utilizzata per ricostruire 100 milioni di voxel, o pixel 3D, da un'immagine da 1,3 megapixel (1,3 milioni di pixel) senza alcuna scansione. Per confronto, la fotocamera dell'iPhone X scatta foto da 12 megapixel. I ricercatori hanno utilizzato la fotocamera per catturare la struttura 3D delle foglie di una piccola pianta.

"La nostra nuova fotocamera è un ottimo esempio di ciò che si può ottenere con l'imaging computazionale, un approccio che esamina come hardware e software possono essere utilizzati insieme per progettare sistemi di imaging, " ha detto Waller. "Abbiamo fatto uno sforzo concertato per mantenere l'hardware estremamente semplice ed economico. Sebbene il software sia molto complicato, può anche essere facilmente replicato o distribuito, consentendo ad altri di creare questo tipo di fotocamera a casa."

Una DiffuserCam può essere creata utilizzando qualsiasi tipo di sensore di immagine e può visualizzare oggetti che vanno da dimensioni microscopiche fino alle dimensioni di una persona. Offre una risoluzione nell'intervallo delle decine di micron durante l'imaging di oggetti vicini al sensore. Sebbene la risoluzione diminuisca quando si riprende una scena più lontana dal sensore, è ancora abbastanza alto da distinguere che una persona si trova parecchi piedi più vicina alla telecamera rispetto a un'altra persona, Per esempio.

Un approccio semplice all'imaging complesso

Il DiffuserCam è un parente della telecamera a campo luminoso, che cattura la quantità di luce che colpisce un pixel sul sensore di immagine e l'angolo da cui la luce colpisce quel pixel. In una tipica fotocamera a campo luminoso, una serie di minuscole lenti poste davanti al sensore viene utilizzata per catturare la direzione della luce in arrivo, consentendo approcci computazionali per rifocalizzare l'immagine e creare immagini 3D senza i passaggi di scansione tipicamente richiesti per ottenere informazioni 3D.

Fino ad ora, le telecamere a campo chiaro sono state limitate nella risoluzione spaziale perché alcune informazioni spaziali vengono perse durante la raccolta delle informazioni direzionali. Un altro inconveniente di queste fotocamere è che gli array di microlenti sono costosi e devono essere personalizzati per una particolare fotocamera o componenti ottici utilizzati per l'imaging.

"Volevo vedere se potevamo ottenere le stesse capacità di imaging utilizzando un hardware semplice ed economico, " ha detto Waller. "Se disponiamo di algoritmi migliori, potrebbe il progettato con cura, costosi array di microlenti essere sostituiti con una superficie di plastica con un motivo casuale come un pezzo di plastica irregolare?"

Dopo aver sperimentato vari tipi di diffusori e sviluppato i complessi algoritmi, Nick Antipa e Grace Kuo, studenti nel laboratorio di Waller, scoprì che l'idea di Waller per una semplice telecamera a campo luminoso era possibile. Infatti, usando urti casuali negli adesivi di vetro per la privacy, Porta badge per conferenze in scotch o plastica, ha permesso ai ricercatori di migliorare le tradizionali capacità della fotocamera a campo luminoso utilizzando il rilevamento compresso per evitare la tipica perdita di risoluzione che viene fornita con gli array di microlenti.

Sebbene altre telecamere a campo luminoso utilizzino array di lenti progettati e allineati con precisione, le dimensioni esatte e la forma delle protuberanze nel diffusore della nuova fotocamera sono sconosciute. Ciò significa che devono essere acquisite alcune immagini di un punto luminoso in movimento per calibrare il software prima dell'imaging. I ricercatori stanno lavorando su un modo per eliminare questo passaggio di calibrazione utilizzando i dati grezzi per la calibrazione. Vogliono anche migliorare la precisione del software e rendere più veloce la ricostruzione 3D.

Nessun microscopio richiesto

La nuova fotocamera sarà utilizzata in un progetto dell'Università della California Berkeley che mira a osservare un milione di singoli neuroni stimolando 1, 000 di loro con precisione a cella singola. Il progetto è finanziato dal programma di progettazione del sistema di ingegneria neurale della DARPA - parte dell'iniziativa BRAIN del governo federale - per sviluppare sistemi impiantabili, interfacce neurali biocompatibili che potrebbero eventualmente compensare deficit visivi o uditivi.

Come primo passo, i ricercatori vogliono creare quello che chiamano un modem corticale che "leggerà" e "scriverà" nel cervello dei modelli animali, molto simile all'attività di input-output dei modem Internet. La DiffuserCam sarà il cuore del dispositivo di lettura per questo progetto, che utilizzerà anche proteine ​​speciali che consentiranno agli scienziati di controllare l'attività neuronale con la luce.

"Utilizzare questo per osservare i neuroni che si attivano nel cervello di un topo potrebbe in futuro aiutarci a capire di più sulla percezione sensoriale e fornire conoscenze che potrebbero essere utilizzate per curare malattie come l'Alzheimer o i disturbi mentali, " ha detto Waller.

Sebbene le nuove tecniche di imaging possano catturare centinaia di neuroni che si attivano, come funziona il cervello su scale più grandi non è completamente compreso. Il DiffuserCam ha il potenziale per fornire quell'intuizione immaginando milioni di neuroni in un colpo solo. Poiché la fotocamera è leggera e non richiede microscopio o obiettivo, può essere attaccato a una finestra trasparente nel cranio di un topo, permettendo all'attività neuronale di essere collegata al comportamento. Diversi array con diffusori sovrastanti possono essere affiancati per l'immagine di grandi aree.

Un bisogno di designer interdisciplinari

"Il nostro lavoro mostra che l'imaging computazionale può essere un processo creativo che esamina tutte le parti del design ottico e del design dell'algoritmo per creare sistemi ottici che realizzano cose che non potevano essere fatte prima o per utilizzare un approccio più semplice a qualcosa che potrebbe essere fatto prima , " ha detto Waller. "Questa è una direzione molto potente per l'imaging, ma richiede progettisti con competenze ottiche e fisiche, nonché conoscenze computazionali."

Il nuovo Berkeley Center for Computational Imaging, guidato da Waller, sta lavorando per formare più scienziati in questo campo interdisciplinare. Gli scienziati del centro si incontrano anche settimanalmente con bioingegneri, fisici e ingegneri elettrici, nonché esperti di elaborazione del segnale e apprendimento automatico per scambiare idee e comprendere meglio le esigenze di imaging di altri campi.