Piccole imperfezioni in un bicchiere da vino o piccole pieghe in una lente a contatto possono essere difficili da distinguere, anche in buona luce. Nel buio quasi totale, le immagini di tali caratteristiche o oggetti trasparenti sono quasi impossibili da decifrare. Ma ora, gli ingegneri del MIT hanno sviluppato una tecnica in grado di rivelare questi oggetti "invisibili", nell'oscurità.

In uno studio pubblicato oggi in Lettere di revisione fisica , i ricercatori hanno ricostruito oggetti trasparenti dalle immagini di quegli oggetti, scattata in condizioni quasi nere come la pece. Lo hanno fatto usando una "rete neurale profonda, " una tecnica di apprendimento automatico che prevede l'addestramento di un computer per associare determinati input a specifici output, in questo caso, buio, immagini sgranate di oggetti trasparenti e degli oggetti stessi.

Il team ha addestrato un computer a riconoscere più di 10, 000 incisioni trasparenti simili al vetro, basato su immagini estremamente sgranate di quei modelli. Le immagini sono state scattate in condizioni di scarsa illuminazione, con circa un fotone per pixel, molta meno luce di quella che registrerebbe una fotocamera al buio, stanza sigillata. Hanno quindi mostrato al computer una nuova immagine sgranata, non incluso nei dati di allenamento, e scoprì che aveva imparato a ricostruire l'oggetto trasparente che l'oscurità aveva oscurato.

I risultati dimostrano che le reti neurali profonde possono essere utilizzate per illuminare elementi trasparenti come tessuti e cellule biologici, nelle immagini scattate con pochissima luce.

"Nel laboratorio, se fai esplodere le cellule biologiche con la luce, le bruci, e non c'è più niente da immaginare, "dice George Barbastathis, professore di ingegneria meccanica al MIT. "Quando si tratta di imaging a raggi X, se esponi un paziente ai raggi X, aumenti il ​​rischio che possano ammalarsi di cancro. Quello che stiamo facendo qui è, puoi ottenere la stessa qualità dell'immagine, ma con una minore esposizione al paziente. E in biologia, puoi ridurre i danni ai campioni biologici quando li vuoi campionare."

I coautori di Barbastathis sull'articolo sono l'autore principale Alexandre Goy, Kwabena Arthur, e Shuai Li.

Apprendimento oscuro profondo

Le reti neurali sono schemi computazionali progettati per emulare vagamente il modo in cui i neuroni del cervello lavorano insieme per elaborare input di dati complessi. Una rete neurale funziona eseguendo "strati" successivi di manipolazioni matematiche. Ogni strato computazionale calcola la probabilità per un dato output, sulla base di un input iniziale. Ad esempio, data l'immagine di un cane, una rete neurale può identificare caratteristiche che ricordano prima un animale, poi più precisamente un cane, e alla fine, un beagle. Una rete neurale "profonda" comprende molti, livelli di calcolo molto più dettagliati tra input e output.

Un ricercatore può "addestrare" tale rete per eseguire calcoli più velocemente e con maggiore precisione, nutrendolo di centinaia o migliaia di immagini, non solo di cani, ma altri animali, oggetti, e persone, insieme all'etichetta corretta per ogni immagine. Dati sufficienti dati da cui imparare, la rete neurale dovrebbe essere in grado di classificare correttamente immagini completamente nuove.

Le reti neurali profonde sono state ampiamente applicate nel campo della visione artificiale e del riconoscimento delle immagini, e recentemente, Barbastathis e altri hanno sviluppato reti neurali per ricostruire oggetti trasparenti in immagini scattate con molta luce. Ora il suo team è il primo a utilizzare le reti neurali profonde negli esperimenti per rivelare oggetti invisibili nelle immagini scattate al buio.

"Gli oggetti invisibili possono essere rivelati in diversi modi, ma di solito richiede di usare molta luce, " dice Barbastathis. "Quello che stiamo facendo ora è visualizzare gli oggetti invisibili, nell'oscurità. Quindi è come due difficoltà combinate. Eppure possiamo ancora fare la stessa quantità di rivelazioni".

La legge della luce

Il team ha consultato un database di 10, 000 circuiti integrati (IC), ognuno dei quali è inciso con un diverso motivo intricato di barre orizzontali e verticali.

"Quando guardiamo ad occhio nudo, non vediamo molto, sembrano un pezzo di vetro trasparente, " Dice Goy. "Ma in realtà ci sono strutture molto fini e poco profonde che hanno ancora un effetto sulla luce".

Invece di incidere ciascuno dei 10, 000 modelli su altrettanti vetrini, i ricercatori hanno utilizzato un "modulatore di luce spaziale di fase, " uno strumento che visualizza il motivo su un singolo vetrino in modo da ricreare lo stesso effetto ottico che avrebbe un vero vetrino inciso.

I ricercatori hanno organizzato un esperimento in cui hanno puntato una telecamera su un piccolo telaio di alluminio contenente il modulatore di luce. Hanno quindi utilizzato il dispositivo per riprodurre ciascuno dei 10, 000 modelli IC dal database. I ricercatori hanno coperto l'intero esperimento in modo che fosse protetto dalla luce, e poi ha usato il modulatore di luce per ruotare rapidamente attraverso ogni schema, simile a un carosello di diapositive. Hanno preso immagini di ogni modello trasparente, nell'oscurità quasi totale, producendo immagini "sale e pepe" che sembravano poco più che statiche su uno schermo televisivo.

Il team ha sviluppato una rete neurale profonda per identificare modelli trasparenti da immagini scure, quindi alimentato la rete ciascuno dei 10, 000 fotografie sgranate scattate dalla fotocamera, insieme ai loro modelli corrispondenti, o quelle che i ricercatori chiamavano "verità di base".

"Dì al computer, 'Se metto questo, tira fuori questo, '" dice Goy. "Fai questo 10, 000 volte, e dopo la formazione, speri che se gli dai un nuovo input, può dirti quello che vede."

"È un po' peggio di un bambino, "Barbastathis scherza. "Di solito i bambini imparano un po' più velocemente."

I ricercatori hanno impostato la fotocamera per scattare le immagini leggermente sfocate. Per quanto controintuitivo possa sembrare, questo in realtà funziona per mettere a fuoco un oggetto trasparente. O, più precisamente, la defocalizzazione fornisce alcune prove, sotto forma di increspature alla luce rilevata, che un oggetto trasparente possa essere presente. Tali increspature sono un segnale visivo che una rete neurale può rilevare come primo segno che un oggetto si trova da qualche parte nella granulosità di un'immagine.

Ma la sfocatura crea anche sfocatura, che può confondere i calcoli di una rete neurale. Per affrontare questo, i ricercatori hanno incorporato nella rete neurale una legge in fisica che descrive il comportamento della luce, e come crea un effetto sfocato quando una fotocamera è sfocata.

"Quello che sappiamo è la legge fisica della propagazione della luce tra il campione e la fotocamera, " dice Barbastathis. "È meglio includere questa conoscenza nel modello, quindi la rete neurale non perde tempo a imparare qualcosa che già sappiamo".

Immagine più nitida

Dopo aver addestrato la rete neurale su 10, 000 immagini di diversi modelli IC, il team ha creato un modello completamente nuovo, non incluso nel set di allenamento originale. Quando hanno preso un'immagine del modello, di nuovo nell'oscurità, e ha alimentato questa immagine nella rete neurale, hanno confrontato i modelli che la rete neurale ha ricostruito, sia con che senza la legge fisica incorporata nella rete.

Hanno scoperto che entrambi i metodi hanno ricostruito ragionevolmente bene il modello trasparente originale, ma la "ricostruzione informata dalla fisica" ha prodotto una più nitida, immagine più accurata. Cosa c'è di più, questo modello ricostruito, da un'immagine scattata nel buio quasi totale, era più definito di una ricostruzione basata sulla fisica dello stesso modello, ripreso con una luce maggiore di 1, 000 volte più luminoso.

Il team ha ripetuto i propri esperimenti con un set di dati completamente nuovo, composto da più di 10, 000 immagini di oggetti più generici e vari, comprese le persone, posti, e animali. Dopo l'allenamento, i ricercatori hanno alimentato la rete neurale con un'immagine completamente nuova, preso al buio, di un'acquaforte trasparente di una scena con gondole attraccate ad un molo. Ancora, hanno scoperto che la ricostruzione basata sulla fisica produceva un'immagine più accurata dell'originale, rispetto alle riproduzioni senza la legge fisica incorporata.

"Abbiamo dimostrato che l'apprendimento profondo può rivelare oggetti invisibili nell'oscurità, " Dice Goy. "Questo risultato è di importanza pratica per l'imaging medico per ridurre l'esposizione del paziente alle radiazioni nocive, e per l'imaging astronomico."

Questa storia è stata ripubblicata per gentile concessione di MIT News (web.mit.edu/newsoffice/), un popolare sito che copre notizie sulla ricerca del MIT, innovazione e didattica.