Imaging specifico della classe dell'oggetto utilizzando una fotocamera diffrattiva. a Illustrazione di una fotocamera diffrattiva a tre strati addestrata per eseguire l'imaging specifico della classe di oggetti con cancellazione istantanea di tutte le ottiche delle altre classi di oggetti al suo FOV di output. b La configurazione sperimentale per il test della telecamera diffrattiva utilizzando l'illuminazione THz coerente. Credito:eLight (2022). DOI:10.1186/s43593-022-00021-3
Negli ultimi dieci anni, le fotocamere digitali sono state ampiamente adottate in vari aspetti della nostra società e sono ampiamente utilizzate nei telefoni cellulari, nella sorveglianza di sicurezza, nei veicoli autonomi e nel riconoscimento facciale. Attraverso queste telecamere vengono generate enormi quantità di dati di immagine, il che solleva crescenti preoccupazioni sulla protezione della privacy.
Alcuni metodi esistenti affrontano queste preoccupazioni applicando algoritmi per nascondere le informazioni sensibili dalle immagini acquisite, come la sfocatura o la crittografia delle immagini. Tuttavia, tali metodi rischiano ancora l'esposizione di dati sensibili perché le immagini grezze vengono già acquisite prima di essere sottoposte all'elaborazione digitale per nascondere o crittografare le informazioni sensibili. Inoltre, il calcolo di questi algoritmi richiede un consumo energetico aggiuntivo. Sono stati compiuti anche altri sforzi per cercare soluzioni a questo problema utilizzando telecamere personalizzate per ridurre la qualità dell'immagine in modo da nascondere le informazioni identificabili. Tuttavia, questi approcci sacrificano la qualità complessiva dell'immagine per tutti gli oggetti di interesse, il che è indesiderato, e sono ancora vulnerabili agli attacchi del contraddittorio per recuperare le informazioni sensibili registrate.
Un nuovo documento di ricerca pubblicato su eLight ha dimostrato un nuovo paradigma per ottenere immagini che preservano la privacy costruendo un tipo fondamentalmente nuovo di imager progettato dall'IA. Nel loro articolo, i ricercatori dell'UCLA, guidati dal professor Aydogan Ozcan, hanno presentato un progetto di fotocamera intelligente che riprende solo alcuni tipi di oggetti desiderati, cancellando istantaneamente altri tipi di oggetti dalle sue immagini senza richiedere alcuna elaborazione digitale.
Questo nuovo design della fotocamera è costituito da successive superfici trasmissive, ciascuna composta da decine di migliaia di caratteristiche diffrattive alla scala della lunghezza d'onda della luce. La struttura di queste superfici trasmissive è ottimizzata utilizzando il deep learning per modulare la fase dei campi ottici trasmessi in modo tale che la fotocamera immagini solo determinati tipi/classi di oggetti desiderati e cancelli gli altri. Dopo la sua progettazione basata sul deep learning (formazione), gli strati risultanti vengono fabbricati e assemblati in 3D, formando la smart camera. Dopo il suo assemblaggio, quando gli oggetti di input dalle classi di oggetti di destinazione appaiono davanti ad esso, formano immagini di alta qualità sull'output della fotocamera, come desiderato. Al contrario, quando gli oggetti di input davanti alla stessa telecamera appartengono ad altre classi indesiderate, vengono cancellati otticamente, formando pattern non informativi e di bassa intensità simili al rumore casuale.
Poiché le informazioni caratteristiche di classi di oggetti indesiderate vengono cancellate otticamente all'uscita della fotocamera attraverso la diffrazione della luce, questa fotocamera progettata dall'IA non registra mai le loro immagini dirette. Pertanto, la protezione della privacy è massimizzata poiché un attacco del contraddittorio che ha accesso alle immagini registrate di questa telecamera non può riportare le informazioni. Questa funzione può anche ridurre la memorizzazione dei dati delle fotocamere e il carico di trasmissione poiché le immagini di oggetti indesiderati non vengono registrate.
Per dimostrare sperimentalmente questa fotocamera specifica per dati unica, il team di ricerca dell'UCLA l'ha progettata per visualizzare in modo specifico e selettivo solo una classe di cifre scritte a mano e ha fabbricato la fotocamera progettata utilizzando la stampa 3D. Questa fotocamera stampata in 3D è stata testata utilizzando onde terahertz che illuminano cifre scritte a mano. Seguendo i principi fondamentali della sua progettazione, la fotocamera intelligente è stata in grado di visualizzare selettivamente gli oggetti di input solo se erano cifre scritte a mano "2", cancellando istantaneamente tutte le altre cifre scritte a mano dalle immagini di output, producendo caratteristiche simili al rumore a bassa intensità .
Oltre alle cifre scritte a mano, i ricercatori dell'UCLA hanno anche dimostrato un'altra variazione dello stesso design della fotocamera specifico per classe, immaginando selettivamente un tipo di prodotto di moda (ad esempio i pantaloni), cancellando istantaneamente altri prodotti di moda dall'output della fotocamera. Il team di ricerca ha testato rigorosamente il design della fotocamera in condizioni di illuminazione variabili che non sono mai state incluse nella sua formazione e ha dimostrato che questa fotocamera intelligente è resistente alle variazioni di illuminazione.
Oltre all'imaging specifico per classe di dati, questo design della telecamera basato sull'intelligenza artificiale è stato utilizzato anche per costruire telecamere di crittografia, fornendo un ulteriore livello di sicurezza e protezione della privacy. Tale telecamera di crittografia, progettata utilizzando strati diffrattivi ottimizzati per l'intelligenza artificiale, esegue otticamente una trasformazione lineare selezionata, esclusivamente per gli oggetti target di interesse. Only those with access to the decryption key (i.e., the inverse linear transformation in this case) can recover the original image of the target objects. On the other hand, the information of the other undesired objects is irreversibly lost since the AI-designed camera all-optically erases them at the output. Therefore, even if the decryption key is applied to the recorded images, it yields noise-like, unrecognizable features for other classes of undesired objects.
Except for the illumination light, this smart camera does not require any external power for its computation and operates at the speed of light. Therefore, it is fast, data- and energy-efficient, making it especially suitable for task-specific, privacy-aware, and power-limited imaging applications. The core teachings of this diffractive camera design can inspire future imaging systems that consume orders of magnitude less computing and data transmission power.
This research was led by Professor Aydogan Ozcan, the associate director of the California NanoSystems Institute (CNSI) and the Volgenau Chair for Engineering Innovation at the Electrical and Computer Engineering (ECE) department at UCLA, along with Professor Mona Jarrahi, the Northrop Grumman Endowed Chair and the director of the Terahertz Electronics Laboratory at UCLA ECE. The other authors of this work include graduate students Bijie Bai, Yi Luo, Tianyi Gan, Yuhang Li, Yifan Zhao, Deniz Mengu and post-doctoral researcher Dr. Jingtian Hu, all with the ECE department at UCLA. + Esplora ulteriormente
