Negli ultimi anni, i progressi nell'immensa capacità di elaborazione e nel parallelismo delle moderne unità di elaborazione grafica (GPU) hanno generato il rapido sviluppo del deep learning basato sulle reti neurali convoluzionali (CNN), portando a soluzioni efficaci per una varietà di problemi nelle applicazioni di intelligenza artificiale . Tuttavia, le enormi quantità di dati coinvolti nell'elaborazione della visione limitano l'applicazione delle CNN a quell'hardware portatile, efficiente dal punto di vista energetico ed efficiente dal punto di vista computazionale per elaborare i dati in loco.

Sono stati condotti numerosi studi nel campo del calcolo ottico per superare le sfide delle reti neurali elettriche. Il calcolo ottico presenta molti vantaggi interessanti, come il parallelismo ottico, che può migliorare notevolmente la velocità di elaborazione, e la passività ottica può ridurre i costi energetici e ridurre al minimo la latenza. Le reti neurali ottiche (ONN) forniscono un modo per aumentare la velocità di elaborazione e superare i colli di bottiglia della larghezza di banda delle unità elettriche. Tuttavia, gli ONN richiedono un laser coerente come sorgente di luce per il calcolo e difficilmente possono essere combinati con un sistema di visione artificiale maturo in scene di luce naturale. Quindi, sono state proposte reti neurali ibride optoelettroniche, in cui il front-end è ottico e il back-end è elettrico. Questi sistemi basati su obiettivi aumentano la difficoltà di utilizzo nei dispositivi edge, come i veicoli autonomi.

In un nuovo articolo pubblicato su Light:Science &Applications, un team di ricercatori, guidato dal professor Hongwei Chen del Centro nazionale di ricerca per la scienza e la tecnologia dell'informazione (BNRist) di Pechino, Dipartimento di ingegneria elettronica, Università di Tsinghua, Cina, ha sviluppato un'architettura di rete neurale optoelettronica (LOEN) senza lenti per la visione artificiale attività che utilizza una maschera passiva inserita nel percorso della luce di imaging per eseguire operazioni di convoluzione nel campo ottico e affronta la sfida dell'elaborazione di segnali luminosi incoerenti e a banda larga in scene naturali. Inoltre, il collegamento ottico, l'elaborazione del segnale di immagine e la rete back-end sono combinati in modo fluido per ottenere l'ottimizzazione congiunta per attività specifiche al fine di ridurre lo sforzo di calcolo e il consumo di energia nell'intera pipeline.

Rispetto all'architettura hardware nella visione artificiale convenzionale, per sostituire le lenti viene proposta una maschera ottica vicino al sensore di imaging. Secondo la teoria dell'ottica geometrica secondo cui la luce si propaga in linea retta, le scene possono essere considerate come insiemi di sorgenti luminose puntiformi e il segnale ottico è modulato spazialmente dalla maschera per realizzare l'operazione di convoluzione di spostamento e sovrapposizione sul sensore di immagine. È stato verificato che le maschere ottiche possono sostituire gli strati convoluzionali delle reti neurali per l'estrazione di caratteristiche nel dominio ottico.

Per le attività di classificazione degli oggetti come il riconoscimento delle cifre scritte a mano, viene creata una rete leggera per il riconoscimento in tempo reale per verificare le prestazioni della convoluzione ottica nell'architettura. Utilizzando un singolo kernel di convoluzione, l'accuratezza del riconoscimento può raggiungere il 93,47%. Quando l'operazione di convoluzione multicanale viene implementata disponendo più kernel in parallelo sulla maschera, l'accuratezza della classificazione può essere migliorata fino al 97,21%. Rispetto ai tradizionali collegamenti di visione artificiale, può risparmiare circa il 50% del consumo energetico.

Inoltre, espandendo la dimensione della maschera ottica, l'immagine viene convogliata nel dominio ottico e il sensore acquisisce un'immagine alias irriconoscibile all'occhio umano, che può crittografare naturalmente informazioni private senza consumo computazionale. Le prestazioni della crittografia ottica sono state verificate nell'attività di riconoscimento facciale. Rispetto al pattern MLS casuale, l'accuratezza del riconoscimento della maschera ottimizzata congiuntamente da una rete end-to-end è stata migliorata di oltre il 6%. Allo stesso tempo della crittografia della protezione della privacy, ha sostanzialmente ottenuto le stesse prestazioni di accuratezza del riconoscimento dei metodi senza crittografia.

Questo lavoro propone un sistema estremamente semplificato per le attività di visione artificiale, che non solo realizza il calcolo della rete neurale optoelettronica in scene naturali, ma apre anche l'intero collegamento optoelettronico per completare l'ottimizzazione articolare per ottenere i migliori risultati per una specifica attività di visione. In combinazione con i materiali non lineari, sarà realizzata la rete neurale a luce naturale. La nuova architettura avrà numerose potenziali applicazioni in molti scenari reali, come la guida autonoma, le case intelligenti e la sicurezza intelligente. + Esplora ulteriormente

Elaborazione completamente ottica basata su reti neurali convoluzionali