Illustrazione della procedura di rilevamento del movimento basata sul calcolo differenziale tra frame. (1) In primo luogo, il team ha sviluppato i dispositivi retinomorfici con fotoconduttività positiva e negativa non volatile e registra sperimentalmente i parametri di risposta positivi e negativi dei dispositivi; (2) i parametri del dispositivo vengono utilizzati per costruire matrici di fotoconduttività positiva e negativa m×n. E impostiamo un opportuno intervallo di tempo ∆t in base all'andamento del moto dei carrelli ed estraiamo i due frame (t1, t1+∆t) all'intervallo ∆t. I pixel m × n del frame precedente vengono moltiplicati per la matrice di mappatura negativa e archiviati, grazie alla memoria di fotoconduttività non volatile. Quest'ultimo frame m×n pixel vengono moltiplicati per la matrice di mappatura positiva e il risultato memorizzato viene sommato al frame precedente; (3) dopo aver ottenuto la somma inter-frame, viene definita una funzione di attivazione del passo per aiutare a differenziare i dati sommati. Alla fine, i pixel classificati sono stati riorganizzati in una sequenza per costruire l'immagine rilevata da Python. Poiché i pixel sono diversi sotto frame variabili se il carrello è in movimento, ed è distinguibile dopo aver moltiplicato e sommato con le matrici di fotoconduttività positiva e negativa. Credito:Zhang et al.
I dispositivi in grado di rilevare e riconoscere automaticamente gli oggetti in movimento hanno numerose applicazioni preziose, ad esempio il miglioramento del monitoraggio ambientale remoto. La maggior parte delle tecnologie di rilevamento e riconoscimento del movimento (MDR) esistenti si basano su sensori di immagine realizzati con semiconduttori a ossido di metallo complementari (CMOS). Rispetto alla retina umana, questi sistemi sono spesso ingombranti e inefficaci, poiché richiedono diversi componenti hardware per acquisire, archiviare ed elaborare le immagini.
I ricercatori della Fudan University e dell'Accademia cinese delle scienze hanno recentemente sviluppato un nuovo dispositivo bidimensionale (2D) ispirato alla retina umana in grado di rilevare i movimenti, archiviare i dati di movimento e analizzarli. Questo dispositivo all-in-one, presentato in un articolo pubblicato su Nature Nanotechnology , è molto meno ingombrante dei dispositivi esistenti per il riconoscimento del movimento, tuttavia è in grado di riconoscere oggetti in movimento con un'elevata precisione.
"Inizialmente, abbiamo progettato la struttura specifica che mostrava una nuova funzione di archiviazione fotografica positiva e negativa", ha detto a Phys.org Peng Zhou, uno dei ricercatori che hanno condotto lo studio. "Dopo aver comunicato con un professore specializzato in visione artificiale, abbiamo scoperto la comunanza tra la struttura e la rete retinica e abbiamo iniziato la progettazione e l'esplorazione della funzione di visione artificiale come il rilevamento del movimento e il rilevamento dei bordi."
Zhou e i suoi colleghi hanno deciso di sviluppare un dispositivo in grado di rilevare la luce, archiviare dati ed eseguire calcoli, utilizzando hardware a forma di retina umana. L'obiettivo principale del loro lavoro era ottenere il rilevamento e il riconoscimento del movimento con un dispositivo più semplice e leggero che consuma meno energia.
"Il dispositivo all-in-one che abbiamo creato ha due diverse modalità basate sui diversi vettori memorizzati, che corrispondono rispettivamente a una risposta ottica positiva e negativa", ha spiegato Zhou. "Pertanto, può produrre un output non volatile antagonista positivo/negativo sotto illuminazione. L'integrazione di rilevamento, memoria e calcolo è proprio simile alla modalità della rete retinica umana".
Poiché il dispositivo creato da Zhou e dai suoi colleghi assomiglia in parte alla retina umana, il team ha valutato la sua capacità di eseguire alcune delle funzioni della retina, tra cui il rilevamento del movimento e dei bordi. Sorprendentemente, hanno scoperto che una rete neurale artificiale in esecuzione sul dispositivo ispirato alla retina potrebbe riconoscere oggetti in movimento con una precisione significativamente maggiore rispetto agli algoritmi in esecuzione su altri dispositivi.
"I precedenti dispositivi ispirati alla retina mostravano solo risposte ottiche e non potevano memorizzarle in modo efficiente, impedendo così i calcoli nel dominio del tempo per i bersagli in movimento", ha affermato Zhou. "I dispositivi retinomorfici all-in-one che abbiamo proposto hanno una fotoconduttività bipolare positiva e negativa non volatile, che consentono un'elaborazione differenziale temporale senza precedenti e possono quindi essere applicati sia a bersagli mobili che a immagini statiche".
I ricercatori hanno già utilizzato il loro progetto per creare un prototipo del dispositivo retinomorfo. In futuro, questo dispositivo potrebbe essere utilizzato per monitorare in remoto una varietà di ambienti o potrebbe essere integrato nei robot per migliorare le loro capacità di rilevamento e riconoscimento del movimento.
"We have extended the functionality and applications of retina-inspired devices with 2D materials and provided prototype demonstrations for the integration of sensing, memory and computing," Zhou added. "We now plan to use the device we created as a model to build a hardware network system. At this stage, we are already working on exploring 2D system processes as well as constructing a test platform." + Esplora ulteriormente
© 2021 Rete Scienza X
