Un team di ricercatori del Rochester Institute of Technology ha vinto il primo premio in un concorso internazionale organizzato da Facebook Research per sviluppare soluzioni di eye-tracking più efficaci. Il gruppo, guidato da tre dottorandi. studenti del Chester F. Carlson Center for Imaging Science, ha vinto il primo posto nella OpenEDS Challenge incentrata sulla segmentazione semantica.

I prodotti di realtà virtuale come Oculus VR si affidano al tracciamento oculare per creare esperienze coinvolgenti. Il tracciamento oculare deve essere preciso, preciso e sempre funzionante, per ogni persona, in qualsiasi ambiente.

"Attualmente il tracciamento oculare viene effettuato rilevando la pupilla e adattando un modello bidimensionale o tridimensionale ai dati, " disse Aayush Chaudhary, un dottorato di ricerca in scienze dell'immagine studente nepalese e uno dei principali autori del paper vincitore del premio. "L'obiettivo generale dell'OpenEDS Challenge era quello di separare l'iride, pupilla e sclera nelle immagini dell'occhio in modo che i modelli 2-D e 3-D possano essere adattati a un modello compatto."

Per aiutare ad espandere le applicazioni in cui è possibile utilizzare il tracciamento oculare, Facebook Research ha lanciato la sfida per creare modelli di computer robusti che possano funzionare in tempo reale. Richiedevano che la soluzione vincente fosse accurata, robusto ed estremamente efficiente dal punto di vista energetico.

"Quando si parla di tracciare gli occhi su un dispositivo come il cellulare, hai bisogno di modelli piccoli, che può essere eseguito in tempo reale, " disse Rakshit Kothari, un dottorato di ricerca in scienze dell'immagine studente dall'India. "Devi essere in grado di tirare fuori il tuo cellulare e farlo funzionare subito, senza troppi calcoli".

Con il supporto dei loro consulenti, tre dottorato di ricerca in scienze dell'immagine studenti:Kothari, Chaudhary, e Manoj Acharya del Nepal, hanno dedicato un mese del loro tempo di ricerca per sviluppare la soluzione. Hanno eseguito innumerevoli modelli in quell'arco, perfezionando continuamente il loro approccio e portando avanti la sfida nell'ultimo giorno di gara. Lungo la strada, hanno superato diversi ostacoli imprevisti per costruire un modello pratico.

"Ci sono condizioni che non avremmo mai previsto che possono emergere in queste immagini, di cui il nostro modello doveva occuparsi con intelligenza, " disse Acharya. "Ad esempio, se insegnassi a questa modella come trovare queste caratteristiche usando immagini in cui le persone non si truccano gli occhi, e poi all'improvviso entra qualcuno con tanto mascara, che potrebbe buttarlo via completamente. Hai bisogno di un modello per essere abbastanza intelligente e intelligente da aggirare questo problema".

Il progetto interdisciplinare ha richiesto la collaborazione tra laboratori e college del RIT. I tre autori principali hanno collaborato con coautori tra cui Nitinraj Nair, uno studente laureato in informatica dall'India, e Sushil Dangi, un dottorato di ricerca in scienze dell'immagine studente nepalese. Hanno lavorato a stretto contatto con i loro consulenti:Frederick Wiedman Professor Jeff Pelz, Professore assistente Gabriel Diaz, e l'assistente professore Christopher Kanan del College of Science, e il professor Reynold Bailey del Golisano College of Computing and Information Sciences.

I ricercatori lavorano in quattro laboratori RIT:il Multidisciplinary Vision Research Laboratory (MVRL), il laboratorio PerForm (Perception for Movement), il Laboratorio di Macchina e Percezione Neuromorfica (kLab) e il Laboratorio di Computer Grafica e Percezione Applicata.

I membri del team presenteranno la loro soluzione al Workshop OpenEDS 2019:Eye Tracking for VR and AR alla International Conference on Computer Vision (ICCV) a Seoul, Corea il 2 novembre.

La squadra ha vinto $ 5, 000 e donerà il premio in denaro alla nuova borsa Willem "Bill" Brouwer Endowed Fellowship per sostenere la ricerca degli studenti laureati presso il Chester F. Carlson Center for Imaging Science.

Ulteriori informazioni sono disponibili sul sito Web di Facebook Research OpenEDS Challenge.