Immagina di andare per la prima volta in un supermercato sconosciuto. Se sei una persona che può vedere, puoi semplicemente guardarti intorno per guidare te stesso e identificare oggetti e ostacoli. Però, i ciechi devono usare altri sensi per orientarsi in un nuovo spazio.

Prossimamente, i ciechi potrebbero avere un aiuto nella navigazione, grazie ai ricercatori di Caltech che hanno combinato hardware di realtà aumentata e algoritmi di visione artificiale per sviluppare software che consente agli oggetti di "parlare". Indossato come auricolare portatile, la tecnologia traduce il mondo ottico in un semplice audio inglese. Il dispositivo potrebbe un giorno essere reso disponibile nelle banche, negozi di alimentari, musei, e altri luoghi, per aiutare i non vedenti a farsi strada attraverso spazi sconosciuti.

Il lavoro è stato svolto nel laboratorio di Markus Meister (Ph.D. '87), Anne P. e Benjamin F. Biaggini Professore di Scienze Biologiche e dirigente per la neurobiologia, ed è descritto in un articolo apparso nel numero del 27 novembre della rivista eLife . Meister è un membro di facoltà affiliato del Tianqiao and Chrissy Chen Institute for Neuroscience al Caltech.

"Immagina di essere in un mondo in cui tutti gli oggetti intorno a te hanno voci e possono parlarti, " dice Meister. "Ovunque punti lo sguardo, i diversi oggetti su cui ti concentri vengono attivati ​​e ti dicono i loro nomi. Riesci a immaginare di andare in giro in un mondo del genere, eseguire alcuni dei tanti compiti per i quali normalmente usiamo il nostro sistema visivo? Questo è quello che abbiamo fatto qui:dare voce agli oggetti".

Guidato dallo studente laureato Yang Liu, il team di scienziati ha sviluppato un sistema chiamato CARA, o l'assistente cognitivo di realtà aumentata. CARA è stato sviluppato per un computer auricolare indossabile chiamato HoloLens, sviluppato da Microsoft, che può scansionare l'ambiente di un utente e identificare singoli oggetti come un laptop o un tavolo. Con CARA, ad ogni oggetto nell'ambiente viene data una voce e "pronuncerà" il suo nome al comando dell'utente. La tecnologia utilizza il cosiddetto suono spazializzato, che fa sì che gli oggetti suonino in modo diverso a seconda della loro posizione all'interno di una stanza. Se l'oggetto è, Per esempio, all'estrema sinistra dell'utente, la sua voce suonerà come se provenisse da sinistra. Inoltre, più vicino è l'oggetto, più alto è il tono della sua "voce".

Per evitare una cacofonia di oggetti che parlano contemporaneamente, Liu e il suo team hanno programmato CARA con diverse modalità. Nel primo, chiamata modalità riflettore, un oggetto dice il suo nome solo quando l'utente è di fronte ad esso. Quando l'utente gira la testa per affrontare vari oggetti, gli oggetti dicono ciascuno il loro nome, e il tono della voce dell'oggetto fornisce un segnale acustico sulla sua distanza relativa dall'utente. In questo modo, un utente con problemi di vista può "guardarsi intorno" per esplorare il proprio ambiente. In una seconda modalità, chiamata modalità di scansione, l'ambiente viene scansionato da sinistra a destra con oggetti che pronunciano i loro nomi di conseguenza. La terza modalità è la modalità target, dove l'utente può selezionare uno degli oggetti con cui parlare in esclusiva e utilizzarlo come guida per navigare.

Per testare le applicazioni pratiche di CARA, i ricercatori hanno progettato un percorso di prova per volontari ciechi attraverso l'edificio Beckman Behavioral Biology al Caltech. Per preparare il compito, gli scienziati hanno prima sviluppato un percorso attraverso l'edificio e l'hanno seguito indossando le HoloLens, che ha scansionato l'ambiente e lo ha salvato in memoria. Quindi, ai volontari non vedenti è stato chiesto di percorrere il percorso utilizzando il CARA come guida. All'inizio di ogni volontario, una voce, apparentemente proveniente da una posizione più avanti sul percorso, gridò "Seguimi, " raccontando all'utente anche delle scale, corrimano, angoli da girare, e simili. Guidato da CARA, tutti e sette i volontari hanno completato con successo il compito al primo tentativo.

CARA è ancora agli inizi, ma trarrà vantaggio dal rapido sviluppo di algoritmi per la visione artificiale. I ricercatori stanno già implementando nuovi schemi per l'identificazione in tempo reale di oggetti e pedoni. Infine, sperano che posti come le banche, alberghi, e i centri commerciali offriranno i dispositivi CARA per l'utilizzo da parte dei loro clienti non vedenti.

Oltre al lavoro con il CARA, il team ha anche sviluppato un nuovo "test standardizzato" per valutare le prestazioni di vari dispositivi di assistenza per non vedenti. Il metodo fornisce un ambiente di realtà virtuale che i ricercatori di tutto il mondo possono utilizzare per confrontare i propri dispositivi, senza dover ricostruire spazi fisici reali.

Il documento si intitola "La realtà aumentata potenzia un assistente cognitivo per i non vedenti".