Una panoramica del sistema di assistenza VI. Il sistema include un terminale indossabile composto da una fotocamera RGBD e un auricolare, un processore e un'interfaccia touch che offre istruzioni percorribili e descrizioni delle scene. Credito:Lin et al.
I nuovi progressi tecnologici potrebbero avere importanti implicazioni per le persone affette da disabilità, offrendo un prezioso aiuto per tutta la loro vita quotidiana. Un esempio chiave di ciò è la guida che gli strumenti tecnologici potrebbero fornire ai non vedenti (VI), individui parzialmente o totalmente ciechi.
Con questo in testa, ricercatori presso CloudMinds Technologies Inc., in Cina, hanno recentemente creato un nuovo sistema di assistenza indossabile basato sull'apprendimento profondo per individui VI. Questo sistema, presentato in un articolo pre-pubblicato su arXiv, consiste in un terminale indossabile, un potente processore e uno smartphone. Il terminale indossabile ha due componenti chiave, una fotocamera RGBD e un auricolare.
"Vi presentiamo un sistema indossabile basato sul deep learning per migliorare la qualità della vita dell'IV, " hanno scritto i ricercatori nel loro articolo. "Il sistema è progettato per una navigazione sicura e una percezione completa della scena in tempo reale".
Il sistema sviluppato dal team di CloudMinds raccoglie essenzialmente i dati dall'ambiente circostante l'utente attraverso la telecamera RGBD. Questi dati vengono inviati a una rete neurale convoluzionale (CNN) che li analizza e prevede le strategie di navigazione e di evitamento degli ostacoli più efficaci. Queste strategie, insieme ad altre informazioni sull'ambiente circostante, vengono poi comunicati all'utente tramite un auricolare.
Quando si costruisce questo sistema, i primi ricercatori hanno sviluppato un data-driven, rete convoluzionale end-to-end (CNN) in grado di generare istruzioni senza collisioni man mano che un utente avanza, sinistra, o e destra in base ai dati RGBD e alle mappe semantiche associate. Inoltre, hanno progettato una serie di interazioni che sono facili da adottare per gli individui VI, al fine di fornire loro un feedback affidabile, come istruzioni a piedi per evitare ostacoli e informazioni sull'ambiente circostante.
"Il nostro motore per evitare gli ostacoli, che impara da RGBD, mappa semantica e input pilota per la scelta dell'azione, è in grado di fornire un feedback sicuro sugli ostacoli e sullo spazio libero che circonda il VI. Utilizzando la mappa semantica, introduciamo anche un efficiente schema di interazione implementato per aiutare l'IV a percepire gli ambienti 3-D attraverso uno smartphone."
I ricercatori hanno testato le prestazioni del loro sistema in una serie di esperimenti di evitamento degli ostacoli nel mondo reale. Sorprendentemente, il loro sistema ha superato gli approcci esistenti in diversi scenari interni ed esterni. I risultati raccolti durante questi test suggeriscono che il sistema migliora anche le prestazioni di mobilità degli utenti e le capacità di percezione dell'ambiente nelle attività del mondo reale, ad esempio, aiutandoli a capire la disposizione di una data stanza, aiutandoli a ritrovare un oggetto smarrito, o trasmettere le condizioni del traffico nelle vicinanze.
Come parte del loro studio, i ricercatori hanno raccolto set di dati di episodi di evitamento degli ostacoli che contengono sia le istruzioni per evitare gli ostacoli vicini mentre si cammina sia altre informazioni per percepire gli ambienti 3D circostanti. Questi set di dati potrebbero aiutare i team di ricerca a formare altri strumenti basati sull'apprendimento profondo per gli individui VI.
Nel futuro, il nuovo sistema indossabile sviluppato in questo studio potrebbe fornire un'assistenza più efficace e approfondita agli individui VI. Il team sta ora progettando di integrare un sonar o un sensore a urto che migliorerebbe la sicurezza degli utenti quando navigano in ambienti più difficili o non sicuri.
© 2019 Scienza X Rete
