Un team di ricercatori e ingegneri di Huawei AI ha escogitato un modo unico per aiutare i bambini sordi a imparare a leggere la lingua dei segni, utilizzando l'intelligenza artificiale e la realtà aumentata per interpretare i libri stampati. Hanno anche trovato un modo per aiutare i bambini sordi a sviluppare il piacere nella lettura.

L'idea per l'app è stata una risposta alla frustrazione che molti genitori provano quando cercano di leggere un libro al loro figlio sordo, nella maggior parte di queste situazioni, un genitore udente sta cercando di includere il proprio figlio sordo in un'attività che è un rito di passaggio automatico per chi non ha problemi di udito. Risolvere questo problema, i ricercatori di Huawei hanno avuto l'idea di utilizzare l'intelligenza artificiale per aiutare un bambino a leggere un libro. Il sistema AI/AR è incorporato in un'app chiamata StorySign che può essere eseguita su un telefono o tablet:il genitore o il figlio tiene il telefono sulla pagina e un avatar viene sovrapposto al testo e interpreta le parole tramite la firma.

Man mano che la storia va avanti, l'app evidenzia le parole da firmare, aiutare il bambino a capire che le parole sono collegate al segno usato per rappresentarle. I ricercatori riferiscono di aver svolto anche una notevole quantità di lavoro per sviluppare un avatar con cui i bambini potessero relazionarsi. Hanno lavorato con Aardman Animations per creare un avatar chiamato Star, che non si limita a mostrare i gesti delle mani:usa anche le espressioni del corpo e del viso per trasmettere emozioni, aiutare il bambino a comprendere meglio la natura contestuale del materiale del libro. Un avvertimento è che l'app funziona solo con alcuni libri per bambini, tutto pubblicato da Penguin Random House.

L'app è stata sviluppata con il supporto dell'Unione Europea dei Sordi e della British Deaf Association. È gratis, e disponibile per i prodotti Android e Apple in 10 lingue in 10 paesi europei. Gli sviluppatori dicono che se l'app si dimostra popolare, sarà reso disponibile in più regioni e in più lingue.

© 2018 Science X Network