Opportunità un tempo lontane per la comunità con problemi di udito diventeranno realtà con un traduttore rivoluzionario della lingua dei segni. Gli ingegneri della Michigan State University hanno sviluppato e brevettato una tecnologia che, a differenza dei precedenti meccanismi di traduzione, non è invasiva e portatile come un tubo di Chapstick.

"Stiamo fornendo una soluzione onnipresente per la traduzione in lingua dei segni, " ha detto Mi Zhang, professore assistente di ingegneria elettrica e informatica. "Le persone con problemi di udito che hanno bisogno di comunicare con qualcuno che non capisce la lingua dei segni possono avere un'esperienza personalizzata, interprete virtuale in qualsiasi momento, ovunque."

Centinaia di migliaia di persone con problemi di udito si affidano alla lingua dei segni americana, o ASL, comunicare. Senza un interprete presente, non hanno le stesse opportunità di lavoro e sono spesso svantaggiate in situazioni delicate o delicate, ha detto Zhang.

"Pensa se fossi in ospedale e avessi bisogno di comunicare con un medico. Dovresti aspettare che arrivi il traduttore dell'ospedale, se ne ha uno, connettersi con un servizio verde o fare affidamento sulla presenza di un familiare, " Zhang ha detto. "Questo compromette la tua privacy e potrebbe peggiorare un'emergenza sanitaria. Questo è solo un esempio che dimostra la necessità fondamentale della tecnologia di traduzione in lingua dei segni".

Zhang e colleghi, studente di dottorato Biyi Fang e studente universitario Jillian Co, ha visto un'opportunità per aiutare la popolazione con problemi di udito a superare la barriera di comunicazione alla maggioranza udente.

La tecnologia di Zhang, chiamato DeepASL, presenta un algoritmo di deep learning – o machine learning basato su dati ispirati alla struttura e alla funzione del cervello – che traduce automaticamente i segni in inglese. La tecnologia funziona attraverso un dispositivo sensoriale da tre pollici, sviluppato da Leap Motion, che è dotato di telecamere per catturare i movimenti delle mani e delle dita in maniera continua.

"Leap Motion converte i movimenti delle mani e delle dita in articolazioni simili a scheletri. Il nostro algoritmo di apprendimento profondo raccoglie i dati dalle articolazioni simili a scheletro e li abbina ai segni di ASL, " ha detto Fang.

Simile alla configurazione di Siri su un nuovo iPhone, gli utenti firmano determinate parole per familiarizzare le mani e le articolazioni con la tecnologia e i sensori. Possono anche creare segni personalizzati per i loro nomi o parole non dizionari compitandoli, e avere più facilità e comodità di comunicare.

"Una caratteristica di differenziazione di DeepASL è che può tradurre intere frasi senza che gli utenti debbano fare una pausa dopo ogni segno. Altri traduttori sono parola per parola, richiedendo agli utenti di fare una pausa tra i segni. Questa limitazione rallenta notevolmente le conversazioni faccia a faccia, rendere le conversazioni difficili e imbarazzanti, " ha detto Fang. "La nostra tecnologia è anche non invadente, a differenza di altre tecnologie per interpreti che richiedono ai firmatari di indossare guanti, facendoli sentire emarginati perché puoi letteralmente vedere la loro disabilità".

Oltre alla sua capacità di aiutare le persone con problemi di udito a comunicare con gli altri, DeepASL può aiutare coloro che stanno imparando virtualmente ASL fornendo feedback in tempo reale sulla loro firma. Tecnologia precedente, Zhang ha spiegato, attraverso video tutorial ha avuto un'assistenza personale limitata.

"Circa il 90% dei bambini sordi nasce da genitori udenti. Questi genitori stanno imparando la lingua dei segni per comunicare con i loro figli, ma di solito non hanno tempo per frequentare le lezioni dal vivo, " Zhang ha detto. "La nostra tecnologia può misurare la loro firma per aiutarli a imparare e migliorare".

Mentre la tecnologia di Zhang traduce il linguaggio dei segni in conversazione verbale, ha spiegato che esistendo, le tecnologie di riconoscimento vocale di successo possono aiutare l'altro lato della conversazione, permettendo ai comunicatori verbali di parlare con i non udenti.

I ricercatori affermano che il prossimo passo per la loro tecnologia è la commercializzazione, mettendolo a disposizione delle centinaia di migliaia di persone che necessitano di un interprete più accessibile. Movimento di salto, loro hanno detto, al dettaglio per circa $ 78, rendendolo un'opzione conveniente. Hanno anche in programma di rendere la tecnologia compatibile con gli iPhone, oltre a insegnargli diverse lingue dei segni.