Le lingue dei segni non sono facili da imparare e sono ancora più difficili da insegnare. Usano non solo i gesti delle mani ma anche le parole, espressioni facciali e postura del corpo per comunicare significato. Questa complessità significa che i programmi di insegnamento professionale sono ancora rari e spesso costosi. Ma tutto questo potrebbe cambiare presto, con un piccolo aiuto dall'intelligenza artificiale (AI).

Io e i miei colleghi stiamo lavorando su un software per insegnare da soli le lingue dei segni in modo automatizzato, modo intuitivo. Attualmente, questo strumento può analizzare il modo in cui uno studente esegue un segno nella lingua dei segni svizzero-tedesca e fornire un feedback dettagliato su come migliorare la forma della mano, movimento, luogo e tempi. Ma la nostra speranza è di poter utilizzare l'intelligenza artificiale dietro lo strumento per creare software in grado di insegnare varie lingue dei segni da tutto il mondo, e prendere in considerazione le caratteristiche più complesse delle lingue, come la grammatica delle frasi e gli elementi non manuali della comunicazione.

L'intelligenza artificiale è stata precedentemente utilizzata per il riconoscimento, traduzione o interpretazione della lingua dei segni. Ma crediamo di essere i primi a tentare effettivamente di valutare i segni che una persona fa. Ma ancora più importante, vogliamo sfruttare la tecnologia AI per fornire un feedback all'utente su ciò che ha sbagliato.

Praticare e valutare la lingua dei segni è difficile perché non puoi leggerla o scriverla. Anziché, abbiamo creato un gioco per computer. Per praticare un segno, il gioco ti mostra un video di quel segno che viene eseguito, o ti dà la parola parlata più vicina che lo descrive (o entrambi). Quindi registra il tuo tentativo di ricreare il segno usando una videocamera e ti dice come puoi fare meglio. Abbiamo scoperto che renderlo un gioco incoraggia le persone a competere per ottenere il miglior punteggio e migliorare la loro firma lungo la strada.

L'intelligenza artificiale viene utilizzata in tutte le fasi della valutazione delle prestazioni. Primo, una rete neurale convoluzionale (CNN) estrae informazioni dal video sulla posa della parte superiore del corpo. Una CNN è un tipo di intelligenza artificiale vagamente basato sull'elaborazione eseguita dalla corteccia visiva nel cervello. Le informazioni sulla posa scheletrica e il video originale vengono quindi inviati all'analizzatore di forma della mano, dove un'altra CNN guarda il video e estrae informazioni sulla forma della mano in ogni punto del video.

Le informazioni scheletriche e le forme della mano vengono quindi inviate a un analizzatore di movimento della mano, che utilizza qualcosa chiamato modello di Markov nascosto (HMM). Questo tipo di intelligenza artificiale ci consente di modellare le informazioni sullo scheletro e sulla forma della mano nel tempo. Quindi confronta ciò che ha visto con un modello di riferimento che rappresenta la versione perfetta di quel segno, e produce un punteggio di quanto bene si abbina.

I risultati sia dell'analizzatore della forma della mano che dell'analizzatore del movimento della mano vengono quindi valutati e presentati come feedback. Quindi tutta l'intelligenza artificiale è nascosta dietro un'interfaccia semplice da usare, permettendoti di concentrarti sull'apprendimento. La nostra speranza è che l'automatico, il feedback personale renderà gli studenti più coinvolti nel processo di apprendimento della firma.

Portare l'intelligenza artificiale in classe

Finora, il software funziona solo per la lingua dei segni svizzero-tedesca. Ma la nostra ricerca suggerisce che l'"architettura" del sistema non avrebbe bisogno di cambiare per gestire altre lingue. Avrebbe solo bisogno di più registrazioni video di ogni lingua per fungere da dati con cui addestrarlo.

Un'area di ricerca che vorremmo esplorare è come potremmo utilizzare ciò che l'IA già conosce per aiutarla a imparare nuove lingue. Vorremmo anche vedere come possiamo aggiungere altri aspetti della comunicazione usando il linguaggio dei segni, come le espressioni facciali.

Al momento, il software funziona al meglio in un ambiente semplice come un'aula. Ma se riusciamo a svilupparlo per tollerare più variazioni sullo sfondo delle riprese video, sta valutando che potrebbe diventare come molte app popolari che ti permettono di imparare una lingua ovunque ti trovi senza l'aiuto di un esperto. Con questo tipo di tecnologia in fase di sviluppo, presto sarà possibile rendere l'apprendimento delle lingue dei segni accessibile a tutti quanto l'apprendimento dei loro fratelli parlati.

Questo articolo è stato ripubblicato da The Conversation con una licenza Creative Commons. Leggi l'articolo originale.