IBM Research e Rensselaer Polytechnic Institute (RPI) stanno collaborando a un nuovo approccio per aiutare gli studenti a imparare il mandarino. La strategia abbina un assistente basato sull'intelligenza artificiale a un ambiente di classe immersivo che non è stato utilizzato in precedenza per l'insegnamento della lingua. L'aula, denominata Sala Cognitiva Immersiva (CIR), fa sentire gli studenti come se fossero in un ristorante in Cina, un giardino, o una lezione di Tai Chi, dove possono esercitarsi a parlare mandarino con un agente di chat AI. Il CIR è stato sviluppato dal Cognitive and Immersive Systems Lab (CISL), una collaborazione di ricerca tra IBM Research e RPI.

Quando si impara una nuova lingua, specialmente uno difficile come il mandarino, è importante che gli studenti abbiano molte opportunità di parlare e mettere in pratica le loro capacità di conversazione. Acquisire una nuova lingua in modo naturale, attraverso l'immersione culturale, possono essere più efficaci delle pratiche non immersive. Ancora, l'apprendimento esperienziale non è disponibile per la maggior parte dei nuovi studenti di mandarino. Ecco perché abbiamo sviluppato il CIR.

Un ambiente di classe di ludicizzazione immersivo

Il CIR riunisce diverse tecnologie all'avanguardia come la sintesi vocale, comprensione del linguaggio naturale, e computer vision per consentire l'immersione e il dialogo multimodale naturale. La sala include un sistema di visualizzazione panoramica a 360 gradi, un sistema audio, più telecamere, più dispositivi Kinect, e più microfoni, nonché sistemi informatici a supporto delle tecnologie AI, alcuni situati nella stanza e altri nel cloud.

Il nostro obiettivo è combinare cognitivo, tecnologie immersive con elementi di gioco per consentire agli studenti di sperimentare un ambiente culturale, praticare le attività quotidiane, e fatti aiutare da agenti intelligenti. Con il Progetto Mandarino, utilizziamo IBM Watson all'interno del CIR come agente conversazionale per coinvolgere gli studenti mentre imparano la lingua. Il nostro approccio prevede il riconoscimento vocale IBM Watson e le tecnologie di comprensione del linguaggio naturale per inglese e cinese.

Uno dei maggiori ostacoli nell'apprendimento di una lingua straniera attraverso l'immersione è la paura degli studenti di essere giudicati dai madrelingua. Nel CIR, però, gli studenti possono lavorare con interlocutori virtuali per esercitarsi con il vocabolario e la pronuncia senza la pressione di un ambiente reale.

Molti ricercatori sull'apprendimento delle lingue stanno lavorando con la realtà virtuale o aumentata, ma stiamo indagando a misura d'uomo, immersivo, ambienti di gioco in cui gli studenti possono camminare fisicamente senza dover indossare attrezzature specializzate. Ciò riflette una tendenza più ampia nell'interazione uomo-computer, poiché il nostro coinvolgimento con le informazioni nella nostra vita quotidiana diventa sempre più coinvolgente e le nostre interazioni con macchine intelligenti si spostano verso la partnership.

Il nostro sistema è stato testato in una classe cinese 1 nel campus di RPI alla fine dell'autunno del 2017. Questo autunno, continueremo a utilizzare l'intelligenza artificiale come strumento didattico in cinese 1, 2 e 3 classi, con l'obiettivo di offrire una nuova classe che unisca il cinese 1-3 nell'estate del 2019.

La ricerca dietro—e oltre—la classe

Come parte della rete IBM AI Horizons, La CISL crea e utilizza tecnologie come sistemi context-aware, analisi del contorno del tono del tono, cambio di lingua tra cinese e inglese in una conversazione in lingua naturale tra persone e agenti di intelligenza artificiale, interazione multimodale multiutente, ragionamento e pianificazione nel processo decisionale e storytelling multimodale con generazione automatica della narrativa, visualizzazione e sonificazione.

Il CIR è uno dei quattro casi d'uso in CISL. Il laboratorio sta anche lavorando per aumentare l'intelligenza di gruppo per il processo decisionale critico in ambienti del mondo reale come le sale riunioni. Nel futuro, questi nuovi sistemi cognitivi e immersivi potrebbero cambiare radicalmente il modo in cui le persone vivono e lavorano. I primi prototipi di CIR hanno anche fornito opportunità per la ricerca sull'interazione dell'utente, permettendoci di trovare e affrontare nuove sfide nell'apprendimento delle lingue.