I ricercatori della Carnegie Mellon University hanno sviluppato un modello al computer in grado di tradurre il testo che descrive i movimenti fisici direttamente in semplici animazioni generate al computer, un primo passo verso la generazione di filmati un giorno direttamente da script.

Gli scienziati hanno fatto passi da gigante nel far capire ai computer il linguaggio naturale, così come nel generare una serie di pose fisiche per creare animazioni realistiche. Queste capacità potrebbero anche esistere in mondi separati, però, perché è mancato il legame tra linguaggio naturale e pose fisiche.

Louis-Philippe Morency, professore associato presso il Language Technologies Institute (LTI), e Chaitanya Ahuja, un dottorato di ricerca LTI alunno, stanno lavorando per riunire questi mondi utilizzando un'architettura neurale che chiamano Joint Language-to-Pose, o JL2P. Il modello JL2P consente di incorporare congiuntamente frasi e movimenti fisici, in modo che possa imparare come il linguaggio è correlato all'azione, gesti e movimento.

"Penso che siamo in una fase iniziale di questa ricerca, ma da un modellismo, intelligenza artificiale e prospettiva teorica, è un momento molto emozionante, " disse Morency. "In questo momento, stiamo parlando di animare personaggi virtuali. Infine, questo legame tra linguaggio e gesti potrebbe essere applicato ai robot; potremmo essere in grado di dire semplicemente a un robot assistente personale cosa vogliamo che faccia.

"Potremmo anche andare nella direzione opposta, usando questo collegamento tra linguaggio e animazione in modo che un computer possa descrivere ciò che sta accadendo in un video, " Ha aggiunto.

Ahuja presenterà JL2P il 19 settembre alla Conferenza Internazionale sulla Visione 3-D a Quebec City, Canada.

Per creare JL2P, Ahuja ha utilizzato un approccio di apprendimento del curriculum che si concentra sul modello first learning short, sequenze facili—"Una persona cammina avanti"—e poi più lunghe, sequenze più dure:"Una persona fa un passo avanti, poi si gira e fa di nuovo un passo avanti, " o "Una persona salta un ostacolo mentre corre".

Verbi e avverbi descrivono l'azione e la velocità/accelerazione dell'azione, mentre nomi e aggettivi descrivono luoghi e direzioni. L'obiettivo finale è quello di animare sequenze complesse con più azioni che si verificano simultaneamente o in sequenza, ha detto Ahuja.

Per adesso, le animazioni sono per figure stilizzate.

A complicare le cose c'è il fatto che accadono molte cose contemporaneamente, anche in semplici sequenze, Morenza ha spiegato.

"La sincronia tra le parti del corpo è molto importante, " disse Morency. "Ogni volta che muovi le gambe, muovi anche le braccia, il tuo busto e possibilmente la tua testa. Le animazioni del corpo devono coordinare questi diversi componenti, realizzando allo stesso tempo azioni complesse. Portare la narrativa linguistica all'interno di questo complesso ambiente di animazione è allo stesso tempo stimolante ed eccitante. Questo è un percorso verso una migliore comprensione del linguaggio e dei gesti".