Catturare pose interattive della mano in tempo reale e con risultati realistici è un problema ben esaminato nell'informatica, in particolare l'informatica centrata sull'uomo e la tecnologia di acquisizione del movimento. Le mani umane sono complesse:un intricato sistema di flessori, estensori, e capacità sensoriali che servono come mezzo principale per manipolare oggetti fisici e comunicare tra loro. L'accurata cattura del movimento delle mani è rilevante e importante per molte applicazioni, come il gioco, domini di realtà aumentata e virtuale, robotica, e le industrie biomediche.

Un team globale di scienziati informatici dell'ETH di Zurigo e della New York University ha ulteriormente avanzato quest'area di ricerca sviluppando un guanto di rilevamento dell'allungamento per acquisire dati in tempo reale, la mano interattiva pone con molta più precisione.

Il gruppo di ricerca, compreso Oliver Glauser, Shihao Wu, Otmar Hilliges, e Olga Sorkine-Hornung dell'ETH di Zurigo e Daniele Panozzo della NYU, dimostreranno il loro guanto innovativo al SIGGRAPH 2019, tenutosi dal 28 luglio al 1 agosto a Los Angeles. Questo incontro annuale mette in mostra i principali professionisti del mondo, accademici, e menti creative all'avanguardia nella computer grafica e nelle tecniche interattive.

Il vantaggio principale dei loro guanti sensibili all'elasticità, dicono i ricercatori, è che non richiedono una configurazione basata su fotocamera o qualsiasi attrezzatura esterna aggiuntiva e potrebbero iniziare a tracciare le pose delle mani in tempo reale con solo una calibrazione minima.

"Per la nostra migliore conoscenza, i nostri guanti sono i primi guanti per l'acquisizione di dati precisi basati esclusivamente su sensori di elasticità, "dice Glauser, un autore principale del lavoro e un dottorato di ricerca. studente all'ETH di Zurigo. "I guanti sono morbidi e sottili, rendendoli molto comodi e discreti da indossare, pur avendo 44 sensori integrati. Possono essere prodotti a basso costo con strumenti comunemente disponibili nei laboratori di fabbricazione".

Glauser e collaboratori hanno deciso di superare alcune sfide persistenti nella replica di pose accurate della mano. In questo lavoro, hanno affrontato ostacoli come catturare i movimenti della mano in tempo reale in una varietà di ambienti e impostazioni, oltre a utilizzare solo attrezzature intuitive e un approccio di facile apprendimento per la configurazione. Dimostrano che i loro guanti morbidi sensibili all'allungamento riescono a calcolare accuratamente le pose delle mani in tempo reale, anche mentre l'utente tiene in mano un oggetto fisico, e in condizioni di scarsa illuminazione.

I ricercatori hanno utilizzato un composto di silicone a forma di mano dotata di 44 sensori di elasticità e l'hanno attaccato a un guanto in morbido, tessuto sottile. Per ricostruire la posa della mano dalle letture del sensore, i ricercatori utilizzano un modello basato sui dati che sfrutta il layout del sensore stesso. Il modello viene addestrato una sola volta; e per raccogliere dati di allenamento, i ricercatori usano un economico, sistema di ricostruzione della posa della mano pronto all'uso.

Per lo studio, confrontano la precisione dei loro guanti con sensore a due prodotti di guanti commerciali all'avanguardia. In tutte le pose tranne una mano, il romanzo dei ricercatori, i guanti sensibili all'allungamento hanno ricevuto il ritorno di errore più basso per ogni posa interattiva.

Nel lavoro futuro, il team intende esplorare come un simile approccio con sensori potrebbe essere utilizzato per tracciare un intero braccio per ottenere la posizione globale e l'orientamento del guanto, o forse anche un completo per il corpo. Attualmente i ricercatori hanno fabbricato guanti di medie dimensioni, e vorrebbero espandersi ad altre dimensioni e forme.

"Questo è un problema già ben studiato, ma abbiamo trovato nuovi modi per affrontarlo in termini di sensori impiegati nel nostro design e nel nostro modello basato sui dati, " osserva Glauser. "Ciò che è anche entusiasmante di questo lavoro è la natura multidisciplinare del lavoro su questo problema. Richiedeva competenze in vari campi, compresa la scienza dei materiali, fabbricazione, ingegnere elettrico, computer grafica, e apprendimento automatico."