Catturare i movimenti delle mani e delle dita in millisecondi sta diventando sempre più importante per molte applicazioni, dalla realtà virtuale all'interazione uomo-macchina e Industria 4.0. Finora, le sue enormi esigenze tecniche hanno limitate possibili applicazioni. Gli scienziati informatici del Max Planck Institute for Informatics hanno ora sviluppato un sistema software che prevede l'interazione di varie reti neurali che richiede solo la fotocamera integrata di un laptop.

Per la prima volta, i ricercatori presenteranno il programma allo stand G75 nel padiglione 27 della fiera informatica Cebit, che si svolgerà ad Hannover dall'11 giugno in poi.

Quando l'informatica Franziska Müller tiene la mano davanti alla fotocamera del laptop, la controparte virtuale della mano appare sullo schermo. Questo è ricoperto da uno scheletro di mano virtuale colorato. Non importa quali movimenti faccia la mano di Müller davanti alla webcam, le ossa colorate del modello fanno lo stesso. Müller mostra il software che ha sviluppato insieme al professor Christian Theobalt e ad altri ricercatori del Max Planck Institute for Computer Science di Saarbrücken, Stanford University e la spagnola King Juan Carlos University. Finora, nessun altro software può farlo con una fotocamera così economica.

Poiché funziona in quasi tutti i tipi di scena filmata, può essere utilizzato ovunque, e quindi supera gli approcci precedenti che richiedono una telecamera di profondità o più telecamere. L'algoritmo utilizzato dal sistema trasforma le informazioni bidimensionali dell'immagine video in tempo reale nel modello tridimensionale del movimento delle ossa della mano. Si basa su una cosiddetta "rete neurale convoluzionale, " o CNN in breve. I ricercatori l'hanno addestrato a rilevare le ossa della mano. Hanno generato i dati di addestramento necessari con un'altra rete neurale. Il risultato:il software calcola le pose 3D esatte delle ossa della mano in millisecondi. Anche se alcuni di essi sono occlusi, Per esempio, da una mela tenuta in mano dall'utilizzatore, il software compensa. Però, il sistema ha ancora problemi a elaborare più mani che lavorano insieme, e risolverlo è il prossimo obiettivo dei ricercatori.