Il quarterback dei patrioti Tom Brady ha spesso attribuito il suo successo al fatto di aver passato innumerevoli ore a studiare i movimenti del suo avversario su pellicola. Questa comprensione del movimento è necessaria per tutte le specie viventi, se si tratta di capire a quale angolo lanciare una palla, o percepire il movimento di predatori e prede. Ma i video semplici non possono effettivamente darci il quadro completo.

Questo perché i video e le foto tradizionali per lo studio del movimento sono bidimensionali, e non mostrarci la struttura 3D sottostante della persona o del soggetto di interesse. Senza la geometria completa, non possiamo ispezionare i piccoli e sottili movimenti che ci aiutano a muoverci più velocemente, o dare un senso alla precisione necessaria per perfezionare la nostra forma atletica.

Recentemente, anche se, i ricercatori del Computer Science and Artificial Intelligence Laboratory (CSAIL) del MIT hanno escogitato un modo per gestire meglio questa comprensione del movimento complesso.

Il nuovo sistema utilizza un algoritmo che può prendere video 2D e trasformarli in "sculture in movimento" stampate in 3D che mostrano come un corpo umano si muove nello spazio. Oltre ad essere un'intrigante visualizzazione estetica della forma e del tempo, il team prevede che il loro sistema "MoSculp" potrebbe consentire uno studio molto più dettagliato del movimento per gli atleti professionisti, ballerini, o chiunque voglia migliorare le proprie capacità fisiche.

"Immagina di avere un video di Roger Federer che serve una palla in una partita di tennis, e un video di te stesso mentre impari a tennis, " dice il dottorando Xiuming Zhang, autore principale di un nuovo articolo sul sistema. "Potresti quindi costruire sculture di movimento di entrambi gli scenari per confrontarli e studiare in modo più completo dove devi migliorare".

Poiché le sculture in movimento sono 3D, gli utenti possono utilizzare un'interfaccia computerizzata per navigare tra le strutture e vederle da diversi punti di vista, rivelando informazioni relative al movimento inaccessibili dal punto di vista originale.

Zhang ha scritto il documento insieme ai professori del MIT William Freeman e Stefanie Mueller, dottorato di ricerca studente Jiajun Wu, I ricercatori di Google Qiurui He e Tali Dekel, così come l'U.C. Berkeley postdoc ed ex CSAIL Ph.D. Andrew Owens.

Come funziona

Artisti e scienziati hanno lottato a lungo per ottenere una migliore comprensione del movimento, limitato dal proprio obiettivo della fotocamera e da ciò che potrebbe fornire.

Il lavoro precedente ha utilizzato principalmente le cosiddette tecniche di fotografia "stroboscopica", che assomigliano molto alle immagini di un libro a fogli mobili cuciti insieme. Ma poiché queste foto mostrano solo istantanee di movimento, non saresti in grado di vedere la traiettoria del braccio di una persona quando sta colpendo una pallina da golf, Per esempio.

Cosa c'è di più, queste fotografie richiedono anche una laboriosa impostazione pre-scatto, come l'utilizzo di uno sfondo pulito e telecamere di profondità specializzate e apparecchiature di illuminazione. Tutto ciò di cui ha bisogno MoSculp è una sequenza video.

Dato un input video, il sistema prima rileva automaticamente i punti chiave 2-D sul corpo del soggetto, come l'anca, ginocchio, e la caviglia di una ballerina mentre esegue una complessa sequenza di danza. Quindi, ci vogliono le migliori pose possibili da quei punti per essere trasformati in "scheletri" 3D.

Dopo aver cucito insieme questi scheletri, il sistema genera una scultura in movimento che può essere stampata in 3D, mostrando il liscio, percorso continuo di movimento tracciato dal soggetto. Gli utenti possono personalizzare le loro figure per concentrarsi su diverse parti del corpo, assegnare materiali diversi per distinguere le parti, e persino personalizzare l'illuminazione.

Negli studi sugli utenti, i ricercatori hanno scoperto che oltre il 75% dei soggetti riteneva che MoSculp fornisse una visualizzazione più dettagliata per lo studio del movimento rispetto alle tecniche di fotografia standard.

"La danza e i movimenti atletici altamente qualificati spesso sembrano 'sculture in movimento' ma creano solo forme fugaci ed effimere, "dice Courtney Brigham, responsabile delle comunicazioni presso Adobe. "Questo lavoro mostra come prendere i movimenti e trasformarli in vere e proprie sculture con visualizzazioni oggettive del movimento, fornendo un modo per gli atleti di analizzare i loro movimenti per l'allenamento, non richiedono più attrezzature di una fotocamera mobile e un po' di tempo di calcolo."

Il sistema funziona meglio per movimenti più ampi, come lanciare una palla o fare un grande salto durante una sequenza di ballo. Funziona anche per situazioni che potrebbero ostacolare o complicare il movimento, come persone che indossano abiti larghi o trasportano oggetti.

Attualmente, il sistema utilizza solo scenari a persona singola, ma il team spera presto di espandersi a più persone. Questo potrebbe aprire il potenziale per studiare cose come i disturbi sociali, interazioni interpersonali, e dinamiche di squadra.