Le persone che entrano ed escono dalle fotografie erano riservate al mondo di Harry Potter. Ma ora gli scienziati informatici dell'Università di Washington hanno portato quella magia nella vita reale.

Il loro algoritmo Foto sveglia, può prendere una persona da una foto 2-D o da un'opera d'arte e farla correre, camminare o saltare fuori dall'inquadratura. Il sistema consente inoltre agli utenti di visualizzare l'animazione in tre dimensioni utilizzando strumenti di realtà aumentata. I ricercatori presenteranno i loro risultati il ​​19 giugno alla Conference on Computer Vision and Pattern Recognition a Long Beach, California. Questa ricerca ha attirato per la prima volta l'attenzione dei media quando è stata pubblicata in forma prestampata a dicembre su ArXiv.

"Questo è un problema fondamentale molto difficile nella visione artificiale, " ha detto il co-autore Ira Kemelmacher-Shlizerman, un professore associato presso la Paul G. Allen School of Computer Science &Engineering della UW. "La grande sfida qui è che l'input proviene solo da una singola posizione della telecamera, quindi una parte della persona è invisibile. Il nostro lavoro combina il progresso tecnico su un problema aperto sul campo con la visualizzazione creativa artistica".

In precedenza, i ricercatori pensavano che sarebbe stato impossibile animare una persona a corto di una singola foto.

"C'è qualche lavoro precedente che cerca di creare un personaggio 3D usando più punti di vista, " ha detto il co-autore Brian Curless, un professore della Allen School. "Ma non potevi ancora dare vita a qualcuno e farli scappare da una scena, e non potevi portarci dentro l'AR. È stato davvero sorprendente ottenere dei risultati convincenti utilizzando solo una foto".

Le applicazioni di Photo Wake-Up sono numerose, dice la squadra. I ricercatori prevedono che questo potrebbe portare a un nuovo modo per i giocatori di creare avatar che effettivamente assomigliano a loro, un metodo per consentire ai visitatori di interagire con i dipinti in un museo d'arte, ad esempio sedersi a prendere il tè con Monna Lisa, o qualcosa che permetta ai bambini di dare vita ai loro disegni. Esempi nel documento di ricerca includono l'animazione di Stephen Curry dei Golden State Warriors per scappare dal campo, Paul McCartney per saltare dalla copertina di "Aiuto!" album e "Icarus" di Matisse per lasciare la sua cornice.

Per rendere la magia una realtà, Photo Wake-Up inizia identificando una persona in un'immagine e creando una maschera del contorno del corpo. Da li, abbina un modello 3D alla posizione del corpo del soggetto. Quindi l'algoritmo fa qualcosa di sorprendente:per deformare il modello in modo che assomigli effettivamente alla persona nella foto, proietta la persona 3D di nuovo in 2D.

"È molto difficile da manipolare in 3D con precisione, " ha detto il co-autore Chung-Yi Weng, uno studente di dottorato alla Allen School. "Forse puoi farlo grosso modo, ma qualsiasi errore sarà ovvio quando animerai il personaggio. Quindi dobbiamo trovare un modo per gestire le cose perfettamente, ed è più facile farlo in 2-D."

Photo Wake-Up memorizza informazioni 3D per ogni pixel:la sua distanza dalla fotocamera o dall'artista e come le articolazioni di una persona sono collegate tra loro. Una volta che il modello è stato deformato per adattarsi alla forma della persona, l'algoritmo incolla sulla trama, i colori dell'immagine. Genera anche la schiena della persona utilizzando le informazioni dell'immagine e del modello 3D. Quindi lo strumento cuce insieme i due lati per creare una persona 3D che sarà in grado di girarsi.

Una volta che il personaggio 3D è pronto per essere eseguito, l'algoritmo deve impostare lo sfondo in modo che il personaggio non lasci uno spazio vuoto dietro. Photo Wake-Up riempie il vuoto dietro la persona prendendo in prestito informazioni da altre parti dell'immagine.

In questo momento Photo Wake-Up funziona meglio con immagini di persone rivolte in avanti, e può animare sia creazioni artistiche che fotografie di persone reali. L'algoritmo può anche gestire alcune foto in cui le braccia delle persone bloccano parte dei loro corpi, ma non è ancora in grado di animare persone che hanno le gambe incrociate o che bloccano grandi parti di sé.

"Photo Wake-Up è un nuovo modo di interagire con le foto, " Weng ha detto. "Non può ancora fare tutto, ma questo è solo l'inizio."