I ricercatori di Google hanno recentemente sviluppato una nuova tecnica per sintetizzare un'immagine sfocata dal movimento, utilizzando una coppia di immagini non sfocate acquisite in successione. Nella loro carta, pre-pubblicato su arXiv , i ricercatori hanno delineato il loro approccio e lo hanno valutato rispetto a diversi metodi di base.

Il motion blur si verifica naturalmente quando gli oggetti in una scena o la fotocamera stessa si muovono mentre viene scattata un'immagine. In questo modo l'oggetto o gli oggetti in movimento o l'intera immagine appaiono sfocati. In alcuni casi, l'effetto movimento potrebbe essere utilizzato per indicare la velocità di un soggetto fotografato o per separarlo dallo sfondo.

"Il motion blur è uno spunto prezioso nel contesto della comprensione dell'immagine, "Tim Brooks e Jonathan Barron, i ricercatori che hanno condotto lo studio, hanno scritto nel loro giornale. "Data una singola immagine contenente motion blur, si può stimare la direzione relativa e l'entità del movimento della scena che ha provocato la sfocatura osservata. Questa stima del movimento può essere semanticamente significativa, o può essere utilizzato da un algoritmo di de-sfocatura per sintetizzare un'immagine nitida."

Ricerche recenti hanno studiato l'uso di algoritmi di deep learning per rimuovere il motion blur indesiderato dalle immagini o per dedurre le dinamiche di movimento di una determinata scena. Per addestrare questi algoritmi, però, i ricercatori hanno bisogno di una notevole quantità di dati, che è tipicamente generato da immagini nitide sfocate sinteticamente. In definitiva, la misura in cui un algoritmo di deep learning può rimuovere efficacemente il motion blur nelle immagini reali dipende in gran parte dal realismo dei dati sintetici utilizzati per addestrarlo.

"In questo documento, trattiamo l'inverso di questo compito di stima/rimozione sfocatura ben studiato come un problema di prima classe, " Brooks e Barron hanno scritto nel loro articolo. "Vi presentiamo un modo rapido ed efficace per sintetizzare i dati di addestramento necessari per addestrare un algoritmo di de-offuscamento del movimento, e dimostriamo quantitativamente che la nostra tecnica si generalizza dai nostri dati di allenamento sintetici a immagini reali sfocate dal movimento".

L'architettura della rete neurale ideata da Brooks e Barron include un nuovo livello di "previsione della linea", che insegna a un sistema a regredire da coppie di immagini di immagini prese consecutivamente a un'immagine sfocata da movimento che abbraccia il tempo di acquisizione di queste due immagini in ingresso. Il loro modello richiede una grande quantità di dati di addestramento, quindi i ricercatori hanno progettato ed eseguito una strategia che utilizza tecniche di interpolazione dei fotogrammi per generare un ampio set di dati sintetici di immagini sfocate dal movimento, insieme ai rispettivi ingressi.

Brooks e Barron hanno anche catturato un set di test di alta qualità di immagini sfocate in movimento reale sintetizzate da video al rallentatore e quindi l'hanno usato per valutare il loro modello rispetto alle tecniche di base. Il loro modello ha ottenuto risultati molto promettenti, superando gli approcci esistenti sia in termini di precisione che di velocità.

"Il nostro approccio è veloce, accurato, e utilizza come input immagini prontamente disponibili da video o "burst", e fornisce quindi un percorso per consentire la manipolazione del motion blur nelle applicazioni di fotografia dei consumatori, e per sintetizzare i dati di addestramento realistici necessari per il deblurring o gli algoritmi di stima del movimento, " hanno scritto i ricercatori nel loro articolo.

Mentre i fotografi e i cineasti esperti usano spesso il motion blur come effetto artistico, produrre fotografie con effetto movimento sfocato può essere molto impegnativo. Nella maggior parte dei casi, queste immagini sono il prodotto di un lungo processo di tentativi ed errori, che richiedono competenze e attrezzature avanzate.

A causa delle difficoltà nell'ottenere effetti di motion blur di qualità, la maggior parte delle fotocamere consumer è progettata per scattare immagini con il minor movimento possibile. Ciò significa che i fotografi dilettanti hanno pochissimo spazio per sperimentare il motion blur nelle loro immagini.

"Consentendo di sintetizzare immagini sfocate dal movimento dalle immagini convenzionali non sfocate catturate dalle fotocamere standard dei consumatori, la nostra tecnica consente ai non esperti di creare immagini sfocate in movimento in un'impostazione post-acquisizione, " hanno spiegato i ricercatori nel loro articolo.

In definitiva, l'approccio ideato da Brooks e Barron potrebbe avere una serie di interessanti applicazioni. Ad esempio, it could make artistic motion blur accessible to casual photographers, while also generating more realistic motion blurred images to train deep learning algorithms.

© 2018 Science X Network