I metodi di calcolo Monte Carlo sono alla base di molte delle immagini realistiche nei giochi e nei film. Automatizza le complessità nella simulazione della fisica delle luci e delle telecamere per generare rendering di alta qualità da campioni di diverse caratteristiche e scene dell'immagine. Ma il processo di rendering Monte Carlo è lento e può richiedere ore, o addirittura giorni, per produrre una singola immagine, e spesso i risultati sono ancora pixelati, o "rumoroso".

Un team globale di scienziati informatici del MIT, Adobe, e Aalto University hanno sviluppato un metodo innovativo per produrre immagini e scenografie di qualità superiore in molto meno tempo utilizzando un approccio basato sull'apprendimento profondo che riduce notevolmente il rumore nelle immagini. Il loro metodo si traduce in immagini più nitide che catturano efficacemente dettagli intricati dalle caratteristiche del campione, compresi componenti di illuminazione complessi come ombre, illuminazione indiretta, sfocatura movimento, e profondità di campo.

I ricercatori presenteranno il loro lavoro al SIGGRAPH 2019, tenutosi dal 28 luglio al 1 agosto a Los Angeles. Questo incontro annuale mette in mostra i principali professionisti del mondo, accademici, e menti creative all'avanguardia nella computer grafica e nelle tecniche interattive.

"Il nostro algoritmo può produrre immagini pulite da immagini di input rumorose con pochissimi campioni, e potrebbe essere utile per produrre anteprime renderizzate veloci durante l'iterazione sul design della scena, ", afferma l'autore principale dello studio Michaël Gharbi, ricercatore presso Adobe. Gharbi ha iniziato la ricerca come Ph.D. studente al MIT nel laboratorio di Frédo Durand, che è anche coautore.

Il lavoro del team si concentra sul cosiddetto "denoising, " una tecnica di post-elaborazione per ridurre il rumore dell'immagine nel rendering Monte Carlo. Mantiene essenzialmente i dettagli di un'immagine e rimuove tutto ciò che ne riduce la nitidezza. Nel lavoro precedente, gli scienziati informatici hanno sviluppato metodi che attenuano il rumore prendendo la media dai pixel in un'immagine campione e dai pixel adiacenti.

"Funziona abbastanza bene, e diversi film lo hanno effettivamente utilizzato nella produzione, " nota il coautore Tzu-Mao Li, un recente dottorato di ricerca laureato al MIT che ha studiato anche sotto Durand. "Però, se le immagini sono troppo rumorose, spesso i metodi di post-elaborazione non sono in grado di recuperare immagini pulite e nitide. Di solito gli utenti hanno ancora bisogno di centinaia di campioni per pixel in media per un'immagine con una qualità ragionevole, un noioso, processo che richiede tempo".

Un po' paragonabile è il processo di modifica di una foto in un programma software di grafica. Se un utente non sta lavorando dall'originale, file grezzo, le versioni alterate della foto probabilmente non risulteranno in un chiaro, affilato, immagine finale ad alta risoluzione. Un problema simile ma più complesso è il denoising delle immagini.

A tal fine, il nuovo metodo di calcolo dei ricercatori prevede di lavorare direttamente con i campioni Monte Carlo, invece della media, immagini rumorose in cui la maggior parte delle informazioni è già stata persa. A differenza dei tipici metodi di deep learning che trattano immagini o video, i ricercatori dimostrano un nuovo tipo di rete convoluzionale che può imparare a denoizzare i rendering direttamente dal set grezzo di campioni Monte Carlo piuttosto che dal ridotto, rappresentazioni basate sui pixel.

Una parte fondamentale del loro lavoro è un nuovo framework computazionale di previsione del kernel che "splatta" singoli campioni, colori e trame, su pixel vicini per rendere più nitida la composizione complessiva dell'immagine. Nell'elaborazione delle immagini tradizionale, un kernel viene utilizzato per sfocare o rendere più nitido. Lo splatting è una tecnica che risolve problemi di sfocatura del movimento o profondità di campo e rende più facile uniformare un'area pixelata di un campione.

In questo lavoro, l'algoritmo di splatting del team genera un kernel 2-D per ogni campione, e "splatta" il campione sull'immagine. "Noi sosteniamo che questo è un modo più naturale per eseguire la post-elaborazione, " afferma Li. Il team ha addestrato la propria rete utilizzando un generatore di scene casuali e ha testato ampiamente il proprio metodo su una varietà di scene realistiche, inclusi vari scenari di illuminazione come l'illuminazione indiretta e diretta.

"Il nostro metodo fornisce risultati più puliti con conteggi di campioni molto bassi, dove i metodi precedenti in genere lottano, "aggiunge Gharbi.

Nel lavoro futuro, i ricercatori intendono affrontare la scalabilità con il loro metodo per estendere a più caratteristiche del campione ed esplorare le tecniche per applicare la levigatezza frame-to-frame delle immagini denoizzate.

La carta, "Denoising Monte Carlo basato su campioni utilizzando una rete di splatting del kernel, " è anche coautore di Miika Aittala al MIT e Jaakko Lehtinen alla Aalto University e Nvidia. Per maggiori dettagli e un video, visita la pagina del progetto del team.