Il modello può essere addestrato al volo per produrre immagini di alta qualità in soli 12 secondi. Credito:Bochang Moon del Gwangju Institute of Science and Technology, Corea
La computer grafica di alta qualità, con la sua presenza onnipresente nei giochi, nelle illustrazioni e nella visualizzazione, è considerata lo stato dell'arte nella tecnologia di visualizzazione visiva.
Il metodo utilizzato per il rendering di immagini realistiche e di alta qualità è noto come "traccia del percorso", che utilizza un approccio di denoising Monte Carlo (MC) basato sull'apprendimento automatico supervisionato. In questo framework di apprendimento, il modello di apprendimento automatico viene prima pre-addestrato con coppie di immagini rumorose e pulite e quindi applicato all'immagine rumorosa effettiva da renderizzare (immagine di prova).
Sebbene considerato l'approccio migliore in termini di qualità dell'immagine, questo metodo potrebbe non funzionare bene se l'immagine di prova è notevolmente diversa dalle immagini utilizzate per l'allenamento.
Per affrontare questo problema, un gruppo di ricercatori, tra cui Ph.D. lo studente Jonghee Back e il professore associato Bochang Moon del Gwangju Institute of Science and Technology in Corea, il ricercatore Binh-Son Hua del VinAI Research in Vietnam e il professore associato Toshiya Hachisuka dell'Università di Waterloo in Canada, hanno proposto, in un nuovo studio, un nuovo metodo di denoising MC che non si basa su un riferimento. Il loro studio è stato reso disponibile online il 24 luglio 2022 e pubblicato in ACM SIGGRAPH 2022 Conference Proceedings .
"I metodi esistenti non solo falliscono quando i set di dati di test e training sono molto diversi, ma richiedono anche molto tempo per preparare il set di dati di addestramento per il pre-addestramento della rete. Ciò che serve è una rete neurale che possa essere addestrata al volo solo con immagini di test senza la necessità per il pre-allenamento", afferma il dottor Moon, spiegando la motivazione alla base del loro studio.
A tal fine, il team ha proposto un nuovo approccio di post-correzione per un'immagine denoised che comprendeva un framework di apprendimento automatico auto-supervisionato e una rete di post-correzione, fondamentalmente una rete neurale convoluzionale, per l'elaborazione delle immagini. La rete post-correzione non dipendeva da una rete pre-addestrata e poteva essere ottimizzata utilizzando il concetto di apprendimento autocontrollato senza fare affidamento su un riferimento. Inoltre, il modello autocontrollato integrava e potenziava i modelli supervisionati convenzionali per il denoising.
Per testare l'efficacia della rete proposta, il team ha applicato il proprio approccio ai metodi di denoising all'avanguardia esistenti. Il modello proposto ha dimostrato un triplice miglioramento della qualità dell'immagine renderizzata rispetto all'immagine di input preservando i dettagli più fini. Inoltre, l'intero processo di addestramento al volo e l'inferenza finale ha richiesto solo 12 secondi.
"Il nostro approccio è il primo che non si basa sul pre-allenamento utilizzando un set di dati esterno. Questo, in effetti, ridurrà i tempi di produzione e migliorerà la qualità dei contenuti offline basati sul rendering come animazioni e film", afferma il dott. Moon , speculando sulle potenziali applicazioni del loro lavoro. + Esplora ulteriormente
