Un nuovo approccio computazionale, costruito su tecniche basate sui dati, consente di trasformare un semplice schizzo 2D in una forma 3D realistica, con poco o nessun input da parte dell'utente necessario.

Un team globale di scienziati informatici dell'Università di Hong Kong, Microsoft e l'Università della Columbia Britannica, hanno sviluppato un nuovo quadro, combinando CNN, o tecniche di rete neurale convoluzionale, con metodi di inferenza geometrica per calcolare schizzi e le loro corrispondenti forme 3D, più veloce e più intuitivo rispetto ai metodi esistenti.

"Il nostro strumento può essere utilizzato dagli artisti per disegnare rapidamente e facilmente forme a mano libera che possono fungere da forme di base ed essere ulteriormente perfezionate con un software di modellazione avanzato, "dice Hao Pan, ricercatore presso Microsoft Research Asia che ha guidato il lavoro. "Gli utenti inesperti possono anche usarlo come strumento accessibile per creare contenuti eleganti per le loro creazioni 3D e mondi virtuali".

Il nuovo metodo si basa sul precedente lavoro di modellazione 3D basato su schizzi del team:BendSketch:modellazione di superfici a forma libera tramite schizzi 2D, un metodo puramente geometrico che richiede input di schizzo annotati. Aggiunge Pan, "Vogliamo sviluppare un metodo che sia allo stesso tempo intelligente, nel senso che richieda il minor numero possibile di input da parte dell'utente e che esegua automaticamente tutte le inferenze necessarie, e generico, in modo da non dover addestrare un nuovo modello di machine learning per ogni specifica categoria di oggetti".

i collaboratori di Pan Changjian Li e Wenping Wang dell'Università di Hong Kong; Yang Liu e Xin Tong presso Microsoft Research Asia; e Alla Sheffer alla University of British Columbia, presenterà al SIGGRAPH Asia 2018 a Tokyo dal 4 dicembre al 7 dicembre. La conferenza annuale presenta i membri tecnici e creativi più rispettati nel campo della computer grafica e delle tecniche interattive, e mette in mostra la ricerca all'avanguardia nella scienza, arte, giochi e animazione, tra gli altri settori.

È una sfida per facilmente, trasformare automaticamente uno scarso, schizzo 2D imperfetto in una forma 3D robusta. La sfida chiave che i ricercatori hanno affrontato in questo lavoro è la significativa disparità di informazioni presentata tra le fasi del modello "schizzo" e "3D". Qui è dove l'artista riempiva caratteristiche come dossi, si piega, pieghe, valli, creste sui disegni di superficie per creare un disegno 3D. Per ogni schizzo, dimostrato nella loro carta, il metodo utilizza una CNN per prevedere la patch di superficie 3D.

La CNN dei ricercatori è addestrata su un ampio set di dati generato dal rendering di schizzi di varie forme 3D utilizzando il rendering di linee non fotorealistiche, o NPR, metodo che imita automaticamente lo schizzo umano di forme a mano libera:forme, compreso quello di un orsacchiotto, un uccello o un pesce, Per esempio. I ricercatori hanno convalidato il loro nuovo approccio, lo ha confrontato con i metodi esistenti e ne ha valutato le prestazioni. I risultati hanno dimostrato che il loro metodo fornisce un nuovo modo per produrre modellazione 3D da schizzi 2D in modo intuitivo e più robusto.

Un esempio, inclusi nella loro carta, coinvolto utenti inesperti che sono stati testati sul nuovo metodo. Gli utenti hanno poca conoscenza o formazione sugli schizzi o sulla modellazione 3D. Hanno ricevuto una dimostrazione di formazione di 20 minuti sul nuovo metodo. Quindi è stato chiesto loro di creare tre forme bersaglio:uccello, orsacchiotto e delfino, di varia complessità. Gli utenti sono riusciti a completare le attività, che vanno da soli 5 minuti a 20 minuti totali. Come notato nel documento, i partecipanti alle prime armi hanno trovato gli schizzi facili da produrre utilizzando lo strumento dei ricercatori, e alcuni volevano anche esplorarlo di più.

Nel lavoro futuro, i ricercatori intendono esplorare diverse possibilità ed estensioni del loro algoritmo. Per esempio, attualmente il loro metodo modella ogni volta una patch di superficie disegnando in vista, ma sarebbe utile poter modellare una forma completa disegnando sia le toppe anteriori che quelle posteriori in un'unica vista. Sperano anche di migliorare lo strumento in modo che possa gestire più modelli in scala, in modo che forme su larga scala e dettagli di livello fine possano essere abbozzati con facilità.