Molti designer per il mondo virtuale trovano difficile progettare trame o modelli complessi e credibili in modo efficiente su larga scala. Infatti, la cosiddetta "sintesi della trama, " il design di texture accurate come le increspature dell'acqua in un fiume, muri di cemento, o motivi di foglie, rimane un compito difficile per gli artisti. Una pletora di trame non fisse nel "mondo reale" potrebbe essere ricreata nei giochi o nei mondi virtuali, ma le tecniche esistenti sono noiose e richiedono tempo.

Per affrontare questa sfida, un team globale di scienziati informatici ha sviluppato una tecnica unica basata sull'intelligenza artificiale che addestra una rete per imparare ad espandere piccole trame in quelle più grandi. Il metodo basato sui dati dei ricercatori sfrutta una tecnica di intelligenza artificiale chiamata reti generative avversarie (GAN) per addestrare i computer a espandere le trame da una patch campione in istanze più grandi che assomigliano meglio al campione originale.

"Il nostro approccio si occupa con successo di strutture non stazionarie senza alcuna descrizione semantica o di alto livello della struttura su larga scala, "dice Yang Zhou, autore principale del lavoro e assistente professore presso l'Università di Shenzhen e la Huazhong University of Science &Technology. "Può far fronte a trame molto impegnative, quale, per quello che ci risulta, nessun altro metodo esistente può gestire. I risultati sono progetti realistici prodotti in alta risoluzione, efficiente, e su una scala molto più ampia."

L'obiettivo di base della sintesi di texture basata su esempi è di generare una texture, di solito di dimensioni maggiori rispetto all'input, che cattura da vicino le caratteristiche visive dell'input del campione, ma non del tutto identico ad esso, e mantiene un aspetto realistico. Esempi di trame non fisse includono trame con strutture irregolari su larga scala, o quelli che mostrano varianza spaziale in determinati attributi come il colore, orientamento locale, e scala locale. Nella carta, i ricercatori hanno testato il loro metodo su esempi così complessi come piume di pavone e increspature del tronco d'albero, che sono apparentemente infiniti nei loro schemi ripetitivi.

Zhou e i suoi collaboratori, tra cui Zhen Zhu e Xiang Bai (Huazhong University), Dani Lischinski (Università Ebraica di Gerusalemme), Daniel Cohen-Or (Università di Shenzhen e Università di Tel Aviv), e Hui Huang (Università di Shenzhen), presenteranno il loro lavoro al SIGGRAPH 2018, tenutosi dal 12 al 16 agosto a Vancouver, British Columbia. Questo incontro annuale mette in mostra i principali professionisti del mondo, accademici, e menti creative all'avanguardia nella computer grafica e nelle tecniche interattive.

Il loro metodo prevede la formazione di una rete generativa, chiamato generatore, imparare ad espandersi (cioè, raddoppiare l'estensione spaziale di) un blocco di trama arbitrario ritagliato da un esemplare, in modo che il risultato espanso sia visivamente simile a un blocco esemplare contenente della dimensione appropriata (due volte più grande). La somiglianza visiva tra il blocco espanso automaticamente e il blocco contenitore effettivo viene valutata utilizzando una rete discriminante (discriminatore). Come tipico dei GAN, il discriminatore viene addestrato in parallelo al generatore per distinguere tra i grandi blocchi reali dell'esemplare e quelli prodotti dal generatore.

Dice Zhou, "Incredibilmente, abbiamo scoperto che utilizzando un metodo concettualmente semplice, strategia di formazione del contraddittorio autogestita, la rete addestrata funziona quasi perfettamente su una vasta gamma di trame, comprese trame sia fisse che altamente non stazionarie."

Lo strumento ha lo scopo di assistere gli artisti delle texture nella progettazione di videogiochi, realta virtuale, e animazione. Una volta che l'addestramento al contraddittorio auto-supervisionato ha avuto luogo per ogni dato campione di texture, il framework può essere utilizzato per generare automaticamente texture estese, fino al doppio della dimensione del campione originale. Lungo la strada, i ricercatori sperano che il loro sistema sia effettivamente in grado di estrarre informazioni di alto livello dalle trame in modo non supervisionato.

Inoltre, nel lavoro futuro, il team intende addestrare un modello "universale" su un set di dati di texture su larga scala, oltre ad aumentare il controllo dell'utente. Per gli artisti della trama, la sintesi controllata con l'interazione dell'utente sarà probabilmente ancora più utile poiché gli artisti tendono a manipolare le trame per il proprio design.

Per il documento completo e il video, visita la pagina del progetto del team.