Il disegno del ritratto della caricatura è una forma d'arte distinta in cui gli artisti disegnano il viso di una persona in modo esagerato, la maggior parte delle volte per suscitare umorismo. L'automazione di questa tecnica pone delle sfide a causa della quantità di intricati dettagli e forme coinvolte e del livello di abilità professionali necessarie per trasformare artisticamente una persona dalla propria vita reale a una creativamente esagerata.

Un team di scienziati informatici della City University di Hong Kong e Microsoft, hanno sviluppato un approccio innovativo basato sul deep learning per generare automaticamente la caricatura di un determinato ritratto, e per consentire agli utenti di farlo in modo efficiente e realistico.

"Rispetto ai metodi tradizionali basati sulla grafica che definiscono regole artigianali, il nostro nuovo approccio sfrutta i big data e l'apprendimento automatico per sintetizzare caricature da migliaia di esempi disegnati da artisti professionisti, "dice Kaidi Cao, autore principale, che è attualmente uno studente laureato in informatica presso la Stanford University, ma ha condotto il lavoro durante il suo tirocinio presso Microsoft. "Mentre i metodi di trasferimento dello stile esistenti si sono concentrati principalmente sullo stile dell'aspetto, la nostra tecnica raggiunge sia l'esagerazione geometrica che la stilizzazione dell'aspetto coinvolti nel disegno di caricature." Il metodo consente agli utenti di automatizzare caricature di ritratti, e può essere applicato a compiti come la creazione di avatar caricaturali per i social media, e disegnare personaggi dei cartoni animati. La tecnica ha anche potenziali applicazioni nel marketing, pubblicità e giornalismo.

Cao ha collaborato alla ricerca con Jing Liao della City University di Hong Kong e Lu Yuan di Microsoft, e i tre piani per presentare il loro lavoro al SIGGRAPH Asia 2018 a Tokyo dal 4 dicembre al 7 dicembre. La conferenza annuale presenta i membri tecnici e creativi più rispettati nel campo della computer grafica e delle tecniche interattive, e mette in mostra la ricerca all'avanguardia nella scienza, arte, giochi e animazione, tra gli altri settori.

In questo lavoro, i ricercatori si sono rivolti a una tecnica ben nota nell'apprendimento automatico, Rete avversaria generativa (GAN), per la traduzione da foto a caricatura spaiate per generare caricature che preservano l'identità del ritratto. Chiamati "CariGAN", il quadro computazionale modella precisamente l'esagerazione geometrica nelle foto (forme di volti, angoli specifici) e stilizzazione dell'aspetto (aspetto, Tatto, tratti di matita, shadowing) tramite due algoritmi che i ricercatori hanno etichettato, CariGeoGAN e CariStyGAN.

CariGeoGAN modella solo la mappatura geometria-geometria dalle foto dei volti alle caricature e CariStyGAN trasferisce l'aspetto dello stile dalle caricature alle foto dei volti senza alcuna deformazione alla geometria dell'immagine originale. Le due reti sono addestrate separatamente per ogni compito in modo che la procedura di apprendimento sia più robusta, osserva i ricercatori. Il framework CariGANs consente agli utenti di controllare il grado di esagerazione nello stile geometrico e di aspetto trascinando le diapositive o fornendo un esempio di caricatura.

Cao e collaboratori hanno condotto studi percettivi per valutare la capacità della loro struttura di generare caricature di ritratti facilmente riconoscibili e non eccessivamente distorti nella forma e nello stile dell'aspetto. Per esempio, uno studio ha valutato il modo in cui l'identità di un'immagine viene preservata utilizzando il metodo CariGANs rispetto ai metodi esistenti per tradurre l'arte della caricatura. hanno dimostrato, attraverso diversi esempi, che i metodi esistenti portavano a una traduzione caricaturale irriconoscibile. I partecipanti allo studio hanno trovato troppo difficile abbinare le caricature risultanti con i soggetti originali perché i risultati finali erano troppo esagerati o poco chiari. Il metodo dei ricercatori ha generato con successo più chiaro, rappresentazioni caricaturali più accurate di foto di ritratti, come se fossero disegnati a mano da un artista professionista.

Attualmente, il focus di questo lavoro si è incentrato sulle caricature di persone, principalmente colpi alla testa o ritratti. Nel lavoro futuro, i ricercatori intendono esplorare oltre la generazione di caricature facciali in tutto il corpo o scene più complesse. Sono anche interessati a progettare sistemi di interazione uomo-computer (HCI) migliorati che darebbero agli utenti più libertà e controllo dell'utente sui risultati generati dall'apprendimento automatico.