Un team di scienziati informatici presso il Centro interdisciplinare in Israele ha sviluppato un metodo innovativo per analizzare automaticamente la ritrattistica artistica, catturare un alto livello di dettaglio e accuratezza dei ritratti, nonché lo stile individuale degli artisti. Incentrato sull'elaborazione di un metodo computazionale per rilevare le caratteristiche del viso nelle opere d'arte, o punti di riferimento facciali come angoli degli occhi o angoli della bocca, i ricercatori hanno esteso con successo il lavoro svolto nelle fotografie di immagini di volti naturali al campo della ritrattistica artistica.

"Poiché non ci sono dati di addestramento di ritratti che contengono punti di riferimento facciali, la nostra idea chiave era quella di creare tali dati utilizzando ciò che chiamiamo "aumento artistico, '", dice il professor Ariel Shamir, autore principale dello studio e preside della Efi Arazi School of Computer Science presso il Centro interdisciplinare Herzliya. "Trasformiamo i dati dei volti fotografici in modo che siano più simili ai ritratti artistici e li usiamo per addestrare nuovi modelli per le reti neurali che funzionano meglio per gli input artistici. Utilizzando i nostri modelli, non solo abbiamo ottenuto una migliore precisione sui ritratti, ma non abbiamo nemmeno perso molta precisione sui volti naturali."

Shamir, insieme ai suoi studenti Jordan Yaniv e Yael Newman, sono pronti a presentare il loro lavoro al SIGGRAPH 2019, tenutosi dal 28 luglio al 1 agosto a Los Angeles. Questo incontro annuale mette in mostra i principali professionisti del mondo, accademici, e menti creative all'avanguardia nella computer grafica e nelle tecniche interattive.

I punti di riferimento guidano lo stile

Le differenze chiave tra i ritratti artistici e le immagini naturali del viso sono duplici:differenze nell'aspetto della trama e differenze geometriche. Il lavoro passato in quest'area di ricerca si è concentrato principalmente sulla cattura dello stile dell'aspetto dell'arte, e non lo stile geometrico. Con ritratti artistici, lo stile geometrico è imperativo, notare gli autori dello studio, ma difficile da catturare poiché ogni artista ha la propria creatività, stile distinto.

"Per esempio, il pittore italiano Clemente Modigliani è noto per dipingere volti allungati, e la pittrice americana Margaret Keane è nota per dipingere volti con occhi esagerati, " afferma Shamir. "Il nostro lavoro consente ai computer e agli algoritmi di rivelare queste informazioni e riconoscere questo aspetto dello stile geometrico nei ritratti".

Per catturare stili geometrici nei ritratti, c'è bisogno di riconoscere i tratti del viso e la struttura del volto nel dipinto. A tal fine, il metodo dei ricercatori si concentra sulla rilevazione delle caratteristiche facciali nell'opera d'arte, utilizzando punti di riferimento sul viso. A seconda dello stile dell'artista, queste caratteristiche possono essere diverse per forma ed esagerate, non somigliano a veri volti umani. Per vincere questa sfida, applicano un metodo noto chiamato "aumento" delle immagini naturali del viso, trasformare fotografie di immagini facciali naturali per essere più simili a ritratti "artistici", e addestrare le reti neurali per rilevare i punti di riferimento.

I ricercatori hanno valutato il loro metodo di rilevamento dei punti di riferimento creando un set di dati di volti artistici contenente 160 ritratti artistici di 16 artisti diversi di vari generi e stili, con grandi variazioni sia nella geometria che nella trama. Nel documento che descrive il loro lavoro, dimostrano anche diverse applicazioni per il rilevamento artistico delle caratteristiche facciali e l'analisi dello stile geometrico. Questi includono la comprensione dello stile di artisti specifici, confrontando stili di artisti diversi, e seguendo le possibili tendenze degli stili artistici. Un'altra applicazione popolare è il trasferimento di stile:in cui è possibile trasformare una data immagine di input di un viso in un dipinto nello stile di un dato artista sia nella trama che nella geometria.

Nel lavoro futuro, il team spera di utilizzare la firma dello stile geometrico per costruire classificatori in grado di riconoscere un artista specifico ed espandere la definizione di stile geometrico oltre i volti, una sfida attuale nella computer grafica e nell'arte.