I ricercatori dell'UC Berkeley e dell'Ecole des Ponts Paris Tech hanno recentemente sviluppato un approccio di deep learning per scoprire modelli visivi ricorrenti nelle collezioni d'arte. La loro carta, pre-pubblicato su arXiv, sarà presentato al CVPR 2019, un rinomato evento di computer vision a giugno.

Sebbene ogni opera d'arte possa sembrare unica, gli artisti usano spesso elementi o motivi visivi ricorrenti (ad esempio angeli, mulini a vento, eccetera.). Ad esempio, i critici ritengono che alcuni dipinti del pittore fiammingo Jan Brueghel fossero semplici imitazioni o adattamenti delle sue stesse opere, così come quelli di suo padre, Pieter Breughel.

Nella loro ricerca, gli storici dell'arte spesso cercano di tracciare connessioni visive tra diverse opere d'arte, in quanto ciò potrebbe far luce sulla loro provenienza e paternità. Però, scoprire modelli visivi simili in grandi collezioni d'arte può essere molto impegnativo sia per gli esseri umani che per le macchine.

"Abbiamo iniziato questo progetto a seguito di una presentazione e discussione con uno storico dell'arte, Elisabetta Honig, dove presentava tali corrispondenze e perché erano importanti per lei nel suo studio delle opere di Brueghel, "Mathieu Aubry, uno dei ricercatori che ha condotto lo studio, ha detto a TechXplore. "Il nostro primo obiettivo era rendere il lavoro degli storici dell'arte più facile e scalabile, identificando automaticamente nelle collezioni di immagini digitali i dettagli che sono stati copiati direttamente tra le diverse opere, nonostante piccole modifiche e differenze nello stile della rappresentazione (es. incisione, la pittura, disegno, eccetera.)."

Nel loro recente studio, Aubry e i suoi colleghi hanno proposto un approccio in grado di scoprire automaticamente modelli visivi ricorrenti nelle grandi collezioni d'arte. Essenzialmente, hanno addestrato un modello di apprendimento automatico non supervisionato per trovare corrispondenze tra elementi visivi quasi duplicati in diverse opere d'arte.

"La principale novità del nostro approccio è imparare, senza supervisione umana, un descrittore di immagini profondo specificamente adattato al nostro compito:abbinare copie esatte attraverso diversi stili di rappresentazione, " Aubry ha spiegato. "Per farlo, introduciamo una procedura che convalida le corrispondenze candidate utilizzando la coerenza spaziale tra le corrispondenze vicine".

I ricercatori hanno utilizzato la coerenza spaziale tra le corrispondenze di caratteristiche vicine come segnale di regolazione fine della supervisione. Questa funzione adattata porta a una corrispondenza invariante di stile più accurata. In combinazione con un approccio di scoperta standard basato sulla verifica geometrica, la funzione consente al loro approccio di deep learning di identificare modelli duplicati in set di dati artistici di grandi dimensioni.

"Il nostro lavoro CVPR si è concentrato sugli aspetti della visione artificiale. Sono ancora in corso collaborazioni con storici dell'arte per applicare il metodo che abbiamo sviluppato per analizzare le collezioni di opere d'arte, " ha detto Aubry. "Pensiamo che cambierà davvero sia la scala che il tipo di studio che gli storici dell'arte eseguiranno, consentendo loro di cercare e analizzare le connessioni tra le opere d'arte su una scala molto più ampia. Infatti, quando si tenta di annotare le connessioni solo per pochi dettagli su un set di dati di media scala, abbiamo visto in prima persona quanto un tale processo fosse noioso e costoso da eseguire manualmente."

Aubry e i suoi colleghi hanno valutato il loro metodo su diversi set di dati, compreso il dataset fotografico Oxford5K e un dataset appena annotato di opere d'arte attribuite alla famiglia Brueghel. In queste valutazioni, il loro approccio ha raggiunto risultati notevoli, superando altre tecniche all'avanguardia per scoprire modelli visivi nelle opere d'arte. Inoltre, il loro approccio ha raggiunto prestazioni all'avanguardia sul set di dati Large Time Gap Location, localizzare efficacemente fotografie di architettura storica e moderne.

Nel futuro, l'approccio di apprendimento approfondito ideato da Aubry e dai suoi colleghi potrebbe aiutare gli storici dell'arte a scoprire modelli visivi in ​​grandi collezioni d'arte. Secondo i ricercatori, il loro approccio può essere facilmente trasferito anche ad altri problemi, come la geolocalizzazione e il riconoscimento storico della filigrana.

"Vogliamo spingere le applicazioni del nostro approccio nelle discipline umanistiche, lavorando direttamente con gli storici dell'arte per adattare il nostro metodo alle loro esigenze specifiche e aiutandoli a utilizzarlo, " ha detto Aubry. "Abbiamo anche in programma di lavorare per estendere l'idea di sfruttare la ridondanza e la coerenza spaziale nell'apprendimento profondo a diversi tipi di immagini e diversi tipi di applicazioni".

© 2019 Scienza X Rete