I ricercatori della TU Delft nei Paesi Bassi hanno recentemente sviluppato un modello basato sulla rete neurale convoluzionale (CNN) per ricostruire i disegni che si sono deteriorati nel tempo. Nel loro studio, pubblicato in Springer's Visione artificiale e applicazioni , hanno utilizzato specificamente il modello per ricostruire alcuni dei disegni di Vincent Van Gogh che sono stati rovinati nel corso degli anni a causa dello sbiadimento e dello scolorimento dell'inchiostro.

"I Paesi Bassi hanno una reputazione internazionale per quanto riguarda le arti, con artisti famosi come Rembrandt, Mondrian e Van Gogh, "Jan van der Lubbe, uno dei ricercatori che ha condotto lo studio, ha detto a TechXplore. "Perciò, la ricerca storico-artistica e la ricerca su come preservare il patrimonio culturale svolgono un ruolo importante nei Paesi Bassi."

Negli ultimi anni, un numero crescente di ricercatori ha cercato di sviluppare tecniche di apprendimento automatico, come CNN, per l'analisi delle opere d'arte. Finora, questi strumenti sono stati utilizzati principalmente per identificare l'artista che ha creato opere d'arte specifiche o per determinare se i dipinti sono reali o falsi.

In contrasto con la ricerca precedente, van der Lubbe e i suoi colleghi hanno deciso di studiare l'uso di tecniche di apprendimento automatico per la ricostruzione pixel-wise di dipinti deteriorati. Quando si tratta di conservazione dell'arte, il deterioramento di dipinti e disegni è una sfida chiave, quindi strumenti in grado di ricostruire automaticamente opere d'arte incomplete o rovinate semplificherebbero notevolmente il lavoro degli storici dell'arte.

Il team di ricercatori della TU Delft ha addestrato il proprio modello basato sulla CNN sulle riproduzioni di disegni deteriorati del pittore post-impressionista Van Gogh. Infatti, alcuni dei disegni a inchiostro di Van Gogh si sono notevolmente deteriorati nel secolo scorso, e gli storici dell'arte hanno spesso cercato di riprodurli.

Questi disegni non possono attualmente essere esposti, e in pochi decenni potrebbero deteriorarsi completamente. Con questo in testa, Van der Lubbe e i suoi colleghi volevano sviluppare un modello in grado di ricostruire automaticamente queste preziose opere d'arte per preservarle e renderle accessibili al pubblico.

"Uno degli obiettivi principali della nostra ricerca era prevedere l'originale, apparizioni passate e future di opere d'arte su carta mediante metodi di machine learning che integrano i risultati sia di studi approfonditi dei colori utilizzati sia del loro scolorimento nel tempo, ", ha detto van der Lubbe. "Questo potrebbe aiutare a immaginare come, Per esempio, un disegno di Van Gogh potrebbe aver guardato al momento della sua creazione."

L'approccio ideato da van der Lubbe e dai suoi colleghi combina tecniche per l'analisi delle immagini multi-risoluzione e CNN profonde per prevedere le apparizioni passate dei disegni in termini di pixel. Le CNN sono algoritmi ispirati a reti neurali biologiche come quelle del cervello umano che possono essere addestrate per completare compiti specifici analizzando grandi quantità di dati.

"Per la nostra migliore conoscenza, non ci sono o sono pochi gli studi precedenti sull'uso di metodi di apprendimento automatico per la ricostruzione digitale delle opere d'arte, " ha detto van der Lubbe. "Questa è l'idea chiave che guida la nostra ricerca e l'uso dell'apprendimento automatico per ricostruire le opere d'arte. Da studi precedenti in cui abbiamo considerato diversi algoritmi di apprendimento automatico, Gli approcci alla rete neurale convoluzionale (CNN) sembravano i più promettenti".

Nel loro studio, i ricercatori hanno specificamente addestrato una CNN a ricostruire digitalmente i disegni sbiaditi di Van Gogh su carta. L'algoritmo è stato addestrato su un set di dati contenente riproduzioni dei disegni originali di varia qualità, realizzati in epoche diverse nel secolo scorso.

"Gli esempi che abbiamo usato nel nostro studio sono riproduzioni di disegni di Van Gogh in cui il contenuto e il colore sono sbiaditi meno gravemente, quindi sono più vicini al disegno originale realizzato da Van Gogh, " ha detto van der Lubbe. "Abbiamo ottenuto i disegni e le riproduzioni originali dalla collezione del Museo Van Gogh".

Oltre a rivelare come apparivano i disegni in passato, l'approccio proposto da van der Lubbe e dai suoi colleghi potrebbe aiutare gli storici dell'arte a identificare strategie appropriate per la conservazione e il restauro delle opere d'arte, nonché pratiche efficaci per la conservazione e l'esposizione delle opere d'arte.

I ricercatori hanno valutato il loro modello in una serie di esperimenti e hanno scoperto che ha ottenuto risultati notevoli. I loro risultati evidenziano la fattibilità dell'utilizzo dell'apprendimento automatico per la ricostruzione predittiva di immagini degradate, documenti e opere d'arte. Sebbene i ricercatori abbiano utilizzato specificamente il loro modello per ricostruire i disegni di Van Gogh, potrebbe essere applicato anche ad altre opere d'arte deteriorate su carta oa manoscritti ottocenteschi.

"Abbiamo ottenuto risultati migliori per la ricostruzione digitale dei disegni di Van Gogh rispetto a quelli ottenuti fino ad ora con altri metodi, " disse van der Lubbe. "Certo, Van Gogh era solo un test o un esempio. La nostra tecnica potrebbe estendersi anche oltre i disegni di Van Gogh ai disegni di altri artisti, dipinti e documenti antichi."

Nel futuro, lo strumento sviluppato da van der Lubbe e dai suoi colleghi potrebbe aiutare gli storici dell'arte a creare ricostruzioni realistiche di opere d'arte che altrimenti potrebbero deteriorarsi completamente. Nel loro recente studio, i ricercatori si sono concentrati su un disegno alla volta, addestrando la loro CNN su un numero limitato di riproduzioni. Però, il modello potrebbe anche essere utilizzato per prevedere l'aspetto del disegno originale sulla base di una quantità molto maggiore di riproduzioni.

Inoltre, questa tecnica attualmente funziona analizzando le informazioni visive. Nei loro studi successivi, i ricercatori vorrebbero indagare se analizzare sia le informazioni visive che quelle relative alla chimica (ad es. la composizione dell'inchiostro e il suo tasso di degradazione) possono migliorare le prestazioni del modello.

"In questo studio, abbiamo avuto un disegno odierno degradato, " ha detto van der Lubbe. "Riteniamo che sarebbe anche una grande sfida ricostruire il disegno originale, in particolare nei casi in cui l'originale non è disponibile o è scomparso, quindi abbiamo solo riproduzioni del passato."

© 2019 Science X Network