Le cornici vuote appese all'interno dell'Isabella Stewart Gardner Museum fungono da concreto promemoria del più grande furto d'arte irrisolto del mondo. Anche se potremmo non scoprire mai quei capolavori originali, un team del Computer Science and Artificial Intelligence Laboratory (CSAIL) del MIT potrebbe essere in grado di aiutare, con un nuovo sistema finalizzato alla progettazione di riproduzioni di dipinti.

"RePaint" utilizza una combinazione di stampa 3D e deep learning per ricreare in modo autentico i tuoi dipinti preferiti, indipendentemente dalle diverse condizioni di illuminazione o posizionamento. RePaint potrebbe essere utilizzato per rifare opere d'arte per la tua casa, proteggere gli originali dall'usura nei musei, o anche aiutare le aziende a creare stampe e cartoline di pezzi storici.

"Se riproduci semplicemente il colore di un dipinto come appare nella galleria, potrebbe sembrare diverso a casa tua, "dice Changil Kim, uno degli autori di un nuovo articolo sul sistema, che sarà presentato ad ACM SIGGRAPH Asia a dicembre. "Il nostro sistema funziona in qualsiasi condizione di illuminazione, che mostra una capacità di riproduzione del colore molto maggiore rispetto a quasi tutti gli altri lavori precedenti."

Per testare RePaint, il team ha riprodotto una serie di dipinti ad olio creati dal loro collaboratore artista. Il team ha scoperto che RePaint era più di quattro volte più accurato dei modelli fisici all'avanguardia nel creare le esatte sfumature di colore per le diverse opere d'arte.

In questo momento le riproduzioni hanno solo le dimensioni di un biglietto da visita, a causa della natura dispendiosa in termini di tempo della stampa. In futuro il team si aspetta che più avanzato, le stampanti 3D commerciali potrebbero aiutare a realizzare dipinti più grandi in modo più efficiente.

Come funziona Mentre le stampanti 2-D sono più comunemente utilizzate per riprodurre dipinti, se hai un cielo azzurro o un vestito viola nella tua opera d'arte, potresti essere sfortunato. Questo perché le stampanti 2-D hanno un set fisso di soli quattro inchiostri (ciano, magenta, giallo, e nero).

I ricercatori, però, trovato un modo migliore per catturare uno spettro più completo di Degas e Dalì. Hanno usato una tecnica speciale che hanno sviluppato chiamata "color-contoning", che prevede l'utilizzo di una stampante 3D e 10 diversi inchiostri trasparenti impilati in strati molto sottili, proprio come i wafer e il cioccolato in una barretta Kit-Kat. Hanno combinato il loro metodo con una tecnica vecchia di decenni chiamata "mezzitoni", dove un'immagine è creata da tonnellate di piccoli punti di inchiostro, piuttosto che toni continui. Combinando questi, la squadra dice catturato meglio le sfumature dei colori.

Con una gamma di colori più ampia con cui lavorare, la questione di quali inchiostri usare per quali dipinti sono rimasti ancora. Invece di utilizzare approcci fisici più laboriosi, il team ha addestrato un modello di deep learning per prevedere la pila ottimale di inchiostri diversi. Una volta che il sistema se ne è occupato, si nutrivano poi di immagini di dipinti, e ha usato il modello per determinare quali colori dovrebbero essere usati in quali aree particolari per dipinti specifici.

Nonostante i progressi finora compiuti, il team dice che hanno alcuni miglioramenti da apportare prima di poter creare un abbagliante duplicato di "Notte stellata". Secondo l'ingegnere meccanico Mike Foshey, non potevano riprodurre completamente alcuni colori come il blu cobalto a causa di una libreria di inchiostri limitata.

In futuro hanno in programma di espandere questa libreria, oltre a creare un algoritmo specifico per la pittura per la selezione degli inchiostri. Possono anche sperare di ottenere dettagli migliori per tenere conto di aspetti come la consistenza e la riflessione della superficie, in modo che possano ottenere effetti specifici come finiture lucide e opache.

"Il valore delle belle arti è aumentato rapidamente negli ultimi anni, quindi c'è una maggiore tendenza ad essere rinchiuso in magazzini lontano dagli occhi del pubblico, " dice Foshey. "Stiamo costruendo la tecnologia per invertire questa tendenza, e per creare riproduzioni poco costose e accurate che possano essere apprezzate da tutti."

Kim e Foshey hanno lavorato al sistema insieme all'autore principale Liang Shi, Professore del MIT Wojciech Matusik, l'ex postdoc del MIT Vahid Babaei, ora Group Leader presso Max Planck Institute of Informatics, Szymon Rusinkiewicz, professore di informatica dell'Università di Princeton, e l'ex postdoc del MIT Pitchaya Sitthi-Amorn, ora docente alla Chulalongkorn University di Bangkok, Tailandia.