Gli scienziati del laboratorio Skoltech ADASE (Advanced Data Analytics in Science and Engineering) hanno trovato un modo per migliorare la risoluzione delle mappe di profondità, che dovrebbe rendere più realistica la realtà virtuale e la computer grafica. Hanno presentato i risultati della loro ricerca alla prestigiosa Conferenza Internazionale sulla Computer Vision 2019 in Corea.

Quando si scatta una foto, acquisiamo informazioni visive sugli oggetti intorno a noi, con i diversi pixel dell'immagine contenente i colori delle rispettive parti dell'oggetto. Le mappe di profondità sono foto che catturano informazioni spaziali e i loro pixel contengono le distanze dalla fotocamera ai rispettivi punti nello spazio. Applicazioni come la computer grafica e la realtà aumentata o virtuale utilizzano le informazioni spaziali per ricostruire la forma di un oggetto 3D e, ad esempio, visualizzarlo sullo schermo di un computer.

Uno dei problemi delle telecamere di profondità è che la loro risoluzione, questo è, la frequenza spaziale delle misurazioni della distanza, è insufficiente per ripristinare la forma di alta qualità dell'oggetto, rendendo le ricostruzioni virtuali tutt'altro che irrealistiche.

I ricercatori devono affrontare la sfida di trovare un modo per ottenere mappe di profondità ad alta risoluzione da mappe di profondità a bassa risoluzione.

Gli scienziati del laboratorio Skoltech ADASE hanno proposto di valutare la qualità della ricostruzione utilizzando un nuovo metodo strettamente correlato alla percezione umana. L'addestramento di una rete neurale artificiale con questa tecnica di valutazione della qualità produce un metodo di super-risoluzione della mappa di profondità che supera ampiamente i metodi esistenti nella qualità visiva del risultato.

"Quando si ha a che fare con mappe di profondità super risolte, si dovrebbe valutare la qualità del risultato per confrontare prima le prestazioni dei diversi metodi, e, in secondo luogo, utilizzarlo come feedback per ulteriori miglioramenti. Il modo più semplice è confrontare il risultato con un riferimento. La stragrande maggioranza dei lavori sulla super-risoluzione delle mappe di profondità utilizza a questo scopo la differenza tra i valori di profondità super-risolti e di riferimento. In nessun modo questo metodo riflette la qualità visiva della ricostruzione 3-D ottenuta dalla mappa di profondità super-risolta, " spiega il primo autore dello studio, Oleg Voynov.

"Proponiamo un metodo completamente diverso, che sfrutta la percezione umana della differenza tra le visualizzazioni delle ricostruzioni 3D ottenute da mappe di profondità super-risolte e di riferimento. La grafica che ottieni con questo metodo sembra molto realistica. Ci auguriamo che il nostro metodo trovi largo impiego, " dice uno degli sviluppatori, Alexey Artemov.