Figura 1. Qualità dell'immagine prima (a sinistra) e dopo (a destra) l'applicazione tecnologica. Credito:The Korea Advanced Institute of Science and Technology (KAIST)
Il professor Jinwoo Shin e il professor Dongsu Han della School of Electrical Engineering hanno sviluppato la consegna di video su Internet in grado di riconoscere i contenuti adattivi neurali. Questa tecnologia è un nuovo metodo che combina lo streaming adattivo su HTTP, il sistema di trasmissione video adottato da YouTube e Netflix, con un modello di apprendimento profondo.
Questa tecnologia dovrebbe creare un ambiente Internet in cui gli utenti possono divertirsi a guardare video 4K e AV/VR con video di alta qualità e ad alta definizione (HD) anche con connessioni Internet deboli.
Grazie ai servizi di streaming video, il video su Internet ha registrato una crescita notevole; tuttavia, gli utenti spesso soffrono di una bassa qualità video a causa di condizioni di rete sfavorevoli. Attualmente, i sistemi di streaming adattivo esistenti regolano la qualità del video in tempo reale, adattarsi alla larghezza di banda di Internet in continua evoluzione. Vari algoritmi sono allo studio per sistemi di streaming adattivi, ma c'è una limitazione intrinseca; questo è, i video di alta qualità non possono essere trasmessi in streaming in ambienti di rete scadenti, indipendentemente dall'algoritmo utilizzato.
Incorporando la super-risoluzione nello streaming adattivo, il team ha superato il limite delle reti di distribuzione dei contenuti esistenti, di cui la loro qualità dipende troppo dalla larghezza di banda. Nel metodo convenzionale, il server che fornisce il video suddivide in anticipo un video in determinati periodi di tempo. Ma il nuovo sistema introdotto dal team consente il download di segmenti di rete neurale. Per facilitare questo metodo, il server video deve fornire reti neurali profonde per ciascun segmento video e dimensioni delle reti neurali profonde (DNN) in base alle specifiche della capacità di elaborazione dell'utente.
Figura 2. Il concetto di tecnologia. Credito:The Korea Advanced Institute of Science and Technology (KAIST)
La dimensione massima della rete neurale è di due megabyte, che è notevolmente più piccolo del video. Quando si scarica la rete neurale dal lettore video dell'utente, è diviso in più segmenti. Anche il suo download parziale è sufficiente per una super risoluzione leggermente contenuta.
Durante la riproduzione del video, il sistema converte il video di bassa qualità in una versione di alta qualità utilizzando una super-risoluzione basata su reti neurali a convoluzione profonda (CNN). L'intero processo viene eseguito in tempo reale, e gli utenti possono godersi il video ad alta definizione.
Anche con una larghezza di banda inferiore del 17%, il sistema può fornire la qualità dell'esperienza equivalente all'ultimo servizio di streaming adattivo. A una determinata larghezza di banda Internet, può fornire una QoE media del 43% superiore rispetto al servizio più recente.
Figura 3. Una transizione da video di bassa qualità a video di alta qualità dopo la trasmissione video dal server video. Credito:The Korea Advanced Institute of Science and Technology (KAIST)
L'utilizzo di un metodo di deep learning consente a questo sistema di raggiungere un livello di compressione più elevato rispetto ai metodi di compressione video esistenti. La loro tecnologia è stata riconosciuta come un sistema video Internet di nuova generazione che applica la super-risoluzione basata su una rete neurale a convoluzione profonda ai video online.
Il professor Han ha detto, "Finora, è stato implementato solo su desktop, ma svilupperemo ulteriormente applicazioni che funzionano anche su dispositivi mobili. Questa tecnologia è stata applicata agli stessi sistemi di trasmissione video utilizzati dai canali di streaming come YouTube e Netflix, e quindi mostra buoni segnali di praticabilità."
