In un mondo di fotografi e videografi alle prime armi, catturare un diluvio di contenuti tramite i loro smartphone e dispositivi portatili, c'è bisogno di un intelligente, strumento di facile utilizzo per automatizzare la creazione di filmati e montaggi video. Ad oggi, molti video di qualità si affidano ancora a strumenti di editing professionali basati su frame per manipolare le riprese grezze e produrre un video coerente con una trama accattivante.

Un team globale di scienziati informatici, dalle Università Tsinghua e Beihang in Cina, Harvard University negli Stati Uniti e IDC Herzliya in Israele, hanno sviluppato "Scrivi un video, " un nuovo strumento che genera video da testo a tema. Utilizzando parole e modifica del testo, lo strumento determina automaticamente quali scene o inquadrature vengono scelte da un repository per illustrare la trama desiderata. Lo strumento consente agli utenti inesperti di produrre montaggi video di qualità in modo semplice e intuitivo che non richiede capacità di produzione e modifica video professionali.

Il team presenterà il proprio lavoro ad ACM SIGGRAPH Asia, tenutasi dal 17 al 20 novembre a Brisbane, Australia. SIGGRAPH Asia, ora nel suo 12° anno, attrae le persone tecniche e creative più rispettate da tutto il mondo nella computer grafica, animazione, interattività, gioco, e tecnologie emergenti.

Sebbene gli strumenti di editing video esistenti richiedano ancora conoscenze nell'elaborazione e nell'editing video, il nuovo metodo dei ricercatori consente ai principianti di creare video che raccontano storie in modo più naturale. Scrivi un video, dicono i ricercatori, consente agli utenti di creare un montaggio video semplicemente modificando il testo che accompagna il video. Per esempio, aggiunta o eliminazione di testo, e spostare le frasi in giro per convertirle in operazioni di editing video, come trovare gli scatti corrispondenti, taglio e riordino delle inquadrature, e creando un risultato finale del montaggio video.

"Write-A-Video utilizza gli attuali progressi nella comprensione automatica dei video e un'interfaccia utente unica per consentire una creazione video più naturale e più semplice, "dice il professor Ariel Shamir, Preside della Efi Arazi School of Computer Science presso IDC Herzliya. "Con il nostro strumento, l'utente fornisce input principalmente sotto forma di modifica del testo. Lo strumento cerca automaticamente le riprese candidate semanticamente corrispondenti da un archivio video, e quindi utilizza un metodo di ottimizzazione per assemblare il montaggio video tagliando e riordinando automaticamente le riprese".

"Write-A-Video consente inoltre agli utenti di esplorare gli stili visivi per ogni scena utilizzando idiomi cinematografici che generano, Per esempio, film dal ritmo più veloce o più lento, meno o più movimenti di contenuto, ecc." spiega il Dr. Miao Wang dell'Università di Beihang.

Quando si selezionano le riprese candidate dall'archivio video, il metodo tiene conto anche del pregio estetico degli scatti, scegliendo quelli che sono idealmente illuminati, che siano ben a fuoco e non siano sfocate o instabili. "In qualsiasi punto, l'utente può eseguire il rendering del film e visualizzare in anteprima il risultato del montaggio video con una narrazione fuori campo di accompagnamento", afferma il professor Shi-Min Hu della Tsinghua University.

La ricerca del team mostra che gli strumenti digitali intelligenti che combinano le capacità degli esseri umani e degli algoritmi possono assistere gli utenti nel processo creativo. "Il nostro lavoro dimostra il potenziale della corrispondenza semantica visiva automatica nell'editing computazionale basato sull'idioma, offrendo un modo intelligente per rendere la creazione di video più accessibile ai non professionisti, "dice Shamir.

Per lo studio, l'approccio è stato testato su vari pezzi di testo a tema e repository video, con valutazione quantitativa e studi sugli utenti. Gli utenti senza alcuna esperienza di editing video potrebbero produrre video soddisfacenti utilizzando lo strumento Write-A-Video, a volte anche più velocemente dei professionisti che utilizzano software di editing basato su frame. Al SIGGRAPH Asia, il team dimostrerà l'applicazione Write-A-Video e mostrerà una varietà di esempi di produzioni text-to-video.