I progressi nelle immagini generate al computer hanno portato vividi, animazioni realistiche alla vita, ma i suoni associati a ciò che vediamo simulato sullo schermo, come due oggetti che si scontrano, sono spesso registrazioni. Ora i ricercatori della Stanford University hanno sviluppato un sistema che riproduce automaticamente suoni accurati per un'ampia varietà di fenomeni animati.

"C'è stato un Santo Graal nell'informatica di essere in grado di simulare la realtà per gli umani. Possiamo animare scene e renderle visivamente con la fisica e la computer grafica, ma, per quanto riguarda i suoni, di solito sono inventati, " ha detto Doug James, professore di informatica alla Stanford University. "Attualmente non esiste alcun modo per generare suoni sincronizzati realistici per contenuti animati complessi, come spruzzi d'acqua o oggetti che si scontrano, automaticamente. Questo riempie quel vuoto».

I ricercatori presenteranno il loro lavoro su questo sistema di sintesi sonora nell'ambito di ACM SIGGRAPH 2018, la principale conferenza sulla computer grafica e le tecniche interattive. Oltre ad animare film e mondi di realtà virtuale, questo sistema potrebbe anche aiutare le società di ingegneria a prototipare come suonerebbero i prodotti prima di essere prodotti fisicamente, e si spera che incoraggi progetti più silenziosi e meno irritanti, hanno detto i ricercatori.

"Ho passato anni a cercare di risolvere equazioni differenziali alle derivate parziali - che regolano il modo in cui il suono si propaga - a mano, " ha detto Jui-Hsien Wang, uno studente laureato nel laboratorio di James e nell'Institute for Computational and Mathematical Engineering (ICME), e autore principale dell'articolo. "Questo è in realtà un posto dove non risolvi solo l'equazione, ma puoi effettivamente ascoltarla una volta che l'hai fatta. È davvero eccitante per me ed è divertente."

Previsione del suono

Informato dalla geometria e dal movimento fisico, il sistema calcola le vibrazioni di ogni oggetto e come, come un altoparlante, quelle vibrazioni eccitano le onde sonore. Calcola le onde di pressione emesse da superfici in rapido movimento e vibrazione, ma non riproduce l'acustica della stanza. Così, anche se non ricrea gli echi di una grande cattedrale, può risolvere suoni dettagliati da scenari come un piatto che si schianta, una ciotola capovolta che gira fino a fermarsi, un bicchiere che si riempie d'acqua o un personaggio virtuale che parla al megafono.

La maggior parte dei suoni associati alle animazioni si basa su clip preregistrate, che richiedono un grande sforzo manuale per sincronizzarsi con l'azione sullo schermo. Queste clip sono anche limitate ai rumori esistenti:non possono prevedere nulla di nuovo. Altri sistemi che producono e prevedono suoni precisi come quelli di James e del suo team funzionano solo in casi speciali, o supponiamo che la geometria non si deformi molto. Richiedono anche una lunga fase di pre-calcolo per ogni oggetto separato.

"Il nostro è essenzialmente solo un pulsante di rendering con una pre-elaborazione minima che tratta tutti gli oggetti insieme in un'unica simulazione di onde acustiche, " disse Ante Qu, uno studente laureato nel laboratorio di James e coautore dell'articolo.

Il suono simulato che risulta da questo metodo è molto dettagliato. Tiene conto delle onde sonore prodotte da ciascun oggetto in un'animazione, ma prevede anche come si piegano quelle onde, rimbalzano o attutiscono in base alle loro interazioni con altri oggetti e onde sonore nella scena.

Sfide in arrivo

Nella sua forma attuale, il processo del gruppo richiede tempo per creare il prodotto finito. Ma, ora che hanno dimostrato il potenziale di questa tecnica, possono concentrarsi sull'ottimizzazione delle prestazioni, come implementare il loro metodo su hardware GPU parallelo, questo dovrebbe renderlo drasticamente più veloce.

E, anche nel suo stato attuale, i risultati valgono l'attesa.

"I primi suoni dell'acqua che abbiamo generato con il sistema erano tra i migliori che avevamo simulato e l'acqua è una grande sfida nel suono generato dal computer, " disse James. "Pensavamo di poter ottenere un piccolo miglioramento, ma è notevolmente migliore degli approcci precedenti anche appena fuori dalla scatola. È stato davvero impressionante".

Sebbene il lavoro del gruppo abbia reso fedelmente i suoni di vari oggetti che ruotano, cadendo e sbattendo l'uno contro l'altro, oggetti e interazioni più complessi – come i toni riverberanti di un violino Stradivari – rimangono difficili da modellare realisticamente. Quella, il gruppo ha detto dovrà attendere una soluzione futura.