La musica è un elemento indispensabile nel film:stabilisce l'atmosfera e l'atmosfera, guida le reazioni emotive dello spettatore e influenza in modo significativo l'interpretazione della storia da parte del pubblico.

In un recente articolo pubblicato su PLOS ONE , un gruppo di ricerca presso la USC Viterbi School of Engineering, guidato dal professor Shrikanth Narayanan, ha cercato di esaminare oggettivamente l'effetto della musica sui generi cinematografici. Il loro studio mirava a determinare se la tecnologia basata sull'intelligenza artificiale potesse prevedere il genere di un film basandosi solo sulla colonna sonora.

"Capendo meglio come la musica influenza la percezione di un film da parte dello spettatore, otteniamo informazioni su come i creatori di film possono raggiungere il loro pubblico in un modo più convincente", ha affermato Narayanan, professore universitario e cattedra di ingegneria Niki e Max Nikias, professore di ingegneria elettrica e ingegneria informatica e informatica e il direttore del Signal Analysis and Interpretation Laboratory (SAIL) dell'USC Viterbi.

L'idea che generi cinematografici diversi siano più propensi a utilizzare determinati elementi musicali nella loro colonna sonora è piuttosto intuitiva:una storia d'amore spensierata potrebbe includere ricchi passaggi di archi e melodie lussureggianti e liriche, mentre un film horror potrebbe invece presentare frequenze inquietanti e penetranti e note stranamente discordanti .

Ma mentre il lavoro passato indica qualitativamente che diversi generi cinematografici hanno le proprie serie di convenzioni musicali - convenzioni che fanno suonare quel film romantico in modo diverso da quel film dell'orrore - Narayanan e il team hanno deciso di trovare prove quantitative che gli elementi della colonna sonora di un film potrebbero essere utilizzati per caratterizzano il genere del film.

Lo studio di Narayanan e del team è stato il primo ad applicare modelli di deep learning alla musica utilizzata in un film per vedere se un computer poteva prevedere il genere di un film basandosi solo sulla colonna sonora. Hanno scoperto che questi modelli sono stati in grado di classificare accuratamente il genere di un film utilizzando l'apprendimento automatico, supportando l'idea che le caratteristiche musicali possono essere potenti indicatori del modo in cui percepiamo i diversi film.

Secondo Timothy Greer, Ph.D. studente alla USC Viterbi nel dipartimento di informatica che ha lavorato con Narayanan allo studio, il loro lavoro potrebbe avere preziose applicazioni per le società di media e i creatori nel capire come la musica può migliorare altre forme di media. Potrebbe fornire alle società di produzione e ai supervisori musicali una migliore comprensione di come creare e inserire musica in televisione, film, pubblicità e documentari per suscitare determinate emozioni negli spettatori.

Oltre a Narayanan e Greer, il team di ricerca per lo studio includeva Dillon Knox, un dottorato di ricerca. studente nel dipartimento di ingegneria elettrica e informatica e Benjamin Ma, laureato alla USC nel 2021 con un B.S. in informatica, un master in informatica e un minore in produzione musicale. (Ma è stato anche nominato uno dei due USC Schwarzman Scholars del 2021.) Il team ha lavorato all'interno del Center for Computational Media Intelligence, un gruppo di ricerca in SAIL.

Prevedere il genere dalla colonna sonora

Nel loro studio, il gruppo ha esaminato un set di dati di 110 film popolari usciti tra il 2014 e il 2019. Hanno utilizzato la classificazione di genere elencata nell'Internet Movie Database (IMDb), per etichettare ogni film come azione, commedia, dramma, horror, romanticismo o scienza -fiction, con molti dei film che abbracciano più di uno di questi generi.

Successivamente, hanno applicato una rete di apprendimento profondo che ha estratto le informazioni uditive, come timbro, armonia, melodia, ritmo e tono dalla musica e dalla colonna sonora di ogni film. Questa rete ha utilizzato l'apprendimento automatico per analizzare queste caratteristiche musicali e si è dimostrata in grado di classificare accuratamente il genere di ogni film basandosi solo su queste caratteristiche.

Il gruppo ha anche interpretato questi modelli per determinare quali caratteristiche musicali fossero più indicative delle differenze tra i generi. I modelli non hanno fornito dettagli sui tipi di note o strumenti associati a ciascun genere, ma sono stati in grado di stabilire che le caratteristiche tonali e timbriche erano le più importanti nella previsione del genere del film.

"Collare queste basi è davvero eccitante perché ora possiamo essere più precisi nel tipo di domande che vogliamo porre su come la musica viene utilizzata nei film", ha affermato Knox. "L'esperienza cinematografica complessiva è molto complicata ed essere in grado di analizzare computazionalmente il suo impatto e le scelte e le tendenze che accompagnano la sua costruzione è molto eccitante."

Direzioni future

Narayanan e il suo team hanno esaminato le informazioni uditive di ogni film utilizzando una tecnologia nota come fingerprinting audio, la stessa tecnologia che consente a servizi come Shazam di identificare le canzoni da un database ascoltando le registrazioni, anche quando sono presenti effetti sonori o altri rumori di sottofondo. Questa tecnologia ha permesso loro di osservare dove si verificano gli spunti musicali in un film e per quanto tempo.

"L'uso del fingerprinting audio per ascoltare tutto l'audio del film ci ha permesso di superare un limite dei precedenti studi sulla musica da film, che di solito si limitavano a guardare l'intera colonna sonora del film senza sapere se o quando le canzoni dell'album compaiono nel film, " disse la mamma. In futuro, il gruppo è interessato a sfruttare questa capacità per studiare come la musica viene utilizzata in momenti specifici di un film e come i segnali musicali determinano l'evoluzione della narrativa del film nel corso del suo corso.

"Con l'accesso sempre crescente sia al cinema che alla musica, non è mai stato così cruciale studiare quantitativamente come questi media ci influenzano", ha detto Greer. "Capire come funziona la musica in combinazione con altre forme di media può aiutarci a ideare esperienze visive migliori e creare arte commovente e di grande impatto".