Emilia Gomez, ricercatore presso il Musical Technology Research Group (MTG) del Dipartimento di Tecnologie dell'Informazione e della Comunicazione (DTIC) dell'UPF, ha tentato di creare nuovi approcci digitali per arricchire l'esperienza di un concerto di musica classica prima, durante e dopo il concerto stesso, al fine di portare la musica classica a un nuovo pubblico in modo innovativo tramite la tecnologia.

"Una delle applicazioni che abbiamo studiato nel contesto post-concerto era un tipo di struttura in cui l'utente assume il ruolo di direttore in modo che i suoi movimenti "conducano" un'orchestra virtuale. Questo tipo di struttura ha avuto successo in luoghi come la Casa della Musica di Vienna, " dice Álvaro Sarasúa, primo autore di uno studio pubblicato il 25 febbraio sulla rivista Frontiere nelle Digital Humanities , guidato da Emilia Gómez.

Nell'interazione uomo-computer, le metafore dell'interfaccia forniscono agli utenti un modo per interagire con la macchina che assomiglia a un'attività nota. Queste metafore sono ampiamente utilizzate negli strumenti musicali digitali. In questo studio, gli autori hanno usato la metafora del conduttore. L'interesse nell'uso di queste metafore è che l'utente, in una struttura virtuale in cui controllare il tempo e la dinamica con cui suona un'orchestra, possono applicare la loro conoscenza o la loro intuizione precedente su come funziona una certa attività nel mondo reale, in questo caso, dirigere un'orchestra.

"Dal punto di vista della ricerca, in questo studio, eravamo interessati a determinare come le nozioni intuitive disponibili per gli utenti di questo tipo di struttura possano essere esplicitamente utilizzate dal sistema per rispondere ai loro gesti di dirigere un'orchestra in modo più intuitivo, e quindi, può fornire una performance più espressiva, "dice Sarasua.

Nelle fasi iniziali del progetto, i ricercatori hanno condotto studi osservazionali in cui hanno chiesto a persone con diversi gradi di formazione musicale di ascoltare diversi brani di musica classica e poi, mentre la musica suonava di nuovo, per fare movimenti del corpo che farebbero mentre dirigono un'orchestra per comunicare vari aspetti come il tempo e l'intensità. Hanno registrato i movimenti dei partecipanti utilizzando una telecamera Kinect, che registrava la posizione di varie parti del corpo.

Diverse tendenze interpretative osservate

L'analisi di questi dati ha rivelato tendenze diverse tra i soggetti. Da una parte, comunicare il tempo della musica, c'erano persone che comunicavano costantemente il ritmo un po' prima del tempo della musica, mentre altri lo hanno fatto in totale sincronia o con qualche ritardo. Per quanto riguarda la dinamica con cui suonavano gli strumenti, alcune persone tendevano a muoversi con più energia durante le parti forti, mentre altri hanno semplicemente alzato di più le braccia.

"La nostra ipotesi di partenza per questo studio era che un sistema che consente di controllare il tempo e il volume di un brano musicale mediante movimenti che imitano quelli di un direttore d'orchestra può essere più intuitivo se può essere adattato a queste tendenze personali, " spiega Sarasúa

"Nell'esempio del nostro esperimento, c'è un vantaggio "implicito" usando la metafora, in quanto dicendo all'utente che deve "dirigere" l'orchestra, sanno che devono muovere le braccia e avere una certa intuizione sulla loro capacità di controllare il tempo e la dinamica. Utilizzando il sistema proposto, questo miglioramento è più esplicito in quanto il sistema osserva e analizza ciò che l'utente sente di dover fare e si adatta per agire secondo queste intuizioni."

Gli autori si riferiscono a questa strategia come mappatura per osservazione, dalla mappatura, o il modo in cui i movimenti dell'utente sono collegati alla musica risultante, si adatta in modo specifico per ogni utente osservando cosa fa quando gli viene chiesto di eseguire movimenti imitando un conduttore senza dare alcuna istruzione specifica.

Nella valutazione del sistema, i ricercatori hanno osservato 24 partecipanti che si sono esibiti per primi con un sistema di base che non si adattava a ciascun utente, e poi un sistema basato sulla strategia di mappatura, e confrontato i risultati. Questo confronto è stato effettuato in un contesto in cui gli utenti hanno imparato a "condurre" l'orchestra virtuale attraverso la pratica. I due sistemi sono stati confrontati sulla base di misure oggettive e soggettive su una serie di compiti in cui i partecipanti dovevano far suonare l'orchestra a volumi diversi e farlo in sincronia con il metronomo a tempi diversi.

L'usabilità del sistema su misura è migliore

I risultati dell'esperimento hanno mostrato che l'usabilità del sistema su misura è migliore, sia in termini di controllo più intuitivo delle dinamiche con cui l'utente dirige l'orchestra, e in termini di controllo più preciso sul tempo. Per di più, i risultati mostrano anche una forte correlazione tra le misure desumibili dai dati utilizzati per realizzare l'adeguamento e il miglioramento introdotti dal sistema, il che indica che è possibile stimare in anticipo fino a che punto i movimenti spontanei di un determinato utente saranno realmente utili per adattare il sistema al suo stile.

I risultati di questo studio sono particolarmente rilevanti in contesti in cui l'interazione è progettata utilizzando metafore di interfaccia, come nel caso del direttore d'orchestra. "Nell'esempio del nostro esperimento, c'è un vantaggio "implicito" nell'uso della metafora, in quanto dicendo all'utente che deve "dirigere" l'orchestra, sanno che devono muovere le braccia e avere un po' di intuito per controllare il tempo e la dinamica. Utilizzando il sistema proposto, questo miglioramento è più "esplicito" in quanto il sistema osserva e analizza ciò che l'utente sente di dover fare e si adatta per eseguire secondo queste intuizioni, " concludono gli autori.