Nella musica, "portamento" è un termine usato da centinaia di anni, riferendosi all'effetto di far scivolare una nota di un'altezza in una nota di un'altezza più bassa o più alta. Ma solo strumenti che possono variare continuamente di tono, come la voce umana, strumenti a corda, e tromboni—possono tirare fuori l'effetto.

Ora uno studente del MIT ha inventato un nuovo algoritmo che produce un effetto di portamento tra due segnali audio in tempo reale. Negli esperimenti, l'algoritmo ha unito perfettamente varie clip audio, come una nota di pianoforte che scivola in una voce umana, e una canzone che si fonde con un'altra. Il suo articolo che descrive l'algoritmo ha vinto il premio "miglior articolo per studenti" alla recente Conferenza internazionale sugli effetti audio digitali.

L'algoritmo si basa su "trasporto ottimale, " un framework basato sulla geometria che determina i modi più efficienti per spostare oggetti, o punti dati, tra più configurazioni di origine e destinazione. Formulato nel 1700, il quadro è stato applicato alle catene di approvvigionamento, fluidodinamica, allineamento dell'immagine, modellazione 3D, computer grafica, e altro ancora.

Nel lavoro che ha avuto origine in un progetto di classe, Trevor Henderson, ora uno studente laureato in informatica, ha applicato il trasporto ottimale all'interpolazione dei segnali audio o alla fusione di un segnale in un altro. L'algoritmo prima suddivide i segnali audio in brevi segmenti. Quindi, trova il modo ottimale per spostare le altezze di ogni segmento verso le altezze dell'altro segnale, per produrre la scorrevolezza dell'effetto portamento. L'algoritmo include anche tecniche specializzate per mantenere la fedeltà del segnale audio durante la transizione.

"Il trasporto ottimale viene utilizzato qui per determinare come mappare le altezze di un suono alle altezze dell'altro, "dice Henderson, un organista di formazione classica che esegue musica elettronica ed è stato DJ su WMBR 88.1, La stazione radio del MIT. "Se sta trasformando un accordo in un accordo con un'armonia diversa, o con più note, ad esempio, le note si divideranno dal primo accordo e troveranno una posizione in cui scivolare senza soluzione di continuità nell'altro accordo."

Secondo Henderson, questa è una delle prime tecniche per applicare il trasporto ottimale alla trasformazione dei segnali audio. Ha già utilizzato l'algoritmo per costruire apparecchiature che passano senza soluzione di continuità tra le canzoni del suo programma radiofonico. I DJ possono anche utilizzare l'attrezzatura per passare da un brano all'altro durante le esibizioni dal vivo. Altri musicisti potrebbero usarlo per fondere strumenti e voce sul palco o in studio.

Il coautore di Henderson sull'articolo è Justin Solomon, un X-Consortium Career Development Assistant Professor presso il Dipartimento di Ingegneria Elettrica e Informatica. Solomon, che suona anche violoncello e pianoforte, guida il Geometric Data Processing Group nel Computer Science and Artificial Intelligence Laboratory (CSAIL) ed è membro del Center for Computational Engineering.

Henderson ha seguito la lezione di Solomon, 6.838 (Analisi della forma), che incarica gli studenti di applicare strumenti geometrici come il trasporto ottimale alle applicazioni del mondo reale. I progetti degli studenti di solito si concentrano su forme 3D della realtà virtuale o della computer grafica. Quindi il progetto di Henderson è stato una sorpresa per Solomon. "Trevor ha visto una connessione astratta tra la geometria e le frequenze in movimento nei segnali audio per creare un effetto di portamento, " Dice Solomon. "È stato dentro e fuori dal mio ufficio per tutto il semestre con l'attrezzatura da DJ. Non era quello che mi aspettavo di vedere, ma è stato molto divertente".

Per Henderson, non era troppo un allungamento. "Quando vedo una nuova idea, Chiedo, "È applicabile alla musica?", dice. "Quindi, quando abbiamo parlato di trasporto ottimale, Mi chiedevo cosa sarebbe successo se lo avessi collegato agli spettri audio."

Un buon modo per pensare a un trasporto ottimale, Henderson dice, sta trovando "un modo pigro per costruire un castello di sabbia". In quell'analogia, la struttura viene utilizzata per calcolare il modo in cui spostare ogni granello di sabbia dalla sua posizione in un mucchio informe in una posizione corrispondente in un castello di sabbia, utilizzando il minor lavoro possibile. Nella computer grafica, ad esempio, il trasporto ottimale può essere utilizzato per trasformare o trasformare le forme trovando il movimento ottimale da ciascun punto su una forma nell'altra.

L'applicazione di questa teoria alle clip audio implica alcune idee aggiuntive derivanti dall'elaborazione del segnale. Gli strumenti musicali producono il suono attraverso le vibrazioni dei componenti, a seconda dello strumento. I violini usano le corde, gli ottoni usano aria all'interno di corpi cavi, e gli umani usano le corde vocali. Queste vibrazioni possono essere catturate come segnali audio, dove la frequenza e l'ampiezza (altezza del picco) rappresentano altezze diverse.

Convenzionalmente, la transizione tra due segnali audio avviene con una dissolvenza, dove un segnale si riduce di volume mentre l'altro sale. Algoritmo di Henderson, d'altra parte, fa scorrere dolcemente i segmenti di frequenza da una clip all'altra, senza perdita di volume.

Fare così, l'algoritmo divide due clip audio qualsiasi in finestre di circa 50 millisecondi. Quindi, esegue una trasformata di Fourier, che trasforma ogni finestra nelle sue componenti di frequenza. Le componenti di frequenza all'interno di una finestra sono raggruppate insieme in singole "note" sintetizzate. Il trasporto ottimale quindi mappa come le note nella finestra di un segnale si sposteranno alle note nell'altra.

Quindi, subentra un "parametro di interpolazione". Questo è fondamentalmente un valore che determina dove ogni nota sarà sul percorso dal suo passo iniziale in un segnale al suo passo finale nell'altro. La modifica manuale del valore del parametro spazzerà le altezze tra le due posizioni, producendo l'effetto portamento. Quel singolo parametro può anche essere programmato e controllato da, dire, un crossfader, un componente slider sul mixer di un DJ che sfuma dolcemente tra i brani. Mentre il cross-fader scorre, il parametro di interpolazione cambia per produrre l'effetto.

Dietro le quinte ci sono due innovazioni che garantiscono un segnale privo di distorsioni. Primo, Henderson ha utilizzato una nuova applicazione di una tecnica di elaborazione del segnale, chiamato "riassegnazione di frequenza, " che raggruppa i bin di frequenza per formare singole note che possono facilmente passare da un segnale all'altro. In secondo luogo, ha inventato un modo per sintetizzare nuove fasi per ogni segnale audio mentre cuceva insieme le finestre da 50 millisecondi, in modo che le finestre vicine non interferiscano tra loro.

Prossimo, Henderson vuole sperimentare reimmettendo l'output dell'effetto nel suo input. Questo, lui pensa, potrebbe creare automaticamente un altro effetto musicale classico, "legato, " che è una transizione graduale tra note distinte. A differenza di un portamento, che riproduce tutte le note tra una nota di inizio e una di fine, un legato passa senza soluzione di continuità tra due note distinte, senza catturare alcuna nota in mezzo.

Questa storia è stata ripubblicata per gentile concessione di MIT News (web.mit.edu/newsoffice/), un popolare sito che copre notizie sulla ricerca del MIT, innovazione e didattica.