Una panoramica dell'approccio di Vechtomova et al. Primo, viene implementata una CNN per classificare gli artisti in base alle immagini dello spettrogramma, imparando così gli incorporamenti dell'artista. Quindi, un VAE è addestrato a ricostruire le linee dai testi delle canzoni, condizionato dagli incorporamenti dell'artista pre-addestrato. Al momento dell'inferenza, al fine di generare testi nello stile di un artista desiderato, i ricercatori campionano z dallo spazio latente e lo decodificano in base all'incorporamento di quell'artista. Credito:Vechtomova et al.
Ricercatori dell'Università di Waterloo, Canada, hanno recentemente sviluppato un sistema per generare testi di canzoni che si adattano allo stile di particolari artisti musicali. Il loro approccio, delineato in un documento pre-pubblicato su arXiv, utilizza un autoencoder variazionale (VAE) con incorporamenti di artisti e un classificatore CNN addestrato per prevedere gli artisti dagli spettrogrammi MEL dei loro clip musicali.
"La motivazione per questo progetto è venuta dal mio interesse personale, "Olga Vechtomova, uno dei ricercatori che ha condotto lo studio, ha detto a TechXplore. "La musica è una mia passione, ed ero curioso di sapere se una macchina può generare linee che suonano come i testi dei miei artisti musicali preferiti. Mentre si lavora su modelli generativi di testo, il mio gruppo di ricerca ha scoperto che le reti neurali possono generare alcune righe di testo impressionanti. Il passo successivo naturale per noi è stato quello di esplorare se una macchina potesse apprendere l'"essenza" dello stile lirico di uno specifico artista musicale, compresa la scelta delle parole, temi e struttura della frase, per generare nuove linee di testi che suonano come l'artista in questione."
Il sistema sviluppato da Vechtomova e dai suoi colleghi si basa su un modello di rete neurale chiamato autoencoder variazionale (VAE), che può apprendere ricostruendo le righe di testo originali. Nel loro studio, i ricercatori hanno addestrato il loro modello per generare un numero qualsiasi di nuovi, linee liriche diverse e coerenti.
"Per generare linee nello stile di un dato artista, abbiamo condizionato la generazione a un artista embedding (cioè un vettore multidimensionale di numeri reali), appresa da una rete neurale separata, che è addestrato a classificare spettrogrammi di clip audio musicali di artisti, " Ha detto Vechtomova. "Usiamo quindi gli incorporamenti dell'artista per condizionare la generazione di linee di testi nello stile di ciascun artista. La motivazione alla base di questo è che vogliamo che le differenze tra gli incorporamenti degli artisti riflettano le differenze nei loro stili lirici e musicali".
In una serie di valutazioni preliminari, il sistema sviluppato da Vechtomova e dai suoi colleghi ha funzionato notevolmente bene. Le loro scoperte suggeriscono che gli incorporamenti di artisti sono utili per generare testi che corrispondono allo stile di un artista. Molte linee generate dal modello erano inequivocabilmente allineate con l'artista su cui era condizionato, riflettendo i temi generalmente affrontati nella sua musica.
Due poesie generate dal sistema e incluse nella raccolta presentata al NeurIPS 2018 Workshop on ML for Creativity and Design. Vechtomova ha creato ogni poesia selezionando i versi generati dal VAE e disponendoli in modo artisticamente significativo. Nessuna modifica è stata apportata alle singole linee, tranne per l'aggiunta di maiuscole e segni di punteggiatura. Credito:Vechtomova.
"Mentre le linee generate contengono spesso le parole di un artista, questi sono usati in un modo nuovo e interessante, esprimere pensieri nuovi che non si trovano nei testi originali, " ha spiegato Vechtomova. "Alcune delle linee generate trasmettono nuove e potenti immagini poetiche, espressi utilizzando accorgimenti stilistici come metafore e ossimori, pur rimanendo fedele allo stile dell'artista."
Nel futuro, il sistema creato da Vechtomova e dai suoi colleghi potrebbe essere utilizzato per ispirare artisti che stanno componendo testi per nuove canzoni. Piuttosto che sostituire i compositori lirici, i ricercatori sperano che fornisca nuove idee, che gli artisti possono poi plasmare, basarsi e svilupparsi in modo indipendente.
"Il sistema non è pensato per sostituire un artista musicale, ma da usare come fonte di ispirazione durante il processo di composizione, " Vechtomova ha detto. "Nel mondo della musica, questo potrebbe essere analogo a un sintetizzatore che può generare un numero infinito di suoni, da cui un artista crea poi una canzone. Allo stesso modo, questo strumento può generare un numero infinito di nuove linee che gli artisti possono utilizzare nel modo che preferiscono per comporre i propri testi."
Nell'ambito di un progetto diverso, Vechtomova ha utilizzato lo stesso sistema per generare poesie intriganti nello stile di diversi artisti musicali. La raccolta di poesie risultante è stata accettata come opera d'arte al NeurIPS 2018 Workshop on ML for Creativity and Design.
"Nel futuro, abbiamo in programma di lavorare su modelli in grado di apprendere nuovi temi e vocabolario da fonti aggiuntive, e usarli per generare testi nello stile di un determinato artista, "Vechtomova ha detto. "Vorrei anche esplorare come un tale sistema potrebbe essere potenzialmente utilizzato dagli artisti musicali come fonte di ispirazione".
© 2019 Scienza X Rete
