Uscite preattivate (es. il valore reale, valori intermedi subito prima dell'operazione di binarizzazione; vedere la Sezione 2.2) per il modello proposto implementato da MLP e addestrato con l'obiettivo WGAN-GP. Modello proposto con DBN (preattivato). Credito:Dong e Yang.
Ricercatori del Centro di ricerca per l'innovazione informatica di Academia Sinica, in Taiwan, hanno recentemente sviluppato una nuova rete generativa avversaria (GAN) che ha neuroni binari nello strato di uscita del generatore. Questo modello, presentato in un articolo pre-pubblicato su arXiv, può generare direttamente previsioni con valore binario al momento del test.
Finora, Gli approcci GAN hanno ottenuto risultati notevoli nella modellazione di distribuzioni continue. Ciò nonostante, l'applicazione dei GAN a dati discreti è stata finora alquanto impegnativa, in particolare a causa delle difficoltà nell'ottimizzazione della distribuzione del modello verso la distribuzione dei dati target in uno spazio discreto ad alta dimensionalità.
Hao-Wen Dong, uno dei ricercatori che ha condotto lo studio, detto Tech Xplore , "Attualmente sto lavorando sulla generazione di musica nel Laboratorio di musica e intelligenza artificiale dell'Academia Sinica. Secondo me, la composizione può essere interpretata come una serie di decisioni, ad esempio, per quanto riguarda la strumentazione, accordi e anche le note esatte da usare. Per avanzare verso il raggiungimento della grande visione di un solido compositore AI, Sono particolarmente interessato a sapere se i modelli generativi profondi come i GAN sono in grado di prendere decisioni. Perciò, questo lavoro ha esaminato se possiamo addestrare un GAN che utilizza neuroni binari per prendere decisioni binarie usando la retropropagazione, l'algoritmo di addestramento standard."
Dong e il suo consigliere Yi-Hsuan Yang hanno sviluppato un modello in grado di generare direttamente previsioni a valori binari al momento del test. Lo hanno quindi utilizzato per generare cifre MNIST binarizzate e confrontare le prestazioni di diversi tipi di neuroni binari, Obiettivi GAN e architetture di rete.
Cifre generate a campione e uscite preattivate (ad es. il valore reale, valori intermedi subito prima dell'operazione di binarizzazione; vedere la Sezione 2.2) per il modello proposto implementato da MLP e addestrato con l'obiettivo WGAN-GP. Modello proposto con SBN (pre-attivato). Credito:Dong e Yang.
"In poche parole, BinaryGAN è un GAN che adotta neuroni binari, neuroni che emettono uno o uno zero, allo strato di uscita del generatore, " Dong ha detto. "Un GAN ha due componenti principali:il generatore e il discriminatore. Il generatore mira a produrre campioni di dati falsi in grado di ingannare il discriminatore classificando i campioni generati come reali. D'altra parte, l'obiettivo del discriminatore è distinguere i dati falsi da quelli reali. Il feedback fornito dal discriminatore viene poi utilizzato per migliorare il generatore. Dopo la formazione, il generatore può quindi essere utilizzato per generare nuovi campioni di dati."
I ricercatori sono stati in grado di addestrare efficacemente BinaryGAN, il loro modello generativo con neuroni binari. I loro risultati suggeriscono anche che l'uso di stimatori di gradiente potrebbe essere un approccio promettente per modellare distribuzioni discrete con GAN.
Istogrammi degli output preattivati per il modello proposto e le previsioni probabilistiche per il modello a valori reali. I due modelli sono entrambi implementati da MLP e addestrati con l'obiettivo WGAN-GP. Credito:Dong e Yang.
"Con l'uso di stimatori di gradiente, siamo stati in grado di addestrare BinaryGAN, utilizzando l'algoritmo di backpropagation, "Dong ha detto. "Inoltre, la binarizzazione adottata nel modello ha portato a caratteristiche distinte delle rappresentazioni intermedie apprese dalle reti neurali profonde. Ciò sottolinea anche l'importanza di includere le operazioni di binarizzazione nella formazione, in modo che anche queste operazioni di binarizzazione possano essere ottimizzate."
Dong e Yang stanno ora cercando di applicare un GAN che adotti neuroni binari per la realizzazione di un grafico di calcolo condizionale. In questo caso, alcuni componenti verrebbero attivati e disattivati, secondo le decisioni prese dai neuroni binari della rete.
Schema di sistema del modello proposto implementato da MLP. Si noti che i neuroni binari vengono utilizzati solo a livello di output del generatore. Credito:Dong e Yang.
"Questo è importante perché ci consente di costruire un modello più complesso che si basa su decisioni prese ai primi livelli della rete, "Dong ha detto. "Per esempio, potremmo costruire un compositore di intelligenza artificiale che impari a decidere prima la strumentazione e gli accordi e poi componga di conseguenza."
© 2018 Tech Xplore
