I ricercatori dell'Institute of Cyber ​​Intelligence Systems presso la National Research Nuclear University MEPhI (Russia) hanno recentemente sviluppato un nuovo modello di apprendimento per la macchina Boltzmann ristretta (una rete neurale), che ottimizza i processi di codifica semantica, visualizzazione e riconoscimento dati. I risultati di questa ricerca sono pubblicati sulla rivista Memoria ottica e reti neurali .

Oggi, reti neurali profonde con diverse architetture, come convoluzionale, reti ricorrenti e autoencoder, stanno diventando un'area di ricerca sempre più popolare. Un certo numero di aziende high-tech, inclusi Microsoft e Google, utilizzano reti neurali profonde per progettare sistemi intelligenti.

Nei sistemi di apprendimento profondo, i processi di selezione e configurazione delle funzionalità sono automatizzati, il che significa che le reti possono scegliere autonomamente tra gli algoritmi più efficaci per l'estrazione gerarchica delle caratteristiche. L'apprendimento profondo è caratterizzato dall'apprendimento con l'aiuto di campioni di grandi dimensioni utilizzando un unico algoritmo di ottimizzazione. I tipici algoritmi di ottimizzazione configurano i parametri di tutte le operazioni contemporaneamente, e stimare efficacemente l'effetto di ogni parametro della rete neurale sull'errore con l'aiuto del cosiddetto metodo di backpropagation.

"La capacità delle reti neurali di apprendere da sole è una delle loro proprietà più intriganti, " ha spiegato Vladimir Golovko, professore al MEPhI Institute of Cyber ​​Intelligence Systems. "Proprio come i sistemi biologici, le reti neurali possono modellarsi da sole, cercando di sviluppare il miglior modello di comportamento possibile".

Nel 2006, la sfera della formazione delle reti neurali ha visto una svolta quando Geoffrey Hinton ha pubblicato un documento di ricerca sulle reti neurali pre-formazione. Ha affermato che le reti neurali multistrato potrebbero essere pre-addestrate addestrando uno strato alla volta con l'aiuto della macchina Boltzmann ristretta e quindi perfezionandole utilizzando la retropropagazione. Queste reti sono state chiamate reti di credenze profonde, o DBN.

Golovko ha analizzato i principali problemi e paradigmi del deep machine learning e ha suggerito un nuovo metodo di apprendimento per la macchina Boltzmann ristretta. Il ricercatore ha dimostrato che la regola classica dell'addestramento di questa rete neurale è un caso particolare del metodo da lui sviluppato.

"Gli scienziati americani Minsky e Papert una volta hanno dimostrato che dal punto di vista della classificazione dei modelli, il perceptron a strato singolo con la funzione di attivazione della soglia forma una superficie di separazione lineare, che è il motivo per cui non può risolvere il problema "esclusivo o", " Golovko ha osservato. "Ciò ha portato a conclusioni pessimistiche sull'ulteriore sviluppo delle reti neurali. Però, l'ultima affermazione è vera solo per un perceptron a strato singolo con una soglia o una funzione di attivazione continua monotona, ad esempio, una funzione sigmoide. Quando si utilizza la funzione di attivazione del segnale, il perceptron a strato singolo può risolvere il problema 'esclusivo o', poiché può dividere l'area degli uno e degli zeri in classi con l'aiuto di due rette."

La ricerca ha comportato anche un'analisi delle prospettive di utilizzo di reti neurali profonde per la compressione, visualizzazione e riconoscimento dei dati. Inoltre, Golovko ha anche suggerito un nuovo approccio all'implementazione della codifica semantica, o hash, che si basa sull'uso di reti neurali autoassociative profonde.

Questo metodo di deep learning potrebbe essere molto utile per addestrare le reti neurali dei motori di ricerca, afferma l'autore, in quanto migliorerà la velocità di ricerca delle immagini pertinenti.

Questi risultati hanno un grande valore pratico:hanno già trovato applicazione negli ambiti della computer vision, riconoscimento vocale e bioinformatica.