I ricercatori hanno sviluppato una nuova struttura per le reti neurali profonde che consente ai sistemi di intelligenza artificiale (AI) di apprendere meglio nuovi compiti "dimenticando" meno di ciò che ha appreso sui compiti precedenti. I ricercatori hanno anche dimostrato che l'utilizzo del framework per apprendere una nuova attività può migliorare l'intelligenza artificiale nell'esecuzione delle attività precedenti, un fenomeno chiamato trasferimento a ritroso.

"Le persone sono in grado di apprendere continuamente; impariamo sempre nuovi compiti, senza dimenticare ciò che già sappiamo, "dice Tianfu Wu, un assistente professore di ingegneria elettrica e informatica presso NC State e coautore di un documento sul lavoro. "Ad oggi, I sistemi di intelligenza artificiale che utilizzano reti neurali profonde non sono stati molto bravi in ​​questo".

"I sistemi di intelligenza artificiale delle reti neurali profonde sono progettati per l'apprendimento di compiti ristretti, "dice Xilai Li, un co-autore principale dell'articolo e un dottorato di ricerca. candidato allo stato NC. "Di conseguenza, una delle tante cose che può accadere quando si imparano nuovi compiti. I sistemi possono dimenticare i vecchi compiti quando ne imparano di nuovi, che si chiama dimenticanza catastrofica. I sistemi possono dimenticare alcune delle cose che sapevano sui vecchi compiti, pur non imparando a farne anche di nuovi. Oppure i sistemi possono correggere vecchie attività in atto mentre aggiungono nuove attività, il che limita il miglioramento e porta rapidamente a un sistema di intelligenza artificiale che è troppo grande per funzionare in modo efficiente. Apprendimento continuo, chiamato anche apprendimento permanente o apprendimento per imparare, sta cercando di risolvere il problema".

"Abbiamo proposto un nuovo quadro per l'apprendimento continuo, che disaccoppia l'apprendimento della struttura di rete e l'apprendimento dei parametri del modello, "dice Yingbo Zhou, co-autore principale dell'articolo e ricercatore presso Salesforce Research. "Lo chiamiamo framework Learn to Grow. Nei test sperimentali, abbiamo scoperto che supera i precedenti approcci all'apprendimento continuo."

Per comprendere il framework Learn to Grow, pensa alle reti neurali profonde come a un tubo pieno di più strati. I dati grezzi vanno nella parte superiore del tubo, e gli output delle attività escono dal basso. Ogni "strato" nella pipe è un calcolo che manipola i dati per aiutare la rete a svolgere il suo compito, come identificare oggetti in un'immagine digitale. Esistono diversi modi per disporre gli strati nel tubo, che corrispondono a diverse "architetture" della rete.

Quando si chiede a una rete neurale profonda di apprendere un nuovo compito, il framework Learn to Grow inizia conducendo una cosa chiamata ottimizzazione esplicita dell'architettura neurale tramite la ricerca. Ciò significa che quando la rete arriva a ogni livello del suo sistema, può decidere di fare una delle quattro cose:saltare il livello; usa il livello nello stesso modo in cui lo usavano le attività precedenti; collegare un adattatore leggero allo strato, che lo modifica leggermente; o creare un livello completamente nuovo.

Questa ottimizzazione dell'architettura definisce efficacemente la migliore topologia, o serie di strati, necessario per portare a termine il nuovo compito. Una volta che questo è completo, la rete utilizza la nuova topologia per addestrarsi su come svolgere l'attività, proprio come qualsiasi altro sistema di intelligenza artificiale di deep learning.

"Abbiamo eseguito esperimenti utilizzando diversi set di dati, e quello che abbiamo scoperto è che più una nuova attività è simile alle attività precedenti, maggiore è la sovrapposizione in termini di livelli esistenti che vengono mantenuti per eseguire il nuovo compito, " dice Li. "Ciò che è più interessante è che, con la topologia ottimizzata - o "appresa" - una rete addestrata per eseguire nuovi compiti dimentica molto poco di ciò di cui aveva bisogno per eseguire i compiti più vecchi, anche se i compiti più vecchi non erano simili."

I ricercatori hanno anche condotto esperimenti confrontando la capacità del framework Learn to Grow di apprendere nuovi compiti con diversi altri metodi di apprendimento continuo, e ha scoperto che il framework Learn to Grow aveva una maggiore precisione durante il completamento di nuove attività.

Per testare quanto ogni rete potrebbe aver dimenticato durante l'apprendimento del nuovo compito, i ricercatori hanno quindi testato l'accuratezza di ciascun sistema nell'esecuzione delle attività precedenti e il framework Learn to Grow ha nuovamente superato le altre reti.

"In alcuni casi, il framework Learn to Grow in realtà è migliorato nell'esecuzione dei vecchi compiti, "dice Caiming Xiong, il direttore della ricerca di Salesforce Research e coautore del lavoro. "Questo si chiama trasferimento all'indietro, e si verifica quando scopri che imparare un nuovo compito ti rende migliore in un vecchio compito. Lo vediamo continuamente nelle persone; non tanto con l'intelligenza artificiale."

La carta, "Impara a crescere:un quadro di apprendimento continuo della struttura per superare l'oblio catastrofico, " sarà presentato alla 36a Conferenza Internazionale sul Machine Learning, che si terrà dal 9 al 15 giugno a Long Beach, California.