La maggior parte degli algoritmi di deep learning funziona bene quando viene addestrata su grandi insiemi di dati etichettati, ma le loro prestazioni tendono a diminuire durante l'elaborazione di nuovi dati. I ricercatori di tutto il mondo hanno quindi cercato di sviluppare tecniche che potrebbero migliorare la capacità di questi algoritmi di generalizzare bene su dati sia nuovi che elaborati in precedenza, consentendo ciò che è noto come apprendimento permanente.

I ricercatori dell'Università di Notre Dame e del GlobalFoundries Fab1 hanno recentemente sviluppato un nuovo metodo per facilitare l'apprendimento permanente nelle reti neurali artificiali, che comporta l'utilizzo di un componente di memoria indirizzabile a contenuto ternario ferroelettrico. Il loro studio, in primo piano Elettronica della natura , mirava a replicare la capacità del cervello umano di apprendere rapidamente solo da pochi esempi, adattarsi a nuovi compiti sulla base delle esperienze passate.

"Quando una rete neurale profonda addestrata incontra classi mai viste prima, spesso non riesce a generalizzare dalla sua conoscenza precedente e deve reimparare i parametri di rete per estrarre informazioni rilevanti dalla classe data, "Kai Ni, uno dei ricercatori che ha condotto lo studio, ha detto a TechXplore. "Ciò richiede la messa a disposizione di grandi quantità di dati etichettati per la formazione in rete".

Un approccio progettato per migliorare le prestazioni delle reti neurali profonde su dati inediti comporta l'integrazione di un componente di memoria attenzionale. Questa componente consente agli algoritmi di basare le proprie analisi su conoscenze precedentemente acquisite, adattandolo per affrontare compiti nuovi e tuttavia in qualche modo simili. Algoritmi con una componente di memoria attenzionale, note come reti neurali aumentate di memoria (MANN), sono in genere in grado di estrarre caratteristiche dai dati, memorizzali nella loro memoria attenzionale e recuperali quando completi un nuovo compito.

"Una funzione chiave del modulo di memoria è l'indirizzamento basato sul contenuto, dove viene calcolata la distanza tra un vettore di ricerca e tutti i vettori memorizzati per trovare la corrispondenza più vicina. In un approccio convenzionale, i vettori di memoria memorizzati (in DRAM) devono essere trasferiti a un'unità di calcolo (CPU o GPU) per confrontare le distanze con una determinata query, "Ni ha detto. "Come tale, la dissipazione di energia e le limitazioni di latenza possono rappresentare sfide significative per l'aumento delle MANN. In questo lavoro, proponiamo di applicare la memoria indirizzabile a contenuto ternario ferroelettrico (TCAM) come memoria attenzionale della rete per superare questo collo di bottiglia".

Calcolando la distanza tra un vettore di query e ciascuna voce di memoria memorizzata direttamente al suo interno, il componente TCAM introdotto da Ni e dai suoi colleghi evita costosi trasferimenti di dati. TCAM si basa essenzialmente sul fatto che la corrente di scarica attraverso una linea di corrispondenza è proporzionale alla distanza di Hamming (HD) tra la query e la voce memorizzata.

Il rilevamento di questa corrente di scarica consente ai ricercatori di calcolare l'HD direttamente all'interno del componente di memoria in parallelo. TCAM consente inoltre ai modelli di deep learning di eseguire aggiornamenti della memoria basati sul contenuto piuttosto che aggiornamenti dei dati basati su indirizzi casuali.

"Per consentire l'interazione efficiente tra la rete neurale (che lavora con il numero mobile) e l'array TCAM (calcolando solo la distanza HD), abbiamo applicato una funzione di hashing sensibile alla località (LSH) per mappare un vettore di feature a valori reali estratto da NN a uno spazio di firma binaria, che consente una ricerca del vicino più vicino basata sulla distanza di Hamming all'interno dell'array TCAM, "Ni ha spiegato.

Ni e i suoi colleghi hanno valutato il loro prototipo TCAM ferroelettrico in una serie di prove in cui una rete neurale profonda ha dovuto imparare a completare nuove attività sulla base di uno o più esempi. Se implementato su una GPU supportata da DRAM esterna, il loro metodo ha portato a precisioni di classificazione che si avvicinano a quelle ottenute con un metodo più convenzionale basato sul calcolo della distanza del coseno (ad es. una precisione del 99,5% rispetto a una precisione del 99,05 percento per un 20 vie, problema di apprendimento a cinque colpi). Sorprendentemente, il sistema basato su TCAM ha raggiunto precisioni simili a quelle dell'approccio più convenzionale con una riduzione di 60 volte del consumo energetico e 2, Riduzione di 700 volte della latenza per una singola operazione di ricerca.

"I contributi di questa ricerca sono molteplici, " Ni ha detto. "In primo luogo, abbiamo dimostrato la cella TCAM più compatta fino ad oggi, che è composto solo da due FeFET, ma fornisce la più alta densità di memoria e probabilmente nel complesso le migliori prestazioni tra tutte le altre alternative. In secondo luogo, abbiamo dimostrato la funzionalità del calcolo della distanza HD con un array TCAM. Finalmente, abbiamo applicato il kernel TCAM nel MANN per l'apprendimento one-shot e forniamo una soluzione di sistema end-to-end."

Nel futuro, il nuovo componente di memoria proposto da Ni e dai suoi colleghi potrebbe aiutare lo sviluppo di modelli basati sull'apprendimento profondo più efficienti che si comportano bene sia su compiti familiari che nuovi. I ricercatori stanno ora pianificando di sviluppare un prototipo basato su TCAM più grande che potrebbe consentire un ulteriore aumento delle prestazioni.

"Il lavoro esistente dimostra il nostro approccio su piccola scala a causa dei limiti delle nostre impostazioni di misurazione, " Ni ha detto. "Stiamo progettando di progettare un array più grande, insieme a importanti circuiti periferici, in modo che il TCAM possa essere un modulo autonomo. A parte quello, l'ottimizzazione del livello del dispositivo è ancora necessaria per migliorare la resistenza FeFET, variazione, e affidabilità ecc."

© 2019 Scienza X Rete