Il cervello e tutte le sue magnifiche capacità sono alimentate da meno di 20 watt. Fermati a pensarci un attimo. Mentre scrivo questo blog, il mio laptop utilizza circa 80 watt, eppure a solo un quarto della potenza, il nostro cervello supera i supercomputer all'avanguardia di diversi ordini di grandezza quando si tratta di efficienza energetica e volume. La natura è davvero notevole.

Per questo motivo non dovrebbe sorprendere che gli scienziati di tutto il mondo stiano cercando ispirazione dal cervello umano come una strada promettente verso lo sviluppo di sistemi informatici di intelligenza artificiale di prossima generazione e mentre l'industria IT ha compiuto progressi significativi negli ultimi anni, in particolare nell'uso dell'apprendimento automatico per la visione artificiale e il riconoscimento vocale, la tecnologia attuale sta colpendo un muro quando si tratta di reti neurali profonde che corrispondono all'efficienza energetica della loro controparte biologica, ma questo potrebbe essere sul punto di cambiare.

Come riportato la scorsa settimana in Comunicazioni sulla natura , io e i miei colleghi di IBM Research e collaboratori dell'EPFL e del New Jersey Institute of Technology abbiamo sviluppato e testato sperimentalmente un'architettura di sinapsi artificiale utilizzando 1 milione di dispositivi, un passo significativo verso la realizzazione di una tecnologia di calcolo neuromorfico su larga scala ed efficiente dal punto di vista energetico.

Quando il brillante scienziato John von Neumann costruì l'architettura del computer di oggi, che alimenta quasi il 100% dei computer del mondo, ha mantenuto la memoria e l'elaborazione separatamente. Ciò significa che i dati devono spostarsi costantemente avanti e indietro, generare calore e richiedere molta energia:è un collo di bottiglia dell'efficienza. Il cervello ovviamente non ha compartimenti diversi, ecco perché è così efficiente. Ma questo non ha impedito ai team di attenersi al progetto di von Neumann per costruire una rete neurale e, sebbene abbiano un certo successo, l'efficienza di questi sistemi rimane bassa:semplicemente non puoi battere la natura.

Più recentemente, scienziati, compresi quelli di IBM, hanno adottato un approccio diverso basato su una nuova classe di dispositivi su scala nanometrica noti come dispositivi memristivi, che hanno mostrato grandi promesse nell'affrontare questo collo di bottiglia. Il design del nostro dispositivo si basa su qualcosa chiamato memoria a cambiamento di fase (PCM), probabilmente la tecnologia di memoria non volatile emergente più avanzata. Un impulso elettrico viene applicato al materiale, che modifica la conduttanza del dispositivo attraverso le sue proprietà fisiche.

Come spiegato nel nostro articolo:"I dispositivi memristivi come i dispositivi PCM memorizzano le informazioni nei loro stati di resistenza/conduttanza e mostrano una modulazione della conduttività basata sulla cronologia della programmazione. L'idea centrale nella costruzione di hardware cognitivo basato su dispositivi memristivi è di memorizzare i pesi sinaptici come loro stati di conduttanza e per eseguire le attività computazionali associate in atto. modulazione precisa della conduttanza del dispositivo su un'ampia gamma dinamica, necessario per mantenere un'elevata precisione della rete, si sta rivelando impegnativo».

La nostra svolta è nel nostro design, che chiamiamo architettura sinaptica multi-memristiva. Questa architettura ci consente di aumentare la precisione sinaptica senza aumentare la densità di potenza anche se utilizziamo diversi dispositivi memristivi per rappresentare una sinapsi. Il trucco è che abbiamo un bel meccanismo di selezione, basato su un contatore globale, che dice al dispositivo che deve cambiare e quando. L'unica penalità o costo è il requisito di più immobili per i dispositivi PCM aggiuntivi.

Per testare la nostra architettura, abbiamo addestrato sia le reti neurali spiking che non-spiking. I nostri dati selezionati sono popolari:il set di dati MNIST di cifre scritte a mano e il nostro compito è il riconoscimento delle cifre scritte a mano:essenzialmente la nostra rete deve riconoscere quale numero appare dalle immagini scritte a mano. In entrambi i casi, vediamo che la sinapsi multi-memristiva supera significativamente le architetture differenziali convenzionali con due dispositivi, illustrando chiaramente l'efficacia dell'architettura proposta. Un punto culminante del lavoro è una dimostrazione sperimentale dell'architettura sinaptica multi-memristiva in una rete neurale che utilizza più di 1 milione di dispositivi di memoria a cambiamento di fase.

L'architettura è applicabile a un'ampia gamma di reti neurali e tecnologie memristive ed è compatibile con le barre incrociate. L'architettura proposta e la sua dimostrazione sperimentale sono un passo significativo verso la realizzazione di strutture altamente efficienti, reti neurali su larga scala basate su dispositivi memristivi con caratteristiche tipiche, caratteristiche non ideali osservate sperimentalmente. Avendolo detto, siamo anche concentrati sul miglioramento del dispositivo memristivo stesso, è precisione e gamma dinamica e quindi pensiamo di poter puntare al Santo Graal:prestazioni in virgola mobile.