Gli assoni dei neuroni presinaptici (ingresso X) si collegano ai rami dei dendriti (rettangoli orizzontali) tramite strati sinaptici; lo strato di membrana (rettangoli verticali) somma le attivazioni dendritiche, e trasferisce la somma al corpo soma (sfera nera). Gli strati sinaptici hanno quattro diversi casi di connessione, vale a dire, il collegamento diretto, la connessione inversa, la connessione costante 0 e la connessione costante 1. Credito:Università di Kanazawa
Le reti neurali artificiali sono sistemi di apprendimento automatico composti da un gran numero di nodi collegati chiamati neuroni artificiali. Simile ai neuroni in un cervello biologico, questi neuroni artificiali sono le unità di base primarie che vengono utilizzate per eseguire calcoli neurali e risolvere problemi. I progressi della neurobiologia hanno illustrato l'importante ruolo svolto dalle strutture delle cellule dendritiche nel calcolo neurale, e questo ha portato allo sviluppo di modelli di neuroni artificiali basati su queste strutture.
Il modello di neurone logico approssimativo (ALNM) recentemente sviluppato è un singolo modello neurale che ha una struttura dendritica dinamica. L'ALNM può utilizzare una funzione di potatura neurale per eliminare rami e sinapsi dendriti non necessari durante l'allenamento per affrontare un problema specifico. Il modello semplificato risultante può quindi essere implementato sotto forma di un circuito logico hardware.
Però, il noto algoritmo di backpropagation (BP) utilizzato per addestrare l'ALMN in realtà limitava la capacità computazionale del modello neuronale. "L'algoritmo BP era sensibile ai valori iniziali e poteva essere facilmente intrappolato nei minimi locali, ", afferma l'autore corrispondente Yuki Todo della Facoltà di Ingegneria Elettrica e Informatica dell'Università di Kanazawa. "Abbiamo quindi valutato le capacità di diversi metodi di ottimizzazione euristica per la formazione dell'ALMN".
Dopo una serie di esperimenti, l'algoritmo di ricerca degli stati della materia (SMS) è stato selezionato come metodo di addestramento più appropriato per l'ALMN. Sono stati quindi utilizzati sei problemi di classificazione di benchmark per valutare le prestazioni di ottimizzazione dell'ALNM quando è stato addestrato utilizzando l'SMS come algoritmo di apprendimento, ei risultati hanno mostrato che SMS ha fornito prestazioni di addestramento superiori rispetto a BP e agli altri algoritmi euristici in termini di precisione e velocità di convergenza.
I processi di evoluzione della ricerca degli stati della materia (SMS) si basano sul principio fisico del rapporto di moto energia termica. L'intero processo di ottimizzazione è suddiviso nelle seguenti tre fasi:lo stato del gas (50 percento), lo stato liquido (40%) e lo stato solido (10%). Ogni stato ha le proprie operazioni con diversi rapporti di esplorazione-sfruttamento. Lo stato del gas è una pura esplorazione all'inizio del processo di ottimizzazione. Lo stato liquido possiede contemporaneamente l'esplorazione e lo sfruttamento alla ricerca, e lo stato solido si concentra sullo sfruttamento semplicemente nell'ultima parte del processo di ottimizzazione. L'algoritmo così ottimizzato può raggiungere un adeguato equilibrio tra esplorazione e sfruttamento. Credito:Università di Kanazawa
"Un classificatore basato su ALNM e SMS è stato anche confrontato con molti altri metodi di classificazione popolari, " afferma il Professore Associato Todo, "e i risultati statistici hanno verificato la superiorità di questo classificatore su questi problemi di benchmark".
Durante il percorso formativo, l'ALNM ha semplificato i modelli neurali attraverso procedure di potatura sinaptica e dendritica, e le strutture semplificate sono state poi sostituite utilizzando circuiti logici. Questi circuiti hanno anche fornito un'accuratezza di classificazione soddisfacente per ciascuno dei problemi di benchmark. La facilità di implementazione hardware di questi circuiti logici suggerisce che la ricerca futura vedrà l'ALNM e l'SMS utilizzati per risolvere problemi del mondo reale sempre più complessi e ad alta dimensionalità.
ALNM è in grado di semplificare i modelli neurali mediante potatura sinaptica e potatura dendritica durante il processo di addestramento. Quindi, le strutture semplificate di ALNM possono essere sostituite da circuiti logici, che consiste semplicemente nei "comparatori" e nella logica NOT, porte AND e OR. Tra loro, il 'comparatore' funziona come un convertitore analogico-digitale che confronta l'ingresso con la soglia . Se l'ingresso X supera la soglia θ, il 'comparatore' produrrà 1. Altrimenti, produrrà 0. Quando implementato sull'hardware, questi circuiti logici possono essere adottati come classificatori efficienti per risolvere i sei problemi di benchmark. Credito:Università di Kanazawa
