In questo modello di neurone, il neurone apprende regolando i pesi delle sue connessioni con altri neuroni. Credito:Goldt et al. ©2017 American Physical Society
(Phys.org)—Durante l'analisi dell'efficienza con cui il cervello può apprendere nuove informazioni, i fisici hanno scoperto che, a livello neuronale, l'efficienza dell'apprendimento è in definitiva limitata dalle leggi della termodinamica, gli stessi principi che limitano l'efficienza di molti altri processi familiari.
"Il più grande significato del nostro lavoro è che portiamo la seconda legge della termodinamica all'analisi delle reti neurali, "Sebastian Goldt all'Università di Stoccarda, Germania, detto Phys.org . "La seconda legge è un'affermazione molto potente su quali trasformazioni sono possibili e l'apprendimento è solo una trasformazione di una rete neurale a spese dell'energia. Questo rende i nostri risultati abbastanza generali e ci porta un passo avanti verso la comprensione dei limiti ultimi dell'efficienza delle reti neurali".
Goldt e il coautore Udo Seifert hanno pubblicato un articolo sul loro lavoro in un recente numero di Lettere di revisione fisica .
Poiché tutta l'attività cerebrale è legata all'attivazione di miliardi di neuroni, a livello neuronale, la domanda su "quanto efficientemente possiamo imparare?" diventa la questione di "quanto efficientemente può un neurone regolare il suo segnale di uscita in risposta ai modelli di segnali di ingresso che riceve da altri neuroni?" Poiché i neuroni migliorano nell'attivazione in risposta a determinati schemi, i pensieri corrispondenti sono rinforzati nel nostro cervello, come implica l'adagio "fuoco insieme, filo insieme."
Nel nuovo studio, gli scienziati hanno dimostrato che l'efficienza dell'apprendimento è limitata dalla produzione totale di entropia di una rete neurale. Hanno dimostrato che, più lentamente un neurone apprende, meno calore ed entropia produce, aumentandone l'efficienza. Alla luce di questa constatazione, gli scienziati hanno introdotto una nuova misura dell'efficienza dell'apprendimento basata sui requisiti energetici e sulla termodinamica.
Poiché i risultati sono molto generali, possono essere applicati a qualsiasi algoritmo di apprendimento che non utilizzi feedback, come quelli utilizzati nelle reti neurali artificiali.
"Avere una prospettiva termodinamica sulle reti neurali ci offre un nuovo strumento per pensare alla loro efficienza e un nuovo modo di valutare le loro prestazioni, " ha detto Goldt. "Trovare la rete neurale artificiale ottimale rispetto a quella valutazione è una possibilità entusiasmante, e anche una bella sfida."
Nel futuro, i ricercatori intendono analizzare l'efficienza degli algoritmi di apprendimento che utilizzano feedback, nonché indagare la possibilità di testare sperimentalmente il nuovo modello.
"Da una parte, stiamo attualmente ricercando ciò che la termodinamica può insegnarci su altri problemi di apprendimento, " disse Goldt. "Allo stesso tempo, stiamo cercando modi per rendere i nostri modelli e quindi i nostri risultati più generali. È un momento entusiasmante per lavorare sulle reti neurali!"
© 2017 Phys.org