Aspettare, che cosa? Creare un'intelligenza artificiale può essere molto peggio per il pianeta di un'auto? Pensa all'impronta di carbonio. Questo è ciò che ha fatto un gruppo dell'Università del Massachusetts Amherst. Hanno deciso di valutare il consumo di energia necessario per addestrare quattro grandi reti neurali.

Il loro articolo sta attualmente attirando l'attenzione tra i siti di osservazione della tecnologia. Si intitola "Considerazioni sull'energia e le politiche per il deep learning in PNL, "di Emma Strubell, Ananya Ganesh e Andrew McCallum.

Questo, ha detto Karen Hao, giornalista di intelligenza artificiale per Revisione della tecnologia del MIT , era una valutazione del ciclo di vita per la formazione di diversi modelli comuni di IA di grandi dimensioni.

"I recenti progressi nell'hardware e nella metodologia per l'addestramento delle reti neurali hanno inaugurato una nuova generazione di grandi reti addestrate su dati abbondanti, " hanno detto i ricercatori.

Qual è la tua ipotesi? Che addestrare un modello di intelligenza artificiale comporterebbe un'impronta "pesante"? "Un po' pesante?" Che ne dici di "terribile?" Quest'ultima era la parola scelta da Revisione della tecnologia del MIT il 6 luglio, Giovedi, riferire sui risultati.

Il deep learning implica l'elaborazione di grandi quantità di dati. (Il documento ha esaminato specificamente il processo di formazione del modello per l'elaborazione del linguaggio naturale, il sottocampo dell'intelligenza artificiale che si concentra sull'insegnamento delle macchine per gestire il linguaggio umano, disse Hao.) Donna Lu in Nuovo scienziato citato Strubell, chi ha detto, "Per imparare qualcosa di così complesso come il linguaggio, i modelli devono essere grandi." Quale prezzo che fanno i modelli ottengono guadagni in termini di precisione? Roping in risorse computazionali eccezionalmente grandi per farlo è il prezzo, causando un notevole consumo di energia.

Hao ha riferito i loro risultati, che "il processo può emettere più di 626, 000 libbre di anidride carbonica equivalente, quasi cinque volte le emissioni nel corso della vita di un'auto americana media (e questo include la produzione dell'auto stessa)."

Questi modelli sono costosi da addestrare e sviluppare, costosi in senso finanziario a causa del costo dell'hardware e dell'elettricità o del tempo di elaborazione cloud, e costoso in senso ambientale. Il costo ambientale è dovuto all'impronta di carbonio. Il documento ha cercato di portare questo problema all'attenzione dei ricercatori della PNL "quantificando i costi finanziari e ambientali approssimativi della formazione di una varietà di modelli di rete neurale di recente successo per la PNL".

Come hanno testato:per misurare l'impatto ambientale, hanno addestrato quattro IA per un giorno ciascuno, e campionato il consumo di energia in tutto. Hanno calcolato la potenza totale richiesta per addestrare ciascuna IA moltiplicandola per il tempo di addestramento totale riportato dagli sviluppatori di ciascun modello. L'impronta di carbonio è stata stimata in base alle emissioni medie di carbonio utilizzate nella produzione di energia negli Stati Uniti.

Cosa consigliavano gli autori? Sono andati nella direzione di raccomandazioni per ridurre i costi e "migliorare l'equità" nella ricerca sulla PNL. Equità? Gli autori sollevano il problema.

"I ricercatori accademici hanno bisogno di un accesso equo alle risorse di calcolo. I recenti progressi nel calcolo disponibile hanno un prezzo elevato non raggiungibile per tutti coloro che desiderano l'accesso. La maggior parte dei modelli studiati in questo documento sono stati sviluppati al di fuori del mondo accademico; recenti miglioramenti nello stato del- l'accuratezza dell'arte è possibile grazie all'accesso dell'industria al calcolo su larga scala".

Gli autori hanno sottolineato che "Limitare questo stile di ricerca ai laboratori del settore danneggia la comunità di ricerca della PNL in molti modi". La creatività è soffocata. Le buone idee non sono sufficienti se il team di ricerca non ha accesso al calcolo su larga scala.

"Secondo, vieta alcuni tipi di ricerca sulla base dell'accesso a risorse finanziarie. Ciò promuove ancora più profondamente il ciclo già problematico dei finanziamenti alla ricerca "ricchi diventa più ricchi", dove i gruppi che hanno già successo e quindi ben finanziati tendono a ricevere più finanziamenti a causa delle loro realizzazioni esistenti."

Gli autori hanno detto, "I ricercatori dovrebbero dare la priorità all'hardware e agli algoritmi computazionalmente efficienti". In questo filone, gli autori hanno raccomandato uno sforzo da parte dell'industria e del mondo accademico per promuovere la ricerca di algoritmi più efficienti dal punto di vista computazionale, e hardware che richiedono meno energia.

Qual è il prossimo? La ricerca sarà presentata al Meeting Annuale dell'Associazione per l'Informatica Linguistica a Firenze, Italia a luglio.

© 2019 Science X Network