Il ruolo del deep learning nella scienza è a un punto di svolta, con il tempo, clima, e la modellazione dei sistemi terrestri emerge come un'entusiasmante area di applicazione per il deep learning basato sulla fisica che può identificare in modo più efficace le relazioni non lineari in grandi set di dati, estrarre modelli, emulare processi fisici complessi, e costruire modelli predittivi.

"Il deep learning ha avuto un successo senza precedenti in alcuni problemi molto impegnativi, ma gli scienziati vogliono capire esattamente come funzionano questi modelli e perché fanno le cose che fanno, " ha detto Karthik Kashinath, uno scienziato informatico e ingegnere nel Data &Analytics Services Group (DAS) presso il National Energy Research Scientific Computing Center (NERSC) che è stato profondamente coinvolto negli sforzi di ricerca e istruzione del NERSC in questo settore. "Un obiettivo chiave del deep learning per la scienza è come si progetta e si addestra una rete neurale in modo che possa catturare con precisione la complessità dei processi che cerca di modellare, emulare, o prevedere, e stiamo sviluppando modi per infondere la fisica e la conoscenza del dominio in queste reti neurali in modo che obbediscano alle leggi della natura e i loro risultati siano spiegabili, robusto, e degno di fiducia".

Abbiamo incontrato Kashinath dopo la Summer School di Artificial Intelligence for Earth System Science (AI4ESS), un evento virtuale di una settimana ospitato a giugno dal National Center for Atmospheric Research (NCAR) e dalla University Corporation for Atmospheric Research (UCAR) a cui hanno partecipato più di 2, 400 ricercatori da tutto il mondo. Kashinath è stata coinvolta nell'organizzazione e nella presentazione dell'evento, insieme a David John Gagne e Rich Loft di NCAR. Gran parte dell'attuale ricerca di Kashinath si concentra sull'applicazione di metodi di deep learning alla modellazione del clima e dei sistemi terrestri.

Come vengono adottate le metodologie di apprendimento profondo in condizioni meteorologiche, clima, e la ricerca sui sistemi terrestri?

Negli ultimi anni abbiamo assistito a un aumento significativo dell'uso del deep learning nella scienza, non solo nell'aumentare, migliorare o sostituire i metodi esistenti, ma anche per scoprire nuove scienze in fisica, chimica, biologia, medicinale, e altro ancora:scoperte quasi impossibili con i metodi statistici tradizionali. Ora stiamo iniziando a vedere lo stesso nelle scienze della Terra, con il numero di pubblicazioni su riviste come Lettere di ricerca geofisica e Geoscienze naturali conferenze emergenti e scientifiche ora con intere tracce che coinvolgono machine e deep learning.

Cosa porta in tavola il deep learning?

È estremamente potente nel riconoscimento di schemi e nella scoperta di relazioni non lineari molto complesse che esistono in grandi set di dati, entrambi sono fondamentali per lo sviluppo di modelli di sistemi di scienze della Terra. L'obiettivo principale di un modellatore meteorologico o climatico è comprendere i modi in cui operano i processi in natura e modellarli in modo efficace in modo da poter prevedere il futuro dei cambiamenti climatici e degli eventi meteorologici estremi. Il deep learning offre nuovi metodi per utilizzare i dati esistenti per comprendere come operano questi processi e per sviluppare modelli per essi non solo accurati ed efficaci, ma anche computazionalmente molto più veloci rispetto ai metodi tradizionali. Tradizionalmente, i modelli climatici e meteorologici risolvono grandi sistemi di equazioni alle derivate parziali non lineari accoppiate, che è estremamente intensivo dal punto di vista computazionale. Il deep learning sta iniziando ad aumentare, migliorare, o addirittura sostituire parti di questi modelli con emulatori di processi fisici molto efficienti e veloci. E questo è un significativo passo avanti.

Il riconoscimento dei modelli è un'altra area in cui l'apprendimento profondo sta influenzando la ricerca sui sistemi terrestri. Il gruppo DAS del NERSC sta spingendo molto sul riconoscimento dei modelli per rilevare e tenere traccia dei modelli meteorologici e climatici in grandi set di dati. Il premio Gordon Bell 2018 per l'analisi del clima exascale che utilizza il deep learning testimonia i nostri contributi in quell'area. Dato che disponiamo già di petabyte di dati climatici e che stanno aumentando a un ritmo pazzesco, è fisicamente impossibile vagliare e riconoscere le caratteristiche ei modelli chiave utilizzando i tradizionali approcci statistici. Il deep learning offre modi molto veloci per estrarre quei dati ed estrarre informazioni utili come i modelli meteorologici estremi.

Una terza area è il downscaling; questo è, dato un set di dati a bassa risoluzione, come si producono dati ad altissima risoluzione necessari per cose come la pianificazione, soprattutto su scala regionale e locale? Parte della grande sfida della scienza del clima è come costruire modelli ad altissima risoluzione che siano accurati e produrre dati con cui possiamo lavorare in modo affidabile. Un modo per attaccare il problema è dire va bene, sappiamo che questi modelli sono estremamente costosi, e nel prossimo futuro, anche con un'informatica sempre più veloce e migliore, non saremo davvero in grado di costruire modelli climatici globali affidabili con una risoluzione spaziale di 1 km o più. Quindi, se possiamo creare un modello di deep learning che prenda dati climatici a bassa risoluzione e produca dati ad alta risoluzione che siano fisicamente significativi, affidabile, e preciso:questo è un punto di svolta.

Qual è una grande sfida per il deep learning applicato alla scienza del sistema Terra?

Vengo da un background in fluidodinamica, dove modellare la turbolenza è una grande sfida di vecchia data. Una sfida simile nelle scienze atmosferiche è la modellazione delle nuvole. Tutti i modelli climatici hanno parametrizzazioni – componenti nel modello climatico che descrivono come i vari processi fisici si comportano e interagiscono tra loro. Nell'atmosfera che include come si formano le nuvole, come funzionano le radiazioni, quando e dove si verificano le precipitazioni, ecc. La modellazione del cloud è anche nota per essere la più grande fonte di incertezza nelle proiezioni dei modelli climatici, e per decenni una delle grandi sfide è stata come ridurre l'incertezza. I modelli sono diventati molto più complessi e catturano molti più fenomeni fisici, ma hanno ancora grandi incertezze nelle loro previsioni. Quindi un'area in cui il deep learning potrebbe avere un impatto significativo è aiutarci a costruire migliori emulatori di processi atmosferici come le nuvole, con l'obiettivo di ridurre le incertezze nelle previsioni. Questo è un obiettivo scientifico molto concreto.

Mentre guardi avanti, cosa ti entusiasma di più in termini di impatto del deep learning sulla ricerca sul clima e sui sistemi terrestri?

Il principale rifiuto che abbiamo ricevuto dalla comunità scientifica è che le reti neurali sono scatole nere difficili da capire e interpretare, e gli scienziati ovviamente vorrebbero capire esattamente come funzionano queste reti neurali e perché fanno le cose che fanno. Quindi una cosa di cui sono davvero entusiasta è lo sviluppo di modi migliori per interpretare e comprendere queste reti e incorporare la conoscenza che abbiamo sulla fisica del sistema Terra in questi modelli in modo che siano più robusti, affidabile, affidabile, interpretabile, spiegabile, e trasparente. L'obiettivo è convincerci che questi modelli si comportano in modo rispettoso della fisica della natura, stanno usando efficacemente la conoscenza del dominio che abbiamo, e stiamo facendo previsioni di cui possiamo fidarci. Sono stato invitato a presentare un documento a Atti della Royal Society proprio su questo argomento, "Apprendimento profondo basato sulla fisica per la modellazione del tempo e del clima, " che ora è in fase di revisione.

Sono anche entusiasta di provare, in operazione, che questi modelli di deep learning forniscono l'accelerazione computazionale che sosteniamo forniranno quando li integriamo in un grande modello climatico o meteorologico. Per esempio, il Centro europeo di previsione meteorologica ha iniziato a sostituire alcune parti del suo modello di previsione meteorologica con modelli di machine e deep learning, e stanno già iniziando a vedere i benefici. Negli Stati Uniti., NCAR e la National Oceanic and Atmospheric Administration stanno anche iniziando a sostituire parti dei loro modelli climatici e meteorologici con modelli di machine learning e deep learning, e un certo numero di gruppi di ricerca accademici e industriali stanno lavorando a progetti correlati. Chris Bretherton, uno dei più importanti scienziati del clima al mondo, dirige un gruppo dell'Università di Washington che sta lavorando per sostituire alcuni dei complicati processi cloud in questi grandi modelli climatici con metodi di deep learning. Quindi non vedo l'ora di vedere i loro risultati tra un anno o due in termini di accelerazione e prestazioni.

Qual è stato il focus dell'evento AI4ESS, e perché era così ben frequentato?

La Summer School di Artificial Intelligence for Earth System Science (AI4ESS) si è concentrata su come i partecipanti possono rafforzare il loro background in statistica e apprendimento automatico, apprendere i fondamenti del deep learning e delle reti neurali, e impara come usarli per problemi impegnativi nelle scienze del sistema Terra. Abbiamo avuto una risposta travolgente alla scuola:doveva essere un evento di persona a Boulder, col., con una capacità di 80 studenti. Ma una volta che è diventato virtuale, ne avevamo 2, 400 partecipanti da 40 paesi in tutto il mondo. È stato trasmesso in live streaming tramite UCAR e hanno monitorato gli accessi giornalieri.

Grande partecipazione per tutta la settimana. Avevamo invitato oratori ogni giorno - tre conferenze al giorno, quindi 15 lezioni a settimana – con esperti di machine learning, apprendimento profondo, e le Scienze della Terra. Ogni giorno c'era anche una tavola rotonda per 30 minuti durante il pranzo, e per me, questi sono stati super eccitanti perché tutti questi esperti stavano discutendo e dibattendo sulle sfide e le opportunità dell'utilizzo dell'apprendimento automatico e dell'apprendimento profondo per la scienza del sistema terrestre. La scuola ha anche tenuto un hackathon di una settimana, dove squadre di sei persone ciascuna hanno scelto un progetto da sei diversi problemi su cui lavorare per la settimana. Circa 500 persone hanno partecipato all'hackathon, con molta collaborazione e interazione, inclusi i singoli canali Slack per ciascuno dei team di hackathon. C'erano anche i canali Slack per l'intera settimana della scuola estiva su varie cose:domande e risposte relative alle lezioni, problemi di sfida dell'hackathon, suggerimenti e trucchi tecnici nell'apprendimento automatico e nel deep learning, ecc. Quindi c'erano molte attività di Slack in corso, con persone che si scambiano idee, condivisione dei risultati, e così via.

Perché tutti sono così entusiasti di imparare queste cose?

Penso che la comunità, soprattutto gli scienziati più giovani, vedere che il deep learning può essere un punto di svolta nella scienza e non vogliono essere lasciati indietro. Credono che presto diventerà mainstream e che sarà essenziale per fare scienza. Questa è la motivazione principale. Quindi AI4ESS si è concentrato sull'insegnamento dei fondamenti e sul gettare le basi per iniziare ad applicare con successo la macchina e il deep learning alla loro ricerca.