I ricercatori di tutto lo spettro scientifico bramano dati, in quanto è essenziale per comprendere il mondo naturale e, per estensione, accelerare il progresso scientifico. Ultimamente, però, gli strumenti dello sforzo scientifico sono diventati così potenti che la quantità di dati ottenuti da esperimenti e osservazioni è spesso ingombrante.

In altre parole, è possibile avere troppo di una cosa buona.

Dare un senso agli odierni set di dati in mongolfiera è diventata di per sé una grande sfida scientifica, costringendo i ricercatori non solo ad affrontare i loro problemi scientifici di dominio, ma anche il problema della gestione e dell'elaborazione dei loro set di dati in continua crescita. Basta chiedere ai ricercatori della BP, che hanno il compito di trovare gas naturale e petrolio nel sottosuolo e capire come estrarlo al meglio.

"Le nuove tecnologie sul campo ci consentono di raccogliere più dati di quanto avessimo mai sognato, ", ha affermato lo scienziato computazionale BP HPC Vladimir Bashkardin, facendo riferimento alle proprietà del fluido e delle rocce del sottosuolo ottenute tramite risposte energetiche al sondaggio dell'azienda. "Dobbiamo ridimensionare la nostra capacità di accedere a grandi set di dati sismici, che a volte può misurare mezzo petabyte."

Per aiutarli in questo sforzo monumentale, Bashkardin e i suoi colleghi si sono rivolti all'Oak Ridge National Laboratory del Dipartimento dell'Energia, sede di Summit, il computer più potente e "intelligente" del mondo, e una vasta esperienza su come gestire ed elaborare i grandi e complessi dataset scientifici di oggi.

Il debutto di Summit ha segnato la terza volta che il laboratorio ha messo in piedi il supercomputer più veloce del mondo. Questi sistemi sono stati utilizzati per affrontare alcune delle sfide scientifiche più urgenti del nostro tempo, tra cui l'energia da fusione, consegna farmaci, e la progettazione di nuovi materiali, sforzi che hanno reso ORNL anche un leader mondiale nell'arena sempre più importante dei big data.

I ricercatori della BP si sono rivolti al capo del gruppo di dati scientifici dell'ORNL Scott Klasky e al capo del team di gestione dei dati scientifici dell'ORNL Norbert Podhorszki, i principali ricercatori dietro il sistema di I/O adattabile (ADIOS), un middleware di I/O che ha aiutato i ricercatori a raggiungere scoperte scientifiche fornendo un semplice, modo flessibile per descrivere i dati nel loro codice che potrebbe dover essere scritto, leggere, o elaborati al di fuori della simulazione in esecuzione.

BP ha invitato Klasky e Podhorszki nei suoi uffici di Houston per fornire al team di elaborazione ad alte prestazioni dell'azienda un tutorial di ADIOS e dimostrare come potrebbe aiutarli ad accelerare la loro scienza aiutando ad affrontare il loro grande, set di dati sismici unici.

"Il workshop è stato fantastico, " ha affermato Bosen Du, analista di tecnologia BP HPC. "È stata un'ottima introduzione ad ADIOS, e abbiamo sicuramente visto molte possibili opportunità per applicarlo alle nostre sfide specifiche. Anche meglio, Scott e Norbert hanno posto domande specifiche per personalizzare il tutorial su BP."

Klasky condivideva l'entusiasmo di Du. "Questo è stato uno dei tutorial più divertenti che abbiamo dato a causa del livello di interesse da parte di tutti nella stanza, " Egli ha detto, aggiungendo che l'interesse di BP ha portato a quello che è probabilmente il tutorial più lungo che il team abbia mai tenuto.

Una collaborazione naturale

Il viaggio di Klasky e Podhorszki è stato il risultato di un rapporto crescente tra ORNL e BP.

Direttore HPC di BP, Keith Gray, conosceva già l'Oak Ridge Leadership Computing Facility dell'ORNL, il DOE Office of Science User Facility che ospita Summit, attraverso le testimonianze positive dei colleghi che hanno partecipato al suo programma di partnership industriale ACCEL (Acceleration Competitiveness through Computational ExceLlence.

Gray ha persino visitato l'ORNL due anni fa per tenere una conferenza su come le esigenze dei data center di BP sono più piccole ma simili a quelle di un centro come l'OLCF e sull'importanza di un data center affidabile per supportare l'impegno di BP a essere all'avanguardia nel supercalcolo tecnologia.

quella relazione, insieme alle capacità uniche di ADIOS, ha reso la scelta facile. "Abbiamo iniziato a fare ricerca e ADIOS è sempre stato in cima alla lista, "disse Gray, aggiungendo:"Collaborando, L'esperienza di livello mondiale di BP nell'applicazione dell'HPC per risolvere problemi scientifici complessi potrebbe aiutare il team ADIOS a comprendere i diversi flussi di lavoro poiché ci aiutano a gestire i nostri dati".

La gestione di questi dati è fondamentale dal punto di vista aziendale. In un recente progetto il team di BP ha affrontato un set di dati di 500 terabyte. E questo prima dell'elaborazione sismica, dopodiché il set di dati può crescere di dieci volte.

"Avere qualcosa che può scalare, fare I/O massicciamente parallelo, e supportare la compressione sarebbe un grande vantaggio nell'aiutarci a superare i nostri attuali problemi di dati, " disse Bashkardin. MGARD, una tecnica sviluppata congiuntamente da ORNL e Brown University che viene utilizzata per la compressione con perdita di dati scientifici e che garantisce matematicamente limiti di errore, sembrava particolarmente adatto per i problemi di compressione di BP, disse Klasky.

Ha aggiunto che i recenti cambiamenti in ADIOS, reso possibile dall'Exascale Computing Project, hanno aiutato il codice sismologico SPECFEM3D-Globe utilizzato da Jeroen Tromp di Princeton a raggiungere una velocità di oltre 2 terabyte al secondo durante la scrittura dei dati nel file system parallelo generale di Summit. Una tale velocità potrebbe portare a un'ulteriore collaborazione con il team di Tromp, che utilizza ADIOS come backend di I/O, e contribuire a rafforzare la capacità di elaborazione dei dati per gran parte della comunità sismologica.

Il superamento di problemi come i colli di bottiglia di I/O significa una riduzione dei tempi di elaborazione dell'analisi dei dati, che permetterebbe all'azienda di esplorare idee diverse, identificare e affrontare i colli di bottiglia, e ottenere una migliore comprensione del sottosuolo. Presi insieme, queste capacità possono creare enormi scoperte per il programma di ricerca di BP.

Ma un'implementazione di successo di ADIOS nell'attuale codice I/O di BP, soprannominato il sistema di dizionario dei dati, sarebbe vantaggioso anche nel breve periodo. Ad esempio, darebbe al loro team informazioni preziose sul fatto che stiano perseguendo le tecnologie e le strategie corrette per avere successo.

"Potrebbe aiutarci a prendere in considerazione la creazione di file system aggiuntivi per fornire più larghezza di banda rispetto ai nostri cluster attuali, "disse Gray, aggiungendo che "non hai bisogno di nuovi file system se il tuo I/O è al massimo, e al momento non disponiamo di tutte le metriche I/O necessarie." I ricercatori del team ORNL hanno accettato di fornire supporto per aiutare BP a valutare la propria strategia sui dati.

Bashkardin ha aggiunto:"Abbiamo difficoltà a estrarre la larghezza di banda I/O dal nostro file system Lustre a causa di una serie di fattori. C'è molto da guadagnare in questi termini. Anche raddoppiare le prestazioni con un singolo set di dati sarebbe un enorme miglioramento."

In teoria, ADIOS potrebbe accelerare alcuni lavori da giorni a ore, alterando radicalmente i flussi di lavoro dei ricercatori sismici di BP. E, secondo BP HPC Computational Specialist Qingquing Liao, la capacità di visualizzazione integrata del middleware è uno strumento eccellente che individua le aree problematiche dei codici e dei modelli dei ricercatori per aiutarli a capire meglio come modificare i loro algoritmi. Klasky attribuisce questa capacità ai suoi colleghi Lipeng Wan e William Godoy, che consente agli utenti di passare istantaneamente dall'accoppiamento del codice basato su file (ad esempio l'accoppiamento asincrono di un codice alla visualizzazione) all'accoppiamento in memoria senza modificare il codice.

Ma prima che ADIOS possa essere implementato, il team BP dovrà specificare quali funzionalità praticabili desidera visualizzare sul proprio backend I/O e creare un nuovo livello API con un insieme specifico di obiettivi API.

"Essere in grado di sfruttare ADIOS di ORNL e lavorare insieme per migliorarlo estenderà l'esperienza di BP nell'utilizzo di big data per risolvere problemi energetici critici, " disse Gray.