Per quasi tre decenni, scienziati e ingegneri di tutto il mondo hanno lavorato allo Square Kilometer Array (SKA), un progetto incentrato sulla progettazione e costruzione del radiotelescopio più grande del mondo. Sebbene lo SKA raccoglierà enormi quantità di dati astronomici precisi in tempi record, scoperte scientifiche saranno possibili solo con sistemi in grado di elaborare in modo efficiente tali dati.

Poiché la costruzione dello SKA non dovrebbe iniziare prima del 2021, i ricercatori non possono raccogliere dati osservativi sufficienti per esercitarsi nell'analisi delle enormi quantità che gli esperti prevedono che il telescopio produrrà. Anziché, un team dell'International Centre for Radio Astronomy Research (ICRAR) in Australia, l'Oak Ridge National Laboratory (ORNL) del Dipartimento dell'Energia (DOE) negli Stati Uniti, e l'Osservatorio Astronomico di Shanghai (Shao) in Cina ha recentemente utilizzato Summit, il supercomputer più potente del mondo, per simulare l'output atteso di SKA. Summit si trova presso l'Oak Ridge Leadership Computing Facility, un DOE Office of Science User Facility presso ORNL.

"Il supercomputer Summit ha fornito un'opportunità unica per testare un semplice flusso di dati SKA alla scala che ci aspettiamo dalla schiera di telescopi, " ha detto Andreas Wicenec, direttore di Data Intensive Astronomy presso ICRAR.

Per elaborare i dati simulati, il team si è affidato al sistema IO adattabile sviluppato da ORNL (ADIOS), un framework di input/output (I/O) open source guidato da Scott Klasky di ORNL, che guida anche il gruppo di dati scientifici del laboratorio. ADIOS è progettato per velocizzare le simulazioni aumentando l'efficienza delle operazioni di I/O e per facilitare i trasferimenti di dati tra sistemi di calcolo ad alte prestazioni e altre strutture, che altrimenti sarebbe un compito complesso e dispendioso in termini di tempo.

La simulazione SKA su Summit segna la prima volta che i dati di radioastronomia sono stati elaborati su una scala così ampia e dimostra che gli scienziati hanno le competenze, strumenti software, e risorse informatiche che saranno necessarie per elaborare e comprendere i dati reali dallo SKA.

"Il gruppo di dati scientifici è dedicato alla ricerca di tecnologie di nuova generazione che possono essere sviluppate e implementate per le applicazioni scientificamente più impegnative sui computer più veloci del mondo, " ha detto Klasky. "Sono orgoglioso di tutto il duro lavoro che il team ADIOS e gli scienziati di SKA hanno svolto con ICRAR, ORNL, e SHAO."

Utilizzando due tipi di ricevitori radio, il telescopio rileverà le onde radio luminose provenienti dalle galassie, i dintorni dei buchi neri, e altri oggetti di interesse nello spazio per aiutare gli astronomi a rispondere a domande fondamentali sull'universo. Studiando questi deboli, onde sfuggenti richiede un esercito di antenne.

La prima fase dello SKA avrà più di 130, 000 bassa frequenza, antenne a forma di cono situate nell'Australia occidentale e circa 200 frequenze più alte, antenne paraboliche situate in Sud Africa. Il team internazionale del progetto alla fine riuscirà a gestire quasi un milione di antenne per condurre studi senza precedenti sui fenomeni astronomici.

Per emulare la porzione dell'Australia occidentale dello SKA, i ricercatori hanno eseguito due modelli su Summit, uno dell'array di antenne e uno dell'universo primordiale, attraverso un simulatore software progettato da scienziati dell'Università di Oxford che imita la raccolta di dati di SKA. Le simulazioni hanno generato 2,6 petabyte di dati a 247 gigabyte al secondo.

"La generazione di una tale quantità di dati con il simulatore di array di antenne richiede molta potenza e migliaia di unità di elaborazione grafica per funzionare correttamente, ", ha affermato l'ingegnere del software ORNL Ruonan Wang. "Summit è probabilmente l'unico computer al mondo in grado di farlo."

Sebbene il simulatore funzioni in genere su un singolo computer, il team ha utilizzato uno strumento specializzato di gestione del flusso di lavoro che Wang ha aiutato ICRAR a sviluppare chiamato Data Activated Flow Graph Engine (DALiuGE) per scalare in modo efficiente la capacità di modellazione fino a 4, 560 nodi di calcolo su Summit. DALiuGE ha una tolleranza ai guasti integrata, assicurando che errori minori non ostacolino il flusso di lavoro.

"Il problema con le risorse tradizionali è che un problema può far crollare l'intero lavoro, " ha detto Wang. Wang ha conseguito il dottorato presso l'Università dell'Australia occidentale, che gestisce ICRAR insieme alla Curtin University.

L'intenso afflusso di dati dalle simulazioni di array ha provocato un collo di bottiglia delle prestazioni, che il team ha risolto riducendo, in lavorazione, e memorizzare i dati utilizzando ADIOS. I ricercatori di solito collegano ADIOS direttamente al sottosistema I/O di una determinata applicazione, ma il software insolitamente complicato del simulatore ha costretto il team a personalizzare un modulo plug-in per rendere compatibili le due risorse.

"Era molto più complesso di una normale applicazione, "Ha detto Wang.

Wang ha iniziato a lavorare su ADIOS1, la prima iterazione dello strumento, 6 anni fa durante la sua permanenza all'ICRAR. Ora, è uno dei principali sviluppatori dell'ultima versione, ADIOS2. Il suo team mira a posizionare ADIOS come una risorsa di archiviazione superiore per la prossima generazione di dati astronomici e la soluzione I/O predefinita per i futuri telescopi anche al di là del gigantesco ambito di SKA.

"Più velocemente possiamo elaborare i dati, meglio possiamo capire l'universo, " Egli ha detto.