Una volta completati gli aggiornamenti al laser a raggi X presso il Laboratorio nazionale dell'acceleratore SLAC del Dipartimento dell'energia, la nuova potente macchina catturerà fino a 1 terabyte di dati al secondo; è una velocità di trasmissione dati equivalente allo streaming di circa un migliaio di lungometraggi in un solo secondo, e analizzando ogni fotogramma di ogni film mentre passano in avanti in questa modalità super veloce.

Gli esperti di dati del laboratorio stanno trovando il modo di gestire questa enorme quantità di informazioni man mano che gli aggiornamenti di Linac Coherent Light Source (LCLS) entreranno in funzione nei prossimi anni.

LCLS accelera gli elettroni quasi alla velocità della luce per generare fasci di raggi X estremamente luminosi. Quei raggi X sondano un campione come una proteina o un materiale quantistico, e un rilevatore cattura una serie di immagini che rivelano il movimento atomico del campione in tempo reale. Mettendo insieme queste immagini, chimici, biologi, e gli scienziati dei materiali possono creare filmati molecolari di eventi come il modo in cui le piante assorbono la luce solare, o come i nostri farmaci aiutano a combattere le malattie.

Man mano che LCLS viene aggiornato, gli scienziati stanno passando da 120 impulsi al secondo a un massimo di 1 milione di impulsi al secondo. Questo creerà un 10, Fascio di raggi X 000 volte più luminoso che consentirà nuovi studi su sistemi che non potevano essere studiati prima. Ma arriverà anche con un'enorme sfida di dati:il laser a raggi X produrrà da centinaia a migliaia di volte più dati per un dato periodo di tempo rispetto a prima.

Per gestire questi dati, un gruppo di scienziati guidati dal direttore della divisione Data Systems di LCLS Jana Thayer sta sviluppando nuovi strumenti di calcolo, compresi algoritmi informatici e modalità di connessione ai supercomputer. Il gruppo di Thayer utilizza una combinazione di informatica, analisi dei dati e apprendimento automatico per determinare i modelli nelle immagini a raggi X e quindi mettere insieme un film molecolare.

Andare con il flusso

In LCLS, i dati fluiscono continuamente. "Quando gli scienziati hanno accesso per eseguire un esperimento, è una giornata di 12 ore o una notte di 12 ore, e limitato a pochi turni prima dell'arrivo della squadra successiva, "dice Ryan Caffè, Scienziato senior dello SLAC. Per fare un uso efficiente del prezioso tempo sperimentale, i colli di bottiglia devono essere completamente evitati per preservare il flusso dei dati e la loro analisi.

Lo streaming e l'archiviazione dei dati rappresentano una sfida significativa per le risorse di rete e di elaborazione, ed essere in grado di monitorare la qualità dei dati in tempo quasi reale significa che i dati devono essere elaborati immediatamente. Un passo fondamentale per renderlo possibile è ridurre il più possibile la quantità di dati prima di archiviarli per ulteriori analisi.

Per abilitare questo, Il team di Thayer ha implementato la riduzione dei dati al volo utilizzando diversi tipi di compressione per ridurre la dimensione dei dati registrati senza influire sulla qualità del risultato scientifico. Una forma di compressione, chiamato veto, elimina i dati indesiderati, come immagini in cui i raggi X hanno mancato il bersaglio. Un altro, chiamata estrazione delle caratteristiche, salva solo le informazioni scientificamente importanti, come la posizione e la luminosità di un punto in un'immagine a raggi X.

"Se abbiamo salvato tutti i dati grezzi, come abbiamo fatto fino ad ora, ci costerebbe un quarto di miliardo di dollari all'anno, " dice Thayer. "La nostra missione è capire come ridurre i dati prima di scriverli. Uno dei veramente ordinati, parti innovative del nuovo sistema di dati che abbiamo sviluppato è la pipeline di riduzione dei dati, che rimuove le informazioni irrilevanti e riduce i dati che devono essere trasferiti e archiviati."

Il caffè dice, "Allora risparmi molto sulla potenza, ma soprattutto, risparmi sul throughput. Se devi inviare i dati grezzi attraverso la rete, lo sopraffarai completamente cercando di inviare immagini ogni singolo microsecondo."

Il gruppo ha anche creato un luogo intermedio per mettere i dati prima che vadano in archivio. Thayer spiega, "Non possiamo scrivere direttamente nell'archivio, perché se c'è un errore nel sistema, deve fare una pausa e aspettare. O se c'è un problema di rete, quindi puoi perdere del tutto i dati. Così, abbiamo un buffer piccolo ma affidabile su cui possiamo scrivere; quindi possiamo spostare i dati su un archivio permanente."

Guidare l'innovazione

Thayer sottolinea che il sistema di dati è costruito per fornire ai ricercatori i risultati del loro lavoro con la stessa tempestività del sistema attuale, così ottengono informazioni in tempo reale. È anche costruito per accogliere l'espansione della scienza LCLS per i prossimi 10 anni. La grande sfida è tenere il passo con l'enorme salto nella velocità dei dati.

"Se immagini di passare dall'analisi di 120 immagini al secondo a 1 milione al secondo, richiede molto più scorrimento, ", dice. "L'informatica non è magia, funziona sempre allo stesso modo, semplicemente aumentiamo il numero di cervelli che lavorano su ciascuna delle immagini".

Supportato da un recente premio del DOE, e lavorando con i colleghi di tutto il complesso di laboratori nazionali del DOE, il team sta anche cercando di incorporare l'intelligenza artificiale e le tecniche di apprendimento automatico per ridurre ulteriormente la quantità di dati da elaborare, e per contrassegnare le caratteristiche interessanti nei dati man mano che si presentano.

Per comprendere la sfida dei dati LCLS, Coffee fa un'analogia con le auto a guida autonoma:"Devono calcolare in tempo reale:non possono analizzare un batch di immagini appena registrate e poi dire "Prevediamo che avresti dovuto girare a sinistra sull'immagine numero 10". molto più alto di quanto sperimenterà una qualsiasi di queste auto, ma il problema è lo stesso:i ricercatori devono guidare il loro esperimento per trovare le destinazioni più eccitanti!"

Gli aggiornamenti alla base di questo enorme balzo in avanti nella velocità dei dati e nelle prestazioni arriveranno in due fasi nei prossimi anni, incluso LCLS-II e un aggiornamento ad alta energia che segue. Il lavoro degli esperti di dati garantirà che gli scienziati possano trarre il massimo vantaggio da entrambi. "Alla fine avrà un effetto drammatico sul tipo di scienza che possiamo fare, aprendo opportunità che oggi non sono possibili, "dice il caffè.