Gli scienziati hanno costruito simulazioni per aiutare a spiegare il comportamento nel mondo reale, compresa la modellizzazione per la trasmissione e la prevenzione delle malattie, veicoli autonomi, scienze del clima, e nella ricerca dei segreti fondamentali dell'universo. Ma come interpretare vasti volumi di dati sperimentali in termini di queste simulazioni dettagliate rimane una sfida chiave. La programmazione probabilistica offre una soluzione, essenzialmente il reverse engineering della simulazione, ma questa tecnica è stata a lungo limitata a causa della necessità di riscrivere la simulazione in linguaggi informatici personalizzati, più l'intensa potenza di calcolo richiesta.

Per affrontare questa sfida, una collaborazione multinazionale di ricercatori che utilizzano risorse di calcolo presso il National Energy Research Scientific Computing Center (NERSC) del Lawrence Berkeley National Laboratory ha sviluppato il primo framework di programmazione probabilistica in grado di controllare i simulatori esistenti e di funzionare su larga scala su piattaforme HPC. Il sistema, chiamato Etalumis ("simulare" scritto al contrario), è stato sviluppato da un gruppo di scienziati dell'Università di Oxford, Università della Columbia Britannica (UBC), Intel, Università di New York, CERN, e NERSC come parte di un progetto Big Data Center.

Etalumis esegue l'inferenza bayesiana, un metodo di inferenza statistica in cui il teorema di Bayes viene utilizzato per aggiornare la probabilità di un'ipotesi man mano che diventano disponibili più prove o informazioni, essenzialmente invertendo il simulatore per prevedere i parametri di input dalle osservazioni. Il team ha schierato Etalumis per la prima volta per il Large Hadron Collider (LHC) al CERN, portando un nuovo livello di interpretabilità all'analisi dei dati dai rivelatori di fisica ad alta energia di LHC. Un paper basato su Etalumis è stato selezionato come finalista per Best Paper a SC19. Gli autori parleranno di Etalumis a SC19 martedì, 19 novembre alle 16:30

Da giorni a minuti

L'inferenza bayesiana è usata praticamente in tutte le discipline scientifiche, secondo Frank Wood, un collaboratore di Etalumis, Professore Associato di Informatica presso l'UBC, e uno dei pionieri della programmazione probabilistica.

"Ero particolarmente interessato ad applicare l'inferenza bayesiana a un problema di fisica estremamente complesso, e i rivelatori di fisica ad alta energia sembravano il terreno di prova perfetto per la ricerca seminale del nostro gruppo, " dice. "Il progetto Etalumis ha fornito un'opportunità unica per combinare una rete neurale all'avanguardia basata su un approccio di "compilazione di inferenze" con un framework software (pyprob) per accoppiare direttamente questo motore di inferenza a simulatori di fisica delle particelle dettagliati esistenti ed eseguirlo su risorse su scala HPC."

Gli scienziati dispongono già di solidi pacchetti software di simulazione che modellano la fisica e tutto ciò che accade all'interno del rivelatore. Etalumis introduce la programmazione probabilistica da abbinare a questo software esistente, essenzialmente dando ai ricercatori la possibilità di dire "Abbiamo avuto questa osservazione; come ci siamo arrivati?"

"Questo progetto è entusiasmante perché rende i simulatori esistenti in molti campi della scienza e dell'ingegneria soggetti all'apprendimento probabilistico delle macchine, "dice Atilim Gunes Baydin, sviluppatore principale del progetto Etalumis e autore principale del documento SC19. Gunes è attualmente un ricercatore post-dottorato in machine learning presso l'Università di Oxford. "Ciò significa che il simulatore non viene più utilizzato come scatola nera per generare dati di allenamento sintetici, ma come modello generativo probabilistico interpretabile che il codice del simulatore già specifica, in cui possiamo fare inferenza.

"Dobbiamo essere in grado di controllare il programma per abbattere ogni possibilità, quindi in questo progetto abbiamo aggiunto questa funzionalità come livello software, "aggiunge Wahid Bhimji, un Big Data Architect nel team Data and Analytics Services del NERSC. Però, l'esecuzione di inferenze in contesti così complessi comporta sfide computazionali. "I metodi convenzionali per questo tipo di inferenza bayesiana sono estremamente costosi dal punto di vista computazionale, " Bhimji aggiunge. "Etalumis ci permette di fare in pochi minuti quello che normalmente richiederebbe giorni, utilizzando le risorse HPC NERSC."

Interpretabilità profonda

Per il caso d'uso di LHC, il team ha addestrato una rete neurale per eseguire l'inferenza, imparare a formulare buone proposte su quale catena dettagliata di processi fisici dal simulatore potrebbe essersi verificata. Ciò ha richiesto miglioramenti al framework di deep learning PyTorch per addestrare una complessa rete neurale dinamica su più di 1, 000 nodi (32, 000 core CPU) del supercomputer Cori al NERSC. Di conseguenza, La formazione che richiederebbe mesi con il software originale non ottimizzato su un singolo nodo può ora essere completata in meno di 10 minuti su Cori. Gli scienziati hanno così avuto l'opportunità di studiare le scelte che hanno portato alla produzione di ciascun risultato, dando loro una maggiore comprensione dei dati.

"In molti casi sai che c'è un'incertezza nel determinare la fisica che si è verificata in una collisione di LHC ma non conosci le probabilità di tutti i processi che potrebbero aver dato origine a una particolare osservazione; con Etalumis, ne prendi un modello, "Bhimji spiega.

La profonda interpretabilità che Etalumis apporta all'analisi dei dati dall'LHC potrebbe supportare importanti progressi nel mondo della fisica. "Segni di nuova fisica potrebbero nascondersi nei dati di LHC; rivelare quei segnali potrebbe richiedere un cambiamento di paradigma dalla classica elaborazione algoritmica dei dati a un approccio probabilistico più sfumato, "dice Kyle Cranmer, un fisico della New York University che faceva parte del progetto Etalumis. "Questo approccio ci porta al limite di ciò che è conoscibile dalla meccanica quantistica".