Un nuovo file system distribuito per l'elaborazione ad alte prestazioni disponibile oggi tramite il sito di collaborazione software GitHub offre prestazioni senza precedenti per la creazione, aggiornamento e gestione di un numero estremo di file.

"Abbiamo progettato DeltaFS per consentire la creazione di trilioni di file, "ha detto Brad Settlemyer, un informatico di Los Alamos e capo progetto. Il Los Alamos National Laboratory e la Carnegie Mellon University hanno sviluppato insieme DeltaFS. "Un tale strumento aiuta i ricercatori a risolvere i problemi classici nel calcolo ad alte prestazioni, come il tracciamento della traiettoria delle particelle o il rilevamento del vortice".

DeltaFS crea un file system che appare all'utente come qualsiasi altro file system, non richiede hardware specializzato, ed è esattamente su misura per assistere lo scienziato in nuove scoperte quando si utilizza una piattaforma di calcolo ad alte prestazioni.

"Una delle sfide più importanti, e obiettivi primari di DeltaFS, stava scalando su migliaia di server senza che una parte di essi fosse dedicata al file system, " disse George Amvrosiadis, professore assistente di ricerca presso la Carnegie Mellon University e coautore del progetto. "Questo libera gli amministratori dal dover decidere come allocare le risorse per il file system, che diventerà una necessità quando le macchine exascale diventeranno una realtà."

Il file system apporta due importanti cambiamenti nel calcolo ad alte prestazioni. Primo, DeltaFS consente nuove strategie per progettare i supercomputer stessi, cambiando drasticamente il costo di creazione e gestione dei file. Inoltre, DeltaFS migliora radicalmente le prestazioni di query altamente selettive, riducendo drasticamente il tempo per la scoperta scientifica.

DeltaFS è un transitorio, servizio software-defined che consente l'accesso ai dati da una manciata di centinaia di migliaia di computer in base ai requisiti di prestazione dell'utente.

"Le tecniche di archiviazione utilizzate in DeltaFS sono applicabili in molti domini scientifici, ma crediamo che alleviando il collo di bottiglia dei metadati abbiamo davvero mostrato un modo per progettare e procurare sistemi di storage HPC molto più efficienti, " ha detto Settlemyer.