su larga scala, calcolo avanzato ad alte prestazioni, spesso chiamato supercalcolo, è essenziale per risolvere questioni sia complesse che di grandi dimensioni.

Tutto, dalle risposte alle domande metafisiche sulle origini dell'universo alla scoperta di farmaci antitumorali, al supporto di servizi di streaming ad alta velocità, richiede l'elaborazione di enormi quantità di dati.

Ma le piattaforme di archiviazione essenziali per questi sistemi informatici avanzati sono state bloccate in una struttura rigida che richiedeva agli utenti di scegliere tra la personalizzazione delle funzionalità o l'alta disponibilità.

Ora, I ricercatori della Virginia Tech hanno trovato un modo per fornire ai sistemi di dati HPC (High Performance Computing) la flessibilità necessaria per prosperare con un framework unico nel suo genere chiamato BespoKV, forse aiutando un giorno a raggiungere l'obiettivo HPC di esibirsi all'esascala, o 1 miliardo di miliardi di calcoli al secondo.

I ricercatori presenteranno i loro risultati alla Association of Computing Machinery/IEEE Supercomputing Conference a Dallas, Texas, il 13 novembre

L'ingrediente principale per il funzionamento della nuova piattaforma sono i sistemi di valore chiave (KV). I sistemi KV archiviano e recuperano dati importanti da un'archiviazione basata sulla memoria molto veloce invece che su dischi più lenti. Questi sistemi sono sempre più utilizzati nelle odierne applicazioni ad alte prestazioni che utilizzano sistemi distribuiti, che sono costituiti da molti computer per risolvere un problema. Il calcolo ad alte prestazioni si basa sull'assunzione di computer, processi, e analizzare enormi quantità di dati a velocità senza precedenti. Attualmente, i migliori sistemi operano a un quadrilione di calcoli al secondo, o un petaflop.

La ricerca è rilevante per le industrie che elaborano grandi quantità di dati, sia che si tratti di occupare lo spazio, grafica visiva intensa di siti di streaming di film; milioni di transazioni finanziarie presso grandi società di carte di credito; o contenuti generati dagli utenti sui social media. Pensa a grandi siti di media come Facebook, dove il contenuto è in continua evoluzione e continuamente accessibile. Quando gli utenti caricano contenuti nelle pagine del loro profilo, tali informazioni risiedono su più server.

Ma se devi accedere continuamente a determinati contenuti, I sistemi KV possono essere molto più efficienti come supporto di archiviazione perché il contenuto viene caricato dall'archivio in memoria più veloce nelle vicinanze, non il server di archiviazione lontano. Ciò consente al sistema di fornire prestazioni molto elevate nel completamento di attività o richieste.

"Mi sono interessato ai sistemi di valore chiave perché questa piattaforma di archiviazione molto semplice e fondamentale non è stata sfruttata nei sistemi di elaborazione ad alte prestazioni in cui può fornire molti vantaggi, " ha detto Ali Anwar, primo autore del documento presentato e un recente laureato in Virginia Tech che attualmente è impiegato presso IBM Research. "BespoKV è un nuovo framework che può consentire ai sistemi HPC di fornire molta flessibilità e prestazioni e non essere incatenati a un design di archiviazione rigido."

L'innovazione principale di BespoKV è che supporta la composizione di una gamma di negozi KV con caratteristiche desiderabili. Funziona prendendo un archivio KV a server singolo chiamato datalet e consente archivi KV distribuiti immediati e pronti per l'uso. Ora, invece di riprogettare un sistema da zero per svolgere un compito specifico, uno sviluppatore può rilasciare un datalet in BespoKV e scaricare il "disordine idraulico" dei sistemi distribuiti nel framework. BespoKV disaccoppia il design del negozio KV nel piano di controllo per la gestione distribuita e nel piano dati per l'archiviazione locale dei dati.

Il framework consente inoltre nuovi servizi HPC per carichi di lavoro che le aziende e le istituzioni devono ancora prevedere.

Uno dei principali effetti limitanti degli attuali negozi KV all'avanguardia è che sono progettati pensando ai servizi distribuiti preesistenti e sono spesso specializzati per un ambiente specifico. Un altro fattore limitante è il design monolitico inflessibile in cui le funzionalità distribuite sono profondamente integrate in un sistema con archivi di dati di back-end che fanno cose come gestire l'inventario, ordini, e fornitura. Il design rigido di questi negozi KV non si adatta alle mutevoli richieste degli utenti per una miriade di backend, topologia, consistenza, e una miriade di altri servizi.

"Gli sviluppatori di grandi aziende possono davvero affondare i denti nella progettazione di innovativi sistemi di storage HPC con BespoKV, " ha detto Ali Butt, professore di informatica. "Le prestazioni di accesso ai dati sono una delle principali limitazioni nei sistemi di archiviazione HPC e generalmente impiegano un mix di soluzioni per fornire flessibilità insieme alle prestazioni, che è ingombrante. Abbiamo creato un modo per accelerare significativamente il comportamento del sistema per conformarsi alle prestazioni desiderate, consistenza, e livelli di affidabilità."

BespoKV può essere agile perché consente una mappatura arbitraria tra i servizi desiderati e i componenti disponibili, supportando i servizi di gestione distribuiti per realizzare e abilitare i negozi KV distribuiti associati al datalet.

"Ora che abbiamo dimostrato di poter eseguire l'azione semplice ed efficiente di utilizzare i sistemi KV in potenti sistemi HPC, i clienti non dovranno scegliere tra scalabilità e flessibilità, " disse Butt.