L'adagio dell'era moderna "lavora in modo più intelligente, non più difficile" sottolinea l'importanza di lavorare non solo per produrre, ma anche facendo un uso efficiente delle risorse.

E non è qualcosa che i supercomputer attualmente fanno sempre bene, soprattutto quando si tratta di gestire enormi quantità di dati.

Ma un team di ricercatori del Dipartimento di Informatica del College of Engineering della Virginia Tech sta aiutando i supercomputer a funzionare in modo più efficiente in un modo nuovo, utilizzando l'apprendimento automatico per distribuire correttamente, o bilanciamento del carico, attività di elaborazione dei dati attraverso le migliaia di server che compongono un supercomputer.

Incorporando l'apprendimento automatico per prevedere non solo le attività ma anche i tipi di attività, i ricercatori hanno scoperto che il carico su vari server può essere mantenuto bilanciato in tutto il sistema. Il team presenterà la sua ricerca a Rio de Janeiro, Brasile, al 33° Simposio Internazionale sull'elaborazione parallela e distribuita il 22 maggio, 2019.

Gli attuali sistemi di gestione dei dati nel supercalcolo si basano su approcci che assegnano le attività in modo round robin ai server, indipendentemente dal tipo di attività o dalla quantità di dati che caricherà sul server. Quando il carico sui server non è bilanciato, i sistemi sono impantanati dai ritardatari, e le prestazioni sono gravemente degradate.

"I sistemi di supercalcolo sono precursori della competitività americana nel calcolo ad alte prestazioni, " ha detto Ali R. Butt, professore di informatica. "Sono fondamentali non solo per ottenere scoperte scientifiche, ma anche per mantenere l'efficacia dei sistemi che ci consentono di condurre gli affari della nostra vita quotidiana, dall'utilizzo di servizi di streaming per guardare film all'elaborazione di transazioni finanziarie online fino alla previsione dei sistemi meteorologici utilizzando i modelli meteorologici".

Al fine di implementare un sistema per utilizzare l'apprendimento automatico, il team ha creato un nuovo piano di controllo end-to-end che combinava i punti di forza incentrati sull'applicazione degli approcci lato client con i punti di forza incentrati sul sistema degli approcci lato server.

"Questo studio è stato un passo da gigante nella gestione dei sistemi di supercalcolo. Ciò che abbiamo fatto ha dato al supercalcolo un aumento delle prestazioni e ha dimostrato che questi sistemi possono essere gestiti in modo intelligente in modo conveniente attraverso l'apprendimento automatico, " disse Bharti Wadhwa, primo autore dell'articolo e un dottorato di ricerca. candidato presso il Dipartimento di Informatica. "Abbiamo dato agli utenti la possibilità di progettare sistemi senza incorrere in costi elevati".

La nuova tecnica ha dato al team la capacità di avere "occhi" per monitorare il sistema e ha permesso al sistema di archiviazione dei dati di apprendere e prevedere quando carichi più grandi potrebbero scendere dal luccio o quando il carico è diventato troppo grande per un server. Il sistema ha anche fornito informazioni in tempo reale in modo indipendente dall'applicazione, creando una visione globale di ciò che stava accadendo nel sistema. In precedenza i server non erano in grado di apprendere e le applicazioni software non erano abbastanza agili da essere personalizzate senza un'importante riprogettazione.

"L'algoritmo ha previsto le richieste future delle applicazioni tramite un modello di serie temporali, " ha detto Arnab K. Paul, secondo autore e dottorato di ricerca. candidato anche al Dipartimento di Informatica. "Questa capacità di apprendere dai dati ci ha dato un'opportunità unica di vedere come potremmo inserire le richieste future in modo bilanciato dal carico".

Il sistema end-to-end ha inoltre consentito agli utenti di trarre vantaggio dalla configurazione con bilanciamento del carico senza modificare il codice sorgente. Negli attuali sistemi di supercomputer tradizionali questa è una procedura costosa in quanto richiede la modifica delle fondamenta del codice dell'applicazione

"È stato un privilegio contribuire al campo del supercalcolo con questo team, "ha detto Sarah Neuwirth, un ricercatore post-dottorato presso l'Istituto di ingegneria informatica dell'Università di Heidelberg. "Affinché il supercalcolo si evolva e affronti le sfide di una società del 21° secolo, dovremo guidare sforzi internazionali come questo. Il mio lavoro con i sistemi di supercalcolo comunemente usati ha beneficiato enormemente di questo progetto."

Il piano di controllo end-to-end consisteva in server di archiviazione che inviavano le informazioni sull'utilizzo al server dei metadati. Un modello di serie temporale della media mobile integrata autoregressivo è stato utilizzato per prevedere le richieste future con una precisione di circa il 99% e sono state inviate al server di metadati per eseguire la mappatura ai server di archiviazione utilizzando l'algoritmo grafico a flusso massimo di costo minimo.