In un momento in cui ci affidiamo a Internet a un livello senza precedenti nella nostra vita quotidiana, un team di ricercatori dell'UM guidati da Mosharaf Chowdhury e Harsha Madhyastha ha trovato un modo per le aziende tecnologiche, banche e sistemi sanitari per spremere più capacità dalla nostra infrastruttura esistente.

Una modifica alla progettazione dello strumento software per big data Apache Spark potrebbe consentire ai maggiori utenti mondiali di potenza di calcolo di svolgere attività enormi fino a 16 volte più velocemente, alleggerendo il carico su Internet. Chowdhury è un assistente professore e Madhyastha è un professore associato, sia di informatica che di ingegneria. La modifica, chiamato Sole, è ora disponibile per il download su GitHub.

Spark è un framework elettronico open source che funge da task manager, coordinare vaste reti di singoli computer per lavorare insieme come un'unica macchina su grandi compiti di calcolo. Uno degli strumenti del suo genere più utilizzati al mondo, è utilizzato da tutte le principali aziende tecnologiche e dalle banche, società di telecomunicazioni, governi e molti altri.

Quando Spark è stato costruito un decennio fa, la maggior parte di questo lavoro ha avuto luogo presso grandi data center, dove vasti banchi di macchine si trovavano in un unico sito. Ma oggi, è sempre più utilizzato per connettere macchine sparse in tutto il mondo e connesse tramite Internet.

Chowdhury ha aiutato a costruire Spark durante il suo periodo da studente laureato presso l'Università della California Berkeley. Spiega che suddivide il lavoro su singole macchine utilizzando un componente chiamato motore di esecuzione. È stato progettato principalmente per data center di grandi dimensioni, dove gruppi di macchine sulla stessa rete locale potevano comunicare rapidamente tra loro. Ma è meno efficiente quando le macchine sono a migliaia di chilometri di distanza, collegati dal tubo relativamente stretto di Internet.

"Il motore di esecuzione esistente di Spark prende decisioni su dove inviare il lavoro all'ultimo minuto:solo dopo che la CPU ha segnalato che è pronta per altro lavoro, invia una nuova attività, " Chowdhury ha detto. "Questo approccio massimizza la flessibilità, e ha senso quando un'attività è ospitata in un singolo data center. Ma questa comunicazione richiede molto più tempo tra le macchine connesse a Internet. L'approccio dell'ultimo minuto spesso lascia le CPU sottoutilizzate, nel senso che stanno seduti in attesa di lavoro."

Quindi Chowdhury e Madhyastha, lavorando con gli assistenti di ricerca degli studenti laureati Fan Lai e Jie You e lo studente universitario Xiangfeng Zhu, ha scritto un nuovo motore di esecuzione chiamato Sol. Sol adotta un approccio più proattivo; invece di aspettare che le CPU segnalino che sono pronte per un nuovo lavoro, indovina quali saranno i prossimi in linea e spinge attivamente verso di loro nuovi compiti. Indica inoltre alle macchine di elaborare i dati localmente quando possibile invece di spostarli costantemente tra le macchine.

Ciò significa meno mescolamento di dati e comandi tra le macchine, alleggerendo il carico su Internet e accelerando il trattamento dei dati. Il team di Chowdhury ha scoperto che accelera notevolmente il calcolo, rendendo le attività comuni da quattro a 16 volte più veloci.

Sebbene la versione attualmente disponibile sia una versione di ricerca del software piuttosto che un prodotto più raffinato, Chowdhury afferma che rilasciarlo nella sua forma attuale è un modo per guidare la ricerca in un momento in cui la velocità è essenziale.

"Fan Lai si sta già mettendo a disposizione per aiutare chi vorrà provarlo, " ha detto. "Stiamo facendo tutto il possibile per muoverci rapidamente".

Il documento è intitolato "Sol:Calcolo distribuito veloce su reti lente".