Fig 1. Più flussi GPU asincroni di GMiner. Credito:Daegu Gyeongbuk Institute of Science and Technology (DGIST)
Un team di ricerca del Daegu Gyeongbuk Institute of Science and Technology (DGIST) della Corea è riuscito ad analizzare i big data fino a 1, 000 volte più veloce della tecnologia esistente utilizzando la tecnologia "GMiner" basata su GPU. Si prevede che i risultati dell'analisi dei modelli di big data verranno utilizzati in vari settori, inclusi i settori finanziario e IT.
Un team internazionale di ricercatori, guidato dal professor Min-Soo Kim del Dipartimento di ingegneria dell'informazione e della comunicazione, ha sviluppato la tecnologia "GMiner" in grado di analizzare modelli di big data ad alta velocità. La tecnologia GMiner mostra prestazioni fino a 1, 000 volte più veloce dell'attuale migliore tecnologia di pattern mining al mondo.
La tecnologia del pattern mining identifica tutti i pattern importanti che compaiono ripetutamente nei big data di vari campi come l'acquisto di merci nei mega-mart, operazioni bancarie, pacchetti di rete, e social network. Questa tecnologia è ampiamente utilizzata in vari settori per scopi quali determinare la posizione dei prodotti sugli scaffali dei mega-mart o consigliare carte di credito che corrispondono ai modelli di utilizzo dei consumatori di età diverse.
La crescente importanza del pattern mining ha portato allo sviluppo di migliaia di tecnologie di pattern mining negli ultimi 20 anni; però, a causa della crescente lunghezza dei modelli di big data, che ha aumentato esponenzialmente il numero di modelli analitici, le tecnologie di mining esistenti sono state ostacolate nell'analisi di dati di oltre dieci gigabyte (GB) perché non sono riuscite a completare l'analisi a causa della memoria insufficiente del computer o per troppo tempo.
Le tecnologie di pattern mining tradizionali hanno prima trovato modelli di media lunghezza e li hanno archiviati in memoria. Quando si cerca un modello più lungo della media lunghezza, hanno usato un metodo per trovare modelli finali rispetto a un modello di media lunghezza che era stato precedentemente salvato.
Fig 2. Flusso di dati di GMiner utilizzando più GPU. Credito:Daegu Gyeongbuk Institute of Science and Technology (DGIST)
Però, La tecnologia GMiner sviluppata dal team di ricerca è riuscita a risolvere in modo fondamentale il problema delle tecnologie esistenti proponendo tecniche anti-intuitive che combinano i pattern di media lunghezza calcolati temporaneamente utilizzando le migliaia di core su unità di elaborazione grafica (GPU) per calcolare la lunghezza finale di modelli.
La tecnologia GMiner ha risolto completamente il problema cronico della memoria insufficiente sofferto dalle tecnologie convenzionali non memorizzando un numero esponenziale di pattern di media lunghezza in memoria. Inoltre, ha risolto il problema della bassa velocità trasmettendo i dati dalla memoria principale alla GPU e contemporaneamente cercando modelli utilizzando le elevate prestazioni computazionali della GPU.
La tecnologia GMiner ha mostrato prestazioni di analisi che vanno da un minimo di 10 volte a un massimo di 1, 000 volte più veloce delle tecnologie distribuite e parallele convenzionali che analizzavano i dati utilizzando fino a dozzine di computer domestici generici che dispongono di una singola GPU per computer; così, può analizzare i big data su una scala più ampia rispetto alle tecnologie esistenti. Ha anche mostrato eccellenti prestazioni di espansione che migliorano le prestazioni in proporzione al numero di GPU.
Il professor Kim ha detto, "Ci siamo assicurati tecnologie fondamentali in grado di analizzare i modelli di big data ad alta velocità senza problemi di memoria per i big data accumulati in una varietà di settori. Risolvendo problemi in cui le tecnologie di pattern mining non sono state applicate correttamente ai big data a causa della mancanza di memoria e bassa velocità, questa nuova tecnologia può essere utilizzata per aiutare le aziende a prendere decisioni efficienti analizzando i modelli di big data in vari settori tra cui la finanza, Al dettaglio, ESSO, e bio-settori”.
Questo risultato della ricerca è stato pubblicato nel numero del 9 maggio di Scienze dell'informazione, la più autorevole rivista internazionale nel campo della scienza dell'informazione.
