Fujitsu Laboratories Ltd. ha annunciato oggi lo sviluppo della Dynamically Reconfigurable Asynchronous Consistent EveNt-processing Architecture (Dracena), un'architettura di elaborazione del flusso in grado di aggiungere o modificare i contenuti durante l'elaborazione di grandi volumi di dati IoT, senza fermarsi. Con i recenti progressi nelle tecnologie IoT, si prevede che verranno creati molti servizi in tempo reale per utilizzare i grandi volumi di dati che fluiscono nel cloud da vari dispositivi attraverso le fabbriche, le case, e infrastrutture sociali. Nella progressione verso la guida autonoma con auto connesse, i ricercatori stanno valutando l'analisi delle grandi quantità di informazioni, come velocità e posizione, generato da veicoli, che possono poi essere presentati ai conducenti, sotto forma di avvertimenti, Per esempio.

Tecnologia di elaborazione del flusso, che è efficace nell'elaborazione ad alta velocità di questo tipo di enormi volumi di dati, ha problemi in questo, perché l'elaborazione deve essere temporaneamente interrotta quando si modifica o si aggiunge contenuto di elaborazione in base a aggiunte o miglioramenti ai servizi, la fornitura di servizi può essere ritardata. Ora, Fujitsu ha sviluppato una nuova architettura di elaborazione del flusso che passa automaticamente a un nuovo programma di elaborazione dei dati fornito quando un lavoro di elaborazione dei dati in parallelo è stato completato, separando l'elaborazione del flusso nell'elaborazione della ricezione dei dati e nell'elaborazione dei dati effettiva in modo che l'elaborazione della ricezione dei dati e l'elaborazione dei dati in corso non vengano interrotte (in attesa di brevetto).

Di conseguenza, in una simulazione della ricezione di poche decine di byte di dati al secondo da un milione di veicoli, Fujitsu ha confermato che questa architettura è in grado di continuare a elaborare i dati in streaming durante l'aggiunta o la modifica di programmi di elaborazione, con un ritardo medio aumentare i volumi di cinque millisecondi o meno. Fujitsu Laboratories sta cercando di commercializzare questa tecnologia durante l'anno fiscale 2018 sulla Mobility IoT Platform, offerto da Fujitsu Limited, ed estenderlo ad altri settori industriali. I dettagli di questa tecnologia sono stati presentati al DEIM2018 (il Forum on Data Engineering and Information Management), una conferenza che si terrà ad Awara, Prefettura di Fukui, Giappone, dal 4 marzo

Sfondo di sviluppo

Con il recente sviluppo delle tecnologie IoT, i dati hanno iniziato a essere raccolti da tutti i tipi di oggetti e raccolti in datacenter, e ci si aspetta che analizzando e utilizzando questo, saranno creati una serie di nuovi servizi. Nel caso di auto connesse, Per esempio, si pensa che raccogliendo, analizzando, e utilizzando i dati delle automobili in tempo reale, sarà possibile decongestionare, assistere i conducenti, e migliorare la sicurezza della guida autonoma (figura 1).

Al fine di elaborare rapidamente i dati, come velocità e posizione, che sono generate in un secondo per secondo da un numero enorme di auto in movimento, il metodo più efficace è costruire un sistema che utilizzi l'elaborazione del flusso per elaborare i dati in parallelo, come ad esempio auto per auto. Al fine di integrare o modificare il programma di elaborazione in base a integrazioni e miglioramenti del servizio, il metodo attuale prevede la preparazione anticipata di due sistemi della stessa scala, usandone uno per le operazioni, apportare modifiche all'altro, e poi cambiarli velocemente. Questo metodo richiedeva l'arresto temporaneo di entrambi i sistemi, però, mentre i dati, come la velocità o la posizione di un'auto, conservata nella memoria del sistema in uso, è stato copiato nel sistema rivisto. Ciò ha reso difficile produrre servizi che richiedessero operazioni veramente continuative, come la trasmissione in tempo reale di avvisi alle auto connesse. Inoltre, perché nuovi programmi di elaborazione sono stati ottenuti dal database, noto come deposito, la congestione causata dalle numerose query provenienti da grandi volumi di unità di elaborazione, ritardare l'elaborazione complessiva.

Dettagli della tecnologia di nuova concezione

Ora, Fujitsu Laboratories ha sviluppato Dracena, un'architettura in grado di modificare i programmi di elaborazione di un sistema mentre è in funzione, senza interrompere le operazioni. Con questa tecnologia, quando si modificano o si aggiungono contenuti di trattamento dei dati, questa architettura distribuisce il nuovo programma di elaborazione dati come messaggio, allo stesso modo i dati sono distribuiti, ad ogni singola unità di elaborazione, chiamato oggetto, come l'unità di elaborazione per ogni auto. Ciò elimina l'impatto sulla velocità di elaborazione complessiva dovuto alla concentrazione di query sul repository. Inoltre, separando l'elaborazione della ricezione dei messaggi all'interno dell'oggetto e l'elaborazione dei dati in questa architettura, il sistema è in grado di aggiungere il nuovo programma di elaborazione dati senza interrompere l'elaborazione della ricezione del messaggio o l'elaborazione dei dati esistente, e quindi fare in modo che tutti gli oggetti passino al nuovo programma di elaborazione dati con la stessa tempistica. Ciò ha consentito ai Fujitsu Laboratories di creare un'architettura di elaborazione del flusso in cui il programma di elaborazione dati può essere aggiunto o modificato senza interruzioni, per continuare l'elaborazione parallela senza trattenere il flusso di enormi volumi di dati da copiare (figura 2).

I risultati di una valutazione simulata hanno confermato che, in un caso d'uso in cui vengono trasmesse poche decine di byte di dati una volta al secondo da un milione di veicoli, questa architettura era in grado di fornire continuamente servizi quando si aggiungeva un servizio di rilevamento di frenate improvvise in una situazione in cui il sistema stava già fornendo un servizio di rilevamento di tempi di guida eccessivi, con un ritardo medio aumentare il volume di cinque millisecondi o meno. Questa architettura consentirà la rapida fornitura di servizi in tempo reale che richiedono un funzionamento ininterrotto e che possono rispondere ai problemi che si verificano nella società, compresa la fornitura di assistenza alla guida per auto connesse, sostenere l'uso a risparmio energetico degli elettrodomestici, fornire un monitoraggio della salute e della sicurezza a domicilio, e fornire indicazioni di viaggio per i turisti che utilizzano gli smartphone. Inoltre, questa architettura consente agli utenti di adottare un metodo di compilazione in cui costruiscono prima un sistema di base finalizzato alla semplice analisi e utilizzo, e poi aggiungere gradualmente nuovi servizi. Utilizzando questa tecnologia nel caso delle automobili, Per esempio, sarebbe possibile iniziare con un sistema che legge i segni di guida in stato di ebbrezza in base ai dati di funzionamento del volante, e quindi aggiungi nuovi servizi livello per livello, come combinare questo con i dati della mappa per rilevare i venti trasversali alle uscite del tunnel, o combinandolo con dati di immagine per rilevare la presenza di auto parcheggiate illegalmente, che ci si può aspettare per migliorare l'efficienza dello sviluppo del servizio.

Fujitsu mira a commercializzare questa tecnologia durante l'anno fiscale 2018 come elemento costitutivo della Mobility IoT Platform offerta da Fujitsu Limited. Inoltre, Fujitsu sta cercando di estendere questa tecnologia oltre il campo della mobilità alle aree aziendali che richiedono servizi in tempo reale basati su dati che vengono generati continuamente ad alta frequenza, come fornire indicazioni alle persone durante eventi o in situazioni di disastro.