L'Università di Twente sta attualmente sviluppando una tecnologia per smartphone basata sull'utilizzo della localizzazione e della mappatura simultanee (SLAM) e della realtà aumentata (AR). Questa tecnologia consente al personale medico di ricostruire rapidamente sezioni del corpo 3D, solo tenendo lo smartphone intorno all'area di interesse. Questo smartphone mostrerà gli strati aumentati della superficie della pelle 3-D per visualizzare informazioni invisibili per il personale medico.

"Vorremmo stratificare le informazioni dalla risonanza magnetica e da altre scansioni venose (da dispositivi sensori che utilizzano speckle laser) e renderle visibili con la realtà aumentata", dice il Dott. Ing. Beril Sirmacek (Informatica). Ciò consente ai medici di vedere i segmenti interni del corpo, tumori, vene e lo stato delle ulcere diabetiche con l'uso della realtà aumentata. Questo supporto visivo consente ai medici di controllare meglio la situazione e prendere decisioni migliori. In una situazione di biopsia, questo supporto visivo può aiutare a guidare i bracci del robot per raggiungere il tumore per la biopsia al primo tentativo, invece di cogliere l'occasione e raggiungere la posizione corretta lavorando con un paziente per un'intera giornata e praticando fori bioptici senza successo sul corpo del paziente.

La visualizzazione aumentata dei big data e la guida con l'applicazione per smartphone si affida fortemente alla tecnologia di Simultaneous Localization and Mapping (SLAM). "Anche se non avevo un background medico, la nostra attenzione comune su SLAM e AR fornisce un'ottima piattaforma."

scatola SLAM

"Quando abbiamo iniziato questo progetto, il nostro obiettivo era sviluppare una scatola SLAM presso il gruppo di ricerca UT RAM (Robotica e Meccatronica). Possiamo utilizzare il nostro software di localizzazione e ricostruzione 3D su diversi sensori e non solo con l'utilizzo di smartphone. La nostra visione porterà a molte applicazioni sanitarie, e altre applicazioni di robotica diventeranno più intelligenti. Con questa tecnologia, gli algoritmi comprendono rapidamente i modelli 3D degli oggetti circostanti indipendentemente dai sensori di imaging utilizzati."

Prof. Dr. Ir. Stefano Stramigioli (Presidente del Gruppo, Robotica e Meccatronica):"SLAM è una tecnologia fondamentale nella robotica, ma il suo utilizzo universale sarà possibile solo se disponiamo di metodi per interfacciare facilmente molti sensori in un sistema robotico. Un tram, intendiamo creare una scatola SLAM modulare che si riconfigura automaticamente se sensori aggiuntivi vengono collegati in modo Plug&Play. Quindi sarebbe possibile collegare questo "SLAM Box" a un sistema robotico completo, dandogli potenti capacità di percezione."