Un nuovo sistema software sviluppato dai ricercatori della Brown University trasforma i telefoni cellulari in portali di realtà aumentata, consentendo agli utenti di posizionare blocchi di costruzione virtuali, mobili e altri oggetti in fondali del mondo reale, e usa le mani per manipolare quegli oggetti come se fossero davvero lì.

Gli sviluppatori sperano che il nuovo sistema, chiamato Portal-ble, potrebbe essere uno strumento per gli artisti, designer, sviluppatori di giochi e altri per sperimentare la realtà aumentata (AR). Il team presenterà il lavoro alla fine di questo mese all'ACM Symposium on User Interface Software and Technology (UIST 2019) a New Orleans. Il codice sorgente di Andriod è disponibile gratuitamente per il download sul sito Web dei ricercatori, e il codice iPhone seguirà presto.

"L'AR sarà una nuova fantastica modalità di interazione, " ha detto Jeff Huang, un assistente professore di informatica alla Brown che ha sviluppato il sistema con i suoi studenti. "Volevamo creare qualcosa che rendesse l'AR portatile in modo che le persone potessero usarlo ovunque senza visori ingombranti. Volevamo anche che le persone fossero in grado di interagire con il mondo virtuale in modo naturale usando le mani".

Huang ha affermato che l'idea per l'interazione "pratica" di Portal-ble è nata da una certa frustrazione con app AR come Pokemon GO. Le app AR utilizzano gli smartphone per posizionare oggetti virtuali (come i personaggi di Pokemon) in scene del mondo reale, ma l'interazione con quegli oggetti richiede che gli utenti scorrano sullo schermo.

"Scorrere con il dito non era un modo soddisfacente di interagire, " disse Huang. "Nel mondo reale, interagiamo con gli oggetti con le nostre mani. Giriamo le maniglie delle porte, raccogliere le cose e gettare le cose. Quindi abbiamo pensato che la manipolazione manuale degli oggetti virtuali sarebbe stata molto più potente dello scorrimento. Ecco cosa c'è di diverso in Portal-ble."

La piattaforma si avvale di un piccolo sensore a infrarossi montato sul retro di un telefono. Il sensore traccia la posizione delle mani delle persone rispetto agli oggetti virtuali, consentire agli utenti di raccogliere oggetti, girali, impilarli o lasciarli cadere. Consente inoltre alle persone di usare le mani per "dipingere" virtualmente su fondali del mondo reale. A dimostrazione, Huang ei suoi studenti hanno usato il sistema per dipingere un giardino virtuale in uno spazio verde nel campus del Brown's College Hill.

Huang afferma che il principale contributo tecnico del lavoro è stato lo sviluppo delle giuste sistemazioni e strumenti di feedback per consentire alle persone di interagire in modo intuitivo con gli oggetti virtuali.

"Si scopre che raccogliere un oggetto virtuale è davvero difficile se si tenta di applicare la fisica del mondo reale, " Huang ha detto. "Le persone cercano di afferrare nel posto sbagliato, oppure mettono le dita tra gli oggetti. Quindi abbiamo dovuto osservare come le persone hanno cercato di interagire con questi oggetti e quindi rendere il nostro sistema in grado di accogliere quelle tendenze".

Fare quello, Huang ha arruolato gli studenti in una classe a cui stava insegnando per inventare compiti che potrebbero voler svolgere nel mondo AR:impilare una serie di blocchi, Per esempio. Gli studenti hanno quindi chiesto ad altre persone di provare a eseguire tali attività utilizzando Portal-ble, registrando ciò che le persone erano in grado di fare e ciò che non potevano. Potrebbero quindi regolare la fisica del sistema e l'interfaccia utente per rendere le interazioni più efficaci.

"È un po' come succede quando le persone disegnano linee in Photoshop, " disse Huang. "Le linee che le persone disegnano non sono mai perfette, ma il programma può appianarli e renderli perfettamente dritti. Questi erano i tipi di sistemazione che stavamo cercando di realizzare con questi oggetti virtuali".

Il team ha anche aggiunto un feedback sensoriale - punti salienti visivi su oggetti e vibrazioni del telefono - per rendere più facili le interazioni. Huang si è detto un po' sorpreso dal fatto che le vibrazioni del telefono abbiano aiutato gli utenti a interagire. Gli utenti sentono le vibrazioni nella mano che stanno usando per tenere il telefono, non nella mano che sta effettivamente afferrando l'oggetto virtuale. Ancora, Huang ha detto, il feedback delle vibrazioni ha comunque aiutato gli utenti a interagire con maggiore successo con gli oggetti.

Negli studi successivi, gli utenti hanno riferito che le sistemazioni e il feedback utilizzati dal sistema hanno reso le attività significativamente più semplici, meno tempo e più soddisfacente.

Huang e i suoi studenti intendono continuare a lavorare con Portal-ble, espandendo la sua libreria di oggetti, perfezionare le interazioni e sviluppare nuove attività. Sperano anche di semplificare il sistema per farlo funzionare interamente su un telefono. Attualmente il sensore a infrarossi richiede un sensore a infrarossi e una chiavetta di calcolo esterna per una maggiore potenza di elaborazione.

Huang spera che le persone scarichino il codice sorgente disponibile gratuitamente e lo provino da sole.

"Vogliamo davvero solo pubblicarlo e vedere cosa ci fanno le persone, " ha detto. "Il codice è sul nostro sito Web per le persone da scaricare, modificare e costruire da. Sarà interessante vedere cosa ne faranno le persone".