Teo, un ragazzo di 12 anni che è cieco, è seduto a un tavolo in una cucina affollata in una grigia e gocciolante giornata di metà dicembre. Una fascia che ospita le fotocamere, un sensore di profondità e altoparlanti gli fanno risuonare i capelli castano-sabbia. Ruota la testa a sinistra ea destra finché la telecamera nella parte anteriore dell'archetto punta il naso di una persona dall'altra parte del bancone.

Theo sente un suono sordo seguito dal nome "Martin" attraverso gli altoparlanti dell'archetto, che sono posizionati sopra le sue orecchie.

"Mi ci sono voluti cinque secondi per prenderti, Martino, "Teo dice, la sua testa e il suo corpo si fissarono nella direzione di Martin Grayson, un ingegnere di sviluppo software di ricerca senior presso il laboratorio di ricerca di Microsoft a Cambridge. Grayson è in piedi accanto a una cassa nera alta fino al ginocchio che contiene l'hardware informatico necessario per eseguire i modelli di apprendimento automatico che alimentano il sistema prototipo utilizzato da Theo per riconoscerlo.

elina, la madre di Theo, che sta in piedi contro un muro dalla parte opposta di Theo, dice, "Adoro il modo in cui ti sei voltato per trovarlo. È così bello."

Quando Theo comincia a voltarsi verso sua madre, gli altoparlanti emettono un altro urto e il nome "Tim".

"Tim, eccoti, "dice Theo con gioia mentre il suo sguardo si posa su Tim Regan, un altro ingegnere di sviluppo software di ricerca senior presso il laboratorio, che ha preso Theo sotto la sua ala protettrice per insegnargli abilità avanzate di programmazione del computer. Theo e sua madre erano a casa di Regan per una lezione di programmazione bimestrale. Si sono conosciuti mentre lavoravano a un progetto di ricerca che ha portato allo sviluppo di Code Jumper, un linguaggio di programmazione fisica che include bambini con tutti i range di visione.

Theo è ora uno dei numerosi membri della comunità di non vedenti e ipovedenti che stanno lavorando con Regan, Grayson, la ricercatrice Cecily Morrison e il suo team sul Progetto Tokyo, uno sforzo di ricerca su più fronti per creare una tecnologia di agente personale intelligente che utilizza l'intelligenza artificiale per estendere le capacità esistenti delle persone.

Per Teo, ciò significa strumenti per riconoscere chi gli sta intorno.

"È così eccitante poter scoprire dove si trovano le persone nel mio ambiente, " ha detto Theo. "Non solo chi sceglie di parlare, ma tutte le persone che tacciono che puoi vedere dal loro viso, ma non posso".

Ma alla fine, ha osservato Morrison, Project Tokyo è uno sforzo di ricerca con l'obiettivo a lungo termine di dimostrare come costruire agenti personali intelligenti che estendano le capacità di tutti gli utenti. Piuttosto che costruire sistemi end-to-end in grado di svolgere compiti specifici, vede il futuro dell'IA come un insieme di risorse che le persone usano nel modo che ritengono opportuno.

"All'improvviso non dobbiamo dire, "Ehi, sei cieco e te l'ho appena reso accessibile." Noi diciamo, 'Hey, tu sei tu e ho appena costruito un sistema che funziona per te, '", ha detto. "Non ho bisogno di sapere nulla di te. Non ho bisogno di un'etichetta su di te. Posso fare qualcosa che è giusto per te perché ho un sistema che puoi prendere e adattare a te stesso".

Paralimpiadi in Brasile

Project Tokyo è nato da una sfida, all'inizio del 2016, dai dirigenti senior di Microsoft per creare sistemi di intelligenza artificiale che andassero oltre il completamento di attività come il recupero di risultati sportivi e previsioni del tempo o l'identificazione di oggetti. Morrison ha affermato che la creazione di strumenti per le persone non vedenti e ipovedenti è stata una scelta naturale per il progetto, perché le persone con disabilità sono spesso le prime ad adottare le nuove tecnologie.

"Non si tratta di dire, 'Costruiamo qualcosa per i ciechi, '", ha detto Morrison. "Stiamo lavorando con persone non vedenti per aiutarci a immaginare il futuro, e quel futuro riguarda nuove esperienze con l'intelligenza artificiale".

Morrison e il suo collega Ed Cutrell, un ricercatore principale senior presso il laboratorio di ricerca di Microsoft a Redmond, Washington, sono stati scelti per guidare il progetto. Entrambi hanno esperienza nella progettazione di tecnologie con persone non vedenti o ipovedenti e hanno deciso di iniziare cercando di capire come una tecnologia agente potrebbe aumentare, o estendere, le capacità di questi utenti.

Iniziare, hanno seguito un gruppo di atleti e spettatori con diversi livelli di vista in un viaggio dal Regno Unito ai Giochi Paralimpici 2016 di Rio de Janeiro, Brasile, osservando come hanno interagito con altre persone mentre navigavano negli aeroporti, frequentato impianti sportivi e visite turistiche, tra le altre attività. Un apprendimento chiave, notato Cutrell, era come una comprensione arricchita del contesto sociale potesse aiutare le persone non vedenti o ipovedenti a dare un senso al loro ambiente.

"Noi, come esseri umani, avere questo molto, senso molto articolato ed elaborato di comprensione sociale di come interagire con le persone - avere un'idea di chi c'è nella stanza, cosa stanno facendo, qual è il loro rapporto con me, come faccio a capire se sono rilevanti per me o meno, " ha detto. "E per i non vedenti molti degli spunti che diamo per scontati se ne vanno".

Questa comprensione ha stimolato una serie di workshop con la comunità dei non vedenti e degli ipovedenti incentrati su potenziali tecnologie in grado di fornire tale esperienza. Pietro Bosher, un ingegnere del suono sulla cinquantina che è stato cieco per gran parte della sua vita e ha lavorato con il team del Project Tokyo, ha detto che il concetto di una tecnologia che fornisce informazioni sulle persone intorno a lui ha risuonato immediatamente.

"Ogni volta che mi trovo in una situazione con più di due o tre persone, soprattutto se non ne conosco alcuni, diventa esponenzialmente più difficile da affrontare perché le persone usano sempre più il contatto visivo e il linguaggio del corpo per segnalare che vogliono parlare con tale persona, che vogliono parlare adesso, " ha detto. "E 'davvero molto difficile come una persona cieca."

Un HoloLens modificato

Una volta che i ricercatori del Project Tokyo hanno compreso il tipo di esperienza di intelligenza artificiale che volevano creare, hanno deciso di costruire la tecnologia abilitante. Hanno iniziato con l'originale Microsoft HoloLens, un visore per realtà mista che proietta ologrammi nel mondo reale che gli utenti possono manipolare.

"HoloLens ci offre un sacco di ciò di cui abbiamo bisogno per costruire un agente di intelligenza artificiale in tempo reale in grado di comunicare l'ambiente sociale, " ha detto Grayson durante una dimostrazione della tecnologia presso il laboratorio di ricerca di Microsoft a Cambridge.

Per esempio, il dispositivo ha una serie di fotocamere in scala di grigi che forniscono una visione dell'ambiente di quasi 180 gradi e una fotocamera a colori ad alta risoluzione per il riconoscimento facciale ad alta precisione. Inoltre, gli altoparlanti sopra le orecchie dell'utente consentono l'audio spazializzato, la creazione di suoni che sembrano provenire da posizioni specifiche intorno all'utente.

Gli esperti di machine learning del team di Project Tokyo hanno quindi sviluppato algoritmi di visione artificiale che forniscono vari livelli di informazioni su chi si trova dove si trova nell'ambiente dell'utente. I modelli girano su unità di elaborazione grafica, note come GPU, che sono alloggiati nella cassa nera che Grayson ha portato a casa di Regan per il test dell'utente con Theo.

Un modello, Per esempio, rileva la posa delle persone nell'ambiente, che fornisce un'idea di dove e quanto sono lontane le persone dall'utente. Un altro analizza il flusso di foto dalla fotocamera ad alta risoluzione per riconoscere le persone e determinare se hanno scelto di rendere noti i loro nomi al sistema. Tutte queste informazioni vengono trasmesse all'utente tramite segnali audio.

Per esempio, se il dispositivo rileva una persona a un metro di distanza sul lato sinistro dell'utente, il sistema emetterà un clic che suona come se provenisse da un metro di distanza sulla sinistra. Se il sistema riconosce il volto della persona, suonerà un suono di urto, e se anche quella persona è nota al sistema, annuncerà il loro nome.

Quando l'utente sente solo un clic ma vuole sapere chi è la persona, un secondo strato sonoro che ricorda lo stiramento di un elastico guida lo sguardo dell'utilizzatore verso il viso della persona. Quando la fotocamera centrale dell'obiettivo si collega al naso della persona, l'utente sente un clic acuto e, se la persona è nota al sistema, il loro nome.

"Mi piace particolarmente la cosa che ti dà l'angolo di sguardo perché non sono mai veramente sicuro di quale sia l'angolo sensato per la tua testa, " disse Bosher, che ha lavorato con il team di Project Tokyo sull'esperienza audio all'inizio del processo di progettazione ed è tornato al laboratorio di Cambridge per discutere della sua esperienza e controllare l'ultima iterazione. "Sarebbe un ottimo strumento per imparare il linguaggio del corpo."

Prototipazione con gli adulti

Poiché il team di Project Tokyo ha sviluppato ed evoluto la tecnologia, i ricercatori invitano regolarmente adulti non vedenti o ipovedenti a testare il sistema e fornire feedback. Per facilitare un'interazione sociale più diretta, Per esempio, il team ha rimosso le lenti dalla parte anteriore dell'HoloLens.

Diversi utenti hanno espresso il desiderio di ottenere in modo discreto le informazioni raccolte dal sistema senza voltare costantemente la testa, che sembrava socialmente imbarazzante. Il feedback ha spinto il team di Project Tokyo a lavorare su funzionalità che aiutano gli utenti a scoprire rapidamente chi li circonda, Per esempio, chiedendo una panoramica e ottenendo una lettura spaziale di tutti i nomi delle persone che hanno dato il permesso di essere riconosciuti dal sistema.

Un'altra funzione sperimentale avvisa l'utente con un segnale acustico spazializzato quando qualcuno li sta guardando, perché le persone con una vista tipica spesso stabiliscono un contatto visivo per iniziare una conversazione. A differenza dell'urto, però, il segnale acustico non è seguito da un nome.

"Usiamo già il nome quando guardi qualcuno, " Grayson ha spiegato a Emily, un tester sulla ventina che ha problemi di vista e ha visitato il laboratorio di Cambridge per conoscere le caratteristiche più recenti. "Ma anche, non dando il nome, potrebbe attirare la tua attenzione rivolgerti a qualcuno che sta cercando di attirare la tua attenzione. E rivolgendosi a loro, scopri il loro nome."

"Sono totalmente d'accordo con questo. È così che reagiscono le persone vedenti. Catturano qualcuno con la coda dell'occhio, o hai quel senso, e vai, 'Cecilia, '", ha detto Emiliano.

L'HoloLens modificato che i ricercatori hanno mostrato a Emily includeva anche una striscia LED fissata sopra la fascia delle fotocamere. Una luce bianca traccia la persona più vicina all'utente e diventa verde quando la persona è stata identificata dall'utente. La funzione consente ai partner di comunicazione o agli astanti di sapere che sono stati visti, rendendo più naturale l'inizio di una conversazione.

La striscia LED offre anche alle persone l'opportunità di uscire dal campo visivo del dispositivo e non essere viste, se così scelgono. "Quando sai che stai per essere visto, puoi anche decidere di non farti vedere, " ha osservato Morrison. "Se sai quando sei visto, sai quando non sei visto."

Uno strumento per insegnare abilità di interazione sociale

Mentre la ricerca tecnica continua, Il progetto Tokyo sta esplorando una strada rivelata nel processo di ricerca:utilizzare la tecnologia per aiutare i bambini non vedenti o ipovedenti a sviluppare capacità di interazione sociale.

Due terzi dei bambini non vedenti o ipovedenti mostrano comportamenti sociali coerenti con i bambini nello spettro autistico, secondo la ricerca accademica. Per esempio, molti bambini non vedenti o ipovedenti appaiono distaccati dai compagni di conversazione, spesso appoggiando la testa su un tavolo con un orecchio scoperto.

Morrison e Cutrell hanno guidato il progetto Tokyo per esplorare se una versione ridotta del sistema potesse essere utilizzata per aiutare i bambini non vedenti o ipovedenti a capire come possono usare i loro corpi per avviare e mantenere interazioni con le persone.

Poiché i ricercatori Microsoft avevano già una relazione con Theo, lo hanno reclutato per aiutare ad adattare il sistema per funzionare con i bambini, come spiegare la tendenza dei bambini a sedersi vicini e, allo stesso tempo, raramente stare fermo.

"Quando annunciava i nomi delle persone, stava cercando di annunciare due nomi contemporaneamente e ho chiesto che venisse cambiato perché, fondamentalmente, era molto, molto difficile sentire il nome di qualcuno, "Ricordò Teo.

I ricercatori hanno anche esplorato come Theo ha utilizzato il sistema. Per esempio, durante un pasto in famiglia ha iniziato a sottilmente, ma ripetutamente, sposta la testa da un lato all'altro per costringere il sistema a leggere i nomi delle persone con cui stava parlando.

"Crediamo che lo stesse usando per supportare la sua attenzione spaziale verso una persona rinfrescando la sua memoria di lavoro di dove si trovava, "Ha detto Morrison. "Questo è qualcosa che non avremmo mai potuto prevedere, ma una strategia molto potente per aiutarlo a mantenere la sua attenzione, e se riesce a mantenere la sua attenzione, può mantenere un argomento di conversazione."

Altri usi della tecnologia erano più in linea con l'ipotesi dei ricercatori che lo avrebbe aiutato a sviluppare abilità per interagire socialmente in un mondo dominato da persone vedenti.

Per esempio, come altri bambini ciechi o ipovedenti, Theo metteva la testa sul tavolo durante le situazioni sociali, un orecchio teso al mondo. I ricercatori hanno giocato una serie di giochi con Theo progettati per evidenziare il potere sociale che potrebbe derivare dall'uso del suo corpo e della sua testa per conversare con persone vedenti.

In un gioco giocato in laboratorio, i ricercatori avevano un problema di gruppo da risolvere. Theo conosceva la risposta. I ricercatori conoscevano solo l'argomento e potevano parlare solo quando Theo li guardava. Quando Theo distolse lo sguardo, dovevano smettere di parlare.

"All'improvviso si è reso conto che può gestire una conversazione, "Ha detto Morrison. "È arrivato a capire il potere di essere in grado di guardare qualcuno, il potere che gli ha conferito in una conversazione e con ciò ha poi abilitato una serie completamente nuova di capacità sociali che non era stato in grado di raggiungere prima."

Oggi, Theo parla raramente con la testa sul tavolo. Sia che indossi o meno l'HoloLens modificato, gira il corpo e il viso verso la persona che vuole coinvolgere. Non è noto se il cambiamento durerà a lungo termine, né i ricercatori sono certi se altri bambini ciechi o ipovedenti risponderanno allo stesso modo.

"Da quello che stiamo vedendo con Theo, abbiamo un buon presentimento a riguardo, perché l'abbiamo visto con lui, ma questo è un caso. E chissà se sarebbe successo comunque, " ha detto Cutrell. "Ecco perché ci stiamo avvicinando a questa fase successiva, che prenderà in considerazione molti più bambini e anche una fascia di età più ampia".

Il futuro di Tokyo

Il più ampio sforzo di ricerca del Project Tokyo continua, includendo nuove direzioni nell'apprendimento automatico che consentono agli utenti di adattare il sistema alle proprie preferenze personali. Sebastian Tschiatschek, un ricercatore di machine learning presso il laboratorio di Cambridge, sta lavorando su funzionalità che consentono agli utenti di mostrare al sistema il tipo e la quantità di informazioni che desiderano ascoltare.

Lo sviluppo della personalizzazione richiede a Tschiatschek di adottare un approccio non convenzionale all'apprendimento automatico.

"Ciò che ci piace fare è formalizzare un problema in qualche forma matematica, " ha detto. "Non puoi farlo così facilmente in questo problema. Gran parte dello sviluppo passa attraverso la sperimentazione di cose, avere questa interazione con le persone, vedere cosa gli piace, non mi piace, e migliorare gli algoritmi."

Il desiderio di personalizzazione, Lui ha spiegato, esiste perché le persone non vedenti o ipovedenti hanno diversi livelli di vista e quindi diverse esigenze di informazione. Cosa c'è di più, gli utenti del sistema si sentono frustrati quando fornisce informazioni che già conoscono.

"Per realizzare la visione del Progetto Tokyo, devi combinare tante cose che non si risolvono da sole, " Disse Tschiatschek.

In definitiva, Project Tokyo mira a dimostrare come creare agenti personali intelligenti che estendano le capacità di tutti gli utenti. Per arrivarci, Morrison, Cutrell e i suoi colleghi continueranno a lavorare con persone non vedenti o ipovedenti, compresi più bambini.

"Quello che abbiamo visto con Theo è piuttosto potente, "Ha detto Morrison nel suo ufficio il giorno dopo il test del sistema a casa di Regan. "Era potente perché aveva il controllo del suo mondo in un modo che non poteva essere prima."

Tra la coorte di bambini in espansione che parteciperà al Progetto Tokyo c'è il figlio di 7 anni di Morrison, Ronan, chi è cieco dalla nascita.

"Penso che lo vedremo con Ronan, " ha aggiunto. "Sono super entusiasta di provare."