Ci siamo abituati ai nostri smartwatch e smartphone che percepiscono cosa stanno facendo i nostri corpi, sia camminare, guidare o dormire. Ma per quanto riguarda le nostre mani? Si scopre che gli smartwatch, con qualche ritocco, può rilevare un numero sorprendente di cose che stanno facendo le tue mani.

I ricercatori dello Human-Computer Interaction Institute (HCII) della Carnegie Mellon University hanno utilizzato uno smartwatch standard per capire quando chi lo indossa stava digitando su una tastiera, lavare i piatti, accarezzare un cane, versando da una brocca o tagliando con le forbici.

Apportando alcune modifiche al sistema operativo dell'orologio, sono stati in grado di utilizzare il suo accelerometro per riconoscere i movimenti delle mani e, in alcuni casi, suoni bioacustici associati a 25 diverse attività manuali con una precisione di circa il 95%. E quelle 25 attività sono solo l'inizio di ciò che potrebbe essere possibile rilevare.

"Noi immaginiamo gli smartwatch come una testa di ponte unica sul corpo per catturare ricche, attività quotidiane, " ha detto Chris Harrison, professore assistente presso l'HCII e direttore del Future Interfaces Group. "Un'ampia varietà di app potrebbe essere resa più intelligente e più sensibile al contesto se i nostri dispositivi conoscessero l'attività del nostro corpo e delle nostre mani".

Harrison e HCII Ph.D. lo studente Gierad Laput presenterà le sue scoperte su questa nuova capacità di rilevamento al CHI 2019, la conferenza dell'Associazione per le macchine informatiche sui fattori umani nei sistemi informatici, 4-9 maggio a Glasgow, Scozia. È disponibile un video.

Proprio come gli smartphone ora possono bloccare i messaggi di testo mentre un utente è alla guida, dispositivi futuri che rilevano l'attività della mano potrebbero imparare a non interrompere qualcuno mentre sta facendo un determinato lavoro con le mani, come tagliare le verdure o utilizzare apparecchiature elettriche, disse Laput. Il rilevamento dell'attività della mano si presta anche ad app relative alla salute:attività di monitoraggio come lavarsi i denti, lavarsi le mani o fumare una sigaretta.

Il rilevamento della mano potrebbe essere utilizzato anche da app che forniscono feedback agli utenti che stanno imparando una nuova abilità, come suonare uno strumento musicale, o in corso di riabilitazione fisica. Le app potrebbero avvisare gli utenti delle abitudini di digitazione che potrebbero portare a lesioni da sforzo ripetitivo (RSI), o valutare l'insorgenza di disabilità motorie come quelle associate al morbo di Parkinson.

Laput e Harrison hanno iniziato la loro esplorazione del rilevamento dell'attività della mano reclutando 50 persone per indossare smartwatch appositamente programmati per quasi 1, 000 ore durante le loro attività quotidiane. Periodicamente, gli orologi registravano il movimento delle lancette, orientamento della mano e informazioni bioacustiche, e poi suggerisci a chi lo indossa di descrivere l'attività della mano:rasatura, applausi, graffiare, mettere il rossetto, ecc. Più di 80 attività manuali sono state etichettate in questo modo, fornendo un set di dati univoco.

Per adesso, gli utenti devono indossare lo smartwatch sul braccio attivo, piuttosto che il braccio passivo (non dominante) in cui le persone in genere indossano orologi da polso, affinché il sistema funzioni. Esperimenti futuri esploreranno quali eventi possono essere rilevati utilizzando il braccio passivo.

"Le 25 attività manuali che abbiamo valutato sono una piccola parte dei modi in cui coinvolgiamo le braccia e le mani nel mondo reale, " Ha detto Laput. Il lavoro futuro probabilmente si concentrerà su classi di attività, quelle associate ad attività specifiche come smettere di fumare, assistenza agli anziani, o digitando e RSI.