I ricercatori della Carnegie Mellon University hanno sviluppato un metodo che consente ai dispositivi intelligenti di capire dove si trovano e cosa stanno facendo le persone intorno a loro analizzando i suoni dai loro microfoni Credito:Carnegie Mellon University
I dispositivi intelligenti possono sembrare stupidi se non capiscono dove si trovano o cosa stanno facendo le persone intorno a loro. I ricercatori della Carnegie Mellon University affermano che questa consapevolezza ambientale può essere migliorata da metodi complementari per l'analisi del suono e delle vibrazioni.
"Un altoparlante intelligente seduto sul piano di lavoro della cucina non riesce a capire se si trova in una cucina, figuriamoci sapere cosa fa una persona in cucina, " ha detto Chris Harrison, assistente professore presso l'Istituto di interazione uomo-macchina (HCII) della CMU. "Ma se questi dispositivi capissero cosa stava succedendo intorno a loro, potrebbero essere molto più utili."
Harrison e i colleghi del Future Interfaces Group riferiranno oggi al Simposio sulla tecnologia e il software per l'interfaccia utente dell'Associazione per i macchinari informatici a Berlino su due approcci a questo problema:uno che utilizza i sensori più onnipresenti, il microfono, e un altro che impiega una versione moderna della tecnologia di intercettazione utilizzata dal KGB negli anni '50.
Nel primo caso, i ricercatori hanno cercato di sviluppare un sistema di riconoscimento delle attività basato sul suono, chiamato Ubicoustics. Questo sistema utilizzerebbe i microfoni esistenti negli altoparlanti intelligenti, smartphone e smartwatch, consentendo loro di riconoscere i suoni associati ai luoghi, come camere da letto, cucine, laboratori, ingressi e uffici.
I ricercatori della Carnegie Mellon University stanno usando la vibrometria laser - un metodo simile a quello usato una volta dal KGB per le intercettazioni - per monitorare le vibrazioni e i movimenti degli oggetti, consentire ai dispositivi intelligenti di essere consapevoli dell'attività umana. Credito:Carnegie Mellon University
"L'idea principale qui è quella di sfruttare le librerie di effetti sonori professionali tipicamente utilizzate nell'industria dell'intrattenimento, " ha detto Gierad Laput, un dottorato di ricerca studente in HCII. "Sono puliti, adeguatamente etichettato, ben segmentato e diversificato. Più, possiamo trasformarli e proiettarli in centinaia di varianti diverse, creando volumi di dati perfetti per l'addestramento di modelli di deep learning.
"Questo sistema potrebbe essere implementato su un dispositivo esistente come aggiornamento software e funzionare immediatamente, " Ha aggiunto.
Il sistema plug-and-play potrebbe funzionare in qualsiasi ambiente. Potrebbe avvisare l'utente quando qualcuno bussa alla porta d'ingresso, ad esempio, o passare al passaggio successivo di una ricetta quando rileva un'attività, come ad esempio l'esecuzione di un frullatore o tritare.
I ricercatori, compreso Karan Ahuja, un dottorato di ricerca studente in HCII, e Mayan Goel, professore assistente presso l'Istituto per la ricerca sul software, è iniziato con un modello esistente per etichettare i suoni e l'ha messo a punto utilizzando gli effetti sonori delle librerie professionali, come elettrodomestici da cucina, utensili elettrici, asciugacapelli, tastiere e altri suoni specifici del contesto. Hanno poi alterato sinteticamente i suoni per creare centinaia di variazioni.
Laput ha affermato che riconoscere i suoni e collocarli nel contesto corretto è impegnativo, in parte perché più suoni sono spesso presenti e possono interferire tra loro. Nei loro test, L'ubicoustica aveva un'accuratezza di circa l'80%, competitiva con l'accuratezza umana, ma non ancora abbastanza buono per supportare le applicazioni utente. Microfoni migliori, frequenze di campionamento più elevate e diverse architetture del modello potrebbero aumentare la precisione con ulteriori ricerche.
Un video che spiega l'Ubicoustics:
In un documento separato, HCII Ph.D. studente Yang Zhang, insieme a Laput e Harrison, descrivere ciò che chiamano Vibrosight, in grado di rilevare le vibrazioni in punti specifici di una stanza utilizzando la vibrometria laser. È simile ai dispositivi basati sulla luce che il KGB usava una volta per rilevare le vibrazioni su superfici riflettenti come finestre, permettendo loro di ascoltare le conversazioni che hanno generato le vibrazioni.
"La cosa bella della vibrazione è che è un sottoprodotto della maggior parte delle attività umane, " disse Zhang. Correndo su un tapis roulant, battere un martello o digitare su una tastiera creano vibrazioni che possono essere rilevate a distanza. "L'altra cosa interessante è che le vibrazioni sono localizzate su una superficie, " ha aggiunto. A differenza dei microfoni, le vibrazioni di un'attività non interferiscono con le vibrazioni di un'altra. E a differenza di microfoni e telecamere, il monitoraggio delle vibrazioni in luoghi specifici rende questa tecnica discreta e preserva la privacy.
Questo metodo richiede un sensore speciale, un laser a bassa potenza combinato con un motore, specchio orientabile. I ricercatori hanno costruito il loro dispositivo sperimentale per circa 80 dollari. Le etichette riflettenti, lo stesso materiale utilizzato per rendere più visibili di notte biciclette e pedoni, vengono applicate agli oggetti da monitorare. Il sensore può essere montato in un angolo di una stanza e può monitorare le vibrazioni per più oggetti.
Zhang ha affermato che il sensore è in grado di rilevare se un dispositivo è acceso o spento con una precisione del 98% e identificare il dispositivo con una precisione del 92%, in base al profilo di vibrazione dell'oggetto. Può anche rilevare il movimento, come quello di una sedia quando qualcuno ci si siede, e sa quando qualcuno ha bloccato la vista del sensore di un tag, come quando qualcuno sta usando un lavandino o un lavaocchi.
Un video che spiega Vibrosight:
