Gli esseri umani sono in grado di "leggere" il linguaggio del corpo degli altri alla ricerca di indizi sul loro stato emotivo. Ad esempio, notando che un amico è nervoso per il suo piede che batte, o che una persona amata che sta in piedi si sente sicura. Ora, un team di ricercatori della Penn State sta valutando se i computer possono essere addestrati a fare lo stesso.

Il team sta studiando se le moderne tecniche di visione artificiale possano eguagliare la capacità cognitiva degli umani nel riconoscere le espressioni corporee nel mondo reale, situazioni non vincolate. Se è così, queste capacità potrebbero consentire un gran numero di applicazioni innovative in aree tra cui la gestione e il recupero delle informazioni, sicurezza pubblica, assistenza al paziente e social media, hanno detto i ricercatori.

"Computer e robot in futuro interagiranno con più persone, " ha detto James Wang, professore al College of Information Sciences and Technology (IST) e membro del gruppo di ricerca. "I computer di oggi, in larga misura, semplicemente eseguire gli ordini. Nel futuro, robot e computer agiranno più come partner per gli umani e lavoreranno insieme. E per farlo, avranno bisogno di capire le loro emozioni."

Il dottorando del College of IST Yu Luo, lavorando con Wang e altri docenti del team, elaborato un gran numero di filmati e costruito un set di dati di oltre 13, 000 personaggi umani con quasi 10, 000 movimenti del corpo. Secondo i ricercatori, studi hanno dimostrato che il corpo umano può essere più diagnostico del viso nel riconoscere le emozioni umane.

"Il termine in psicologia si chiama 'socio-editing, '", ha detto Luo. "Le persone possono usarlo per manipolare la loro espressione facciale, ma è molto più difficile controllare il loro corpo. Il linguaggio del corpo proietta emozioni diverse".

Prossimo, i ricercatori hanno utilizzato metodi di visione artificiale per individuare e tracciare ogni persona attraverso diversi fotogrammi della scena, infine contrassegnando ogni individuo in una clip con un numero ID univoco. Finalmente, i ricercatori hanno utilizzato annotatori umani in crowdsourcing per rivedere i filmati e identificare l'emozione di ogni individuo presente in una delle 26 emozioni categoriche, cioè., la pace, affetto, stima, anticipazione, Fidanzamento, fiducia, felicità, piacere, eccitazione, sorpresa, simpatia, confusione, disconnessione, fatica, imbarazzo, desiderio, disapprovazione, avversione, fastidio, rabbia, sensibilità, tristezza, inquietudine, paura, dolore e sofferenza, così come nelle tre dimensioni dell'emozione, cioè., valenza, eccitazione e dominanza.

"Abbiamo scoperto che interpretare le emozioni in base al linguaggio del corpo è complesso, " ha detto Wang. "Ci sono molte sottigliezze che stiamo cercando di capire. Anche per gli umani ci sono molte incongruenze.

"Le persone non sono d'accordo quando si tratta di interpretare le emozioni, " aggiunse. "Potresti pensare che una persona sia felice, Potrei pensare che siano eccitati, e forse entrambi abbiamo ragione. Spesso non c'è verità fondamentale, il che rende la modellazione basata sui dati estremamente impegnativa."

Una volta che i ricercatori hanno costruito il set di dati e applicato le annotazioni emotive percepite dall'uomo per ogni individuo, hanno utilizzato tecniche statistiche all'avanguardia per convalidare i propri meccanismi di controllo della qualità e hanno analizzato a fondo il livello di consenso delle etichette dei dati verificati. Ulteriore, hanno costruito sistemi automatizzati di riconoscimento delle emozioni da scheletri umani e sequenze di immagini. Nello specifico, tecniche di apprendimento profondo e artigianali, Le funzionalità basate sull'analisi del movimento di Laban hanno dimostrato l'efficacia per l'attività.

Hanno scoperto che il modello al computer poteva identificare l'eccitazione, o quanto energizzante si sente l'esperienza, con un alto livello di precisione. Però, i ricercatori hanno anche scoperto che gli esseri umani sono migliori dei computer nell'identificare la valenza:quanto negativa o positiva si sente l'esperienza.

I risultati attuali sono stati resi possibili da una borsa di studio del College of IST e la ricerca in corso è supportata da un recente premio dell'Amazon Research Award Program. Il team ha anche recentemente ricevuto un progetto di pianificazione dalla National Science Foundation per costruire una comunità per sviluppare l'infrastruttura di dati da utilizzare in questa ricerca.

Wang e Luo hanno lavorato con altri ricercatori della Penn State sul progetto, compreso Jianbo Ye, ex studente di dottorato e compagno di laboratorio presso il College of IST; Reginald Adams e Michelle Newman, professori di psicologia; e Jia Li, professore di statistica. Recentemente è stata depositata una domanda di brevetto provvisoria, e l'opera sarà pubblicata in un prossimo numero del Rivista internazionale di visione artificiale .

"La barriera d'ingresso per questa linea di ricerca è piuttosto alta, " ha detto Wang. "Devi usare la conoscenza della psicologia, devi sviluppare e integrare metodi di data science, e devi usare modelli statistici per raccogliere correttamente i dati affettivi. Ciò dimostra che siamo in prima linea nelle scienze e nella tecnologia in questo importante sottodominio delle informazioni".