Anche se non sono necessari per produrre i suoni specifici, parti dei volti di chi parla cinese mandarino, le sopracciglia e le labbra, imitano il tono ascendente e discendente che distingue una parola scritta esattamente la stessa da un'altra.

In altre parole, le sopracciglia degli oratori seguono i suoni emessi dalla loro gola.

Questa è la scoperta di un nuovo studio co-scritto da Allard Jongman e Joan Sereno, Professori di linguistica dell'Università del Kansas.

Dicono che implichi la necessità di studiare se questi sottili movimenti facciali aiutano gli ascoltatori a percepire ciò che gli oratori stanno cercando di trasmettere.

Insieme ai colleghi universitari canadesi Saurabh Garg, Ghassan Hamarneh e Yue Wang, Jongman e Sereno hanno scritto "L'analisi della visione del computer rivela che i movimenti facciali effettuati durante la produzione del tono mandarino si allineano con le traiettorie dell'altezza" nell'edizione di ottobre della rivista Comunicazione vocale .

Dicono che sia la prima volta che l'associazione di questi movimenti facciali con il tono vocale è stata identificata e quantificata.

In una recente intervista, Jongman ha fornito l'esempio della parola cinese che sarebbe stata scritta foneticamente "ma" in inglese. Come molti, se non la maggior parte, parole in mandarino, può essere pronunciato in quattro modi:livello, in aumento, immersione o caduta. Dipendente, poi, all'intonazione, la parola può significare "madre, " "canapa, ""cavallo" o "sgridare".

"Devi farlo bene, " ha detto Jongman. "Altrimenti, stai chiamando tua madre un cavallo."

"Ci sono molte lingue che hanno questi tipi di tono associati a parole diverse, " ha detto Sereno.

"La maggior parte degli oratori nel mondo sono parlanti della lingua dei toni, " ha detto Jongman. "E tutto deriva dalle variazioni nel tasso di vibrazione delle corde vocali".

Indicando la sua gola, Jongman ha detto, "Al tono alto, le corde vocali quaggiù vibrano molto velocemente. E quando hai un tono basso, vibrano molto più lentamente. Quindi tutto deriva dall'azione quaggiù".

"Tecnicamente, "Sereno ha detto indicando il suo viso, "non dovrebbe esserci nulla quassù che distingua 'ma' con un tono alto rispetto a 'ma' con un tono discendente".

E ancora, il loro studio ha trovato, c'è. Le strutture facciali delle persone imitano le intonazioni ascendente/discendente che applicano alle loro parole.

"Alcune di queste associazioni tra movimento facciale e intonazione o tono erano state provvisoriamente stabilite, " ha detto Jongman. "Abbiamo fatto un passo avanti e abbiamo detto, "OK, diamo un'occhiata sistematica a questo.""

I ricercatori hanno registrato i volti dei parlanti cinesi mentre parlavano, ha quindi sottoposto i file ad analisi al computer per determinare la relazione tra intonazione e movimento facciale. Jongman ha detto che è un grande miglioramento rispetto ai metodi precedenti.

"Nel passato, " Egli ha detto, "le persone hanno usato quella che viene chiamata analisi della traccia ottica. Incolli un paio di sensori che emettono luce sul viso, e poi segui il movimento di quei sensori. E a volte incolli persino cose sulle labbra. Quindi sei seduto lì con questi sensori, e ti viene chiesto di parlare. Voglio dire, quanto è naturale? Ciò limita ciò che le persone farebbero in circostanze normali. Numero due, devi avere un'idea preconcetta di quali saranno le regioni importanti sul viso, perché non puoi leggere nulla su cui non hai messo un sensore.

"Questo è un grande vantaggio del nostro approccio. Abbiamo deciso su queste due caratteristiche ora. Ma se in seguito qualche altro gruppo scopre che il tuo lobo dell'orecchio è davvero importante, possiamo tornare alle nostre registrazioni e analizzarlo."

Ora che hanno dimostrato che i volti di chi parla mandarino seguono la loro intonazione, Jongman e Sereno hanno affermato che il prossimo passo sarà determinare fino a che punto questi segnali visivi aiutano l'ascoltatore:il loro "significato linguistico".

"Genereremo un volto al computer e poi manipoleremo quelle caratteristiche che abbiamo appena trovato e vedremo se fa la differenza, " ha detto Jongman. "Gli ascoltatori rispondono?"

Proprio come le persone con problemi di udito possono imparare a leggere le labbra, le persone potrebbero essere in grado di trarre beneficio dai segnali facciali più sottili, il nuovo studio ha trovato.

"Se hai problemi di udito, e forse possiamo esagerare un po' alcuni di questi segnali o insegnare alle persone a esagerarli, o anche nell'apprendimento delle lingue farlo, che potrebbe aiutare molto, " ha detto Jongman.

Sereno ha detto che può immaginare uno scenario in cui uno studente di lingue viene aiutato guardando i segnali facciali dei madrelingua.

"La manipolazione visiva potrebbe aiutare a identificare che, " disse. "Poi quando si trovano in una situazione naturale, quando c'è forse meno esagerazione di quei segnali, sono ancora in grado di identificarli molto meglio."