Gli informatici hanno recentemente esaminato le prestazioni dei sistemi di dialogo, come assistenti personali e chatbot progettati per interagire con gli esseri umani. Il team ha scoperto che quando questi sistemi si confrontano con dialoghi che includono idiomi o similitudini, le loro prestazioni scendono tra il 10 e il 20 percento.

Il team di ricerca ha anche sviluppato un rimedio parziale. Hanno scritto una semplice scrittura che identifica le frasi figurative e le sostituisce con il loro significato letterale. Di conseguenza, le prestazioni dei sistemi di dialogo sono migliorate fino al 15%.

I ricercatori presenteranno i loro risultati alla Conferenza del 2021 sui metodi empirici nell'elaborazione del linguaggio naturale, che si terrà dal 7 all'11 novembre 2021. 

Le applicazioni per questo lavoro includono non solo assistenti personali, ma anche sistemi progettati per riassumere le informazioni, come il riquadro che riassume i risultati di ricerca nella parte superiore di una pagina di Google. Anche i sistemi automatizzati che devono rispondere a domande, ad esempio quando è necessario pagare una bolletta o fissare un appuntamento, trarrebbero vantaggio da questo lavoro.

"Vogliamo consentire conversazioni più naturali tra le persone e i sistemi di dialogo", ha affermato Harsh Jhamtani, il primo autore del documento.

Jhamtani ha un dottorato di ricerca. studente alla Carnegie Mellon University e attualmente lavora come ricercatore in visita con l'autore senior Taylor Berg-Kirkpatrick, un membro della facoltà del Dipartimento di Informatica e Ingegneria della UC San Diego.

Lo studio è stato ispirato dalle lotte di Jhamtani con il linguaggio figurativo. È madrelingua hindi e parla anche inglese, l'altra lingua ufficiale dell'India. Ma ha dovuto imparare i molti modi di dire e metafore statunitensi usati dai suoi colleghi.

Ad esempio, è andato nel panico quando un collega ha detto che stavano morendo di fame perché in hindi ciò potrebbe indicare un'emergenza medica. Il suo collega ha poi spiegato che significava solo che aveva fame. A quel punto Jhamtani si chiedeva se i sistemi di dialogo artificiale avrebbero avuto lo stesso problema che aveva lui.

Nello studio, i ricercatori hanno testato cinque diversi sistemi progettati per parlare con gli esseri umani, incluso GPT-2, che è addestrato a predire la parola successiva in 40 GB di testo Internet ed è stato sviluppato dalla società di ricerca OpenAI.

I ricercatori hanno prima eseguito i sistemi di dialogo attraverso un set di dati di 13,1.000 conversazioni su argomenti colloquiali come turismo, salute e così via. Hanno quindi estratto le conversazioni che includevano il linguaggio figurativo dal set di dati e hanno eseguito i sistemi solo attraverso quelli. Hanno osservato un calo delle prestazioni che varia dal 10 al 20 percento.

Hanno quindi scritto uno script che ha consentito ai sistemi di controllare rapidamente i dizionari che traducono il linguaggio figurato in discorso letterale. Questo è più veloce ed efficiente rispetto ai sistemi di riqualificazione per apprendere il contenuto completo di questi dizionari. I ricercatori hanno osservato che le prestazioni sono migliorate fino al 15%.

I ricercatori dovevano ancora fare affidamento in parte su osservatori umani per identificare il linguaggio figurativo all'interno del set di dati, prima che il testo potesse essere convertito. Sono necessari ulteriori studi in questo settore.

Ci vorranno diverse iterazioni prima che gli algoritmi sviluppati dai ricercatori siano pronti per l'implementazione. Ad esempio, hanno scoperto che in alcuni rari casi, la sostituzione del linguaggio figurativo con il linguaggio letterale ha distorto la grammatica di una frase al punto che i sistemi di dialogo non potevano più capire.