Il Santo Graal dell'intelligenza artificiale è una macchina che comprende veramente il linguaggio umano e interpreta il significato da complessi, passaggi sfumati. Quando il computer Watson di IBM ha battuto il famoso "Jeopardy!" campione Ken Jennings nel 2011, sembrava che quel traguardo fosse stato raggiunto. Però, chiunque abbia provato a conversare con l'assistente virtuale Siri sa che i computer hanno molta strada da fare per comprendere veramente il linguaggio umano. Per migliorare la comprensione del linguaggio, i sistemi informatici devono allenarsi utilizzando domande che li sfidano e riflettono la piena complessità del linguaggio umano.

I ricercatori dell'Università del Maryland hanno scoperto come creare in modo affidabile tali domande attraverso una collaborazione uomo-computer, sviluppare un set di dati di più di 1, 200 domande che, mentre è facile per le persone rispondere, oggi i migliori sistemi di risposta per computer. Il sistema che impara a padroneggiare queste domande avrà una migliore comprensione del linguaggio rispetto a qualsiasi sistema attualmente esistente. Il lavoro è descritto in un articolo pubblicato nel numero 2019 della rivista Operazioni dell'Associazione per la Linguistica Computazionale .

"La maggior parte dei sistemi informatici che rispondono alle domande non spiega perché rispondono in quel modo, ma il nostro lavoro ci aiuta a vedere ciò che i computer capiscono effettivamente, " ha detto Jordan Boyd-Graber, professore associato di informatica all'UMD e autore senior dell'articolo. "Inoltre, abbiamo prodotto un set di dati da testare su computer che rivelerà se un sistema di linguaggio informatico sta effettivamente leggendo e facendo lo stesso tipo di elaborazione che gli umani sono in grado di fare".

La maggior parte dei lavori attuali per migliorare i programmi di risposta alle domande utilizza autori umani o computer per generare domande. La sfida intrinseca in questi approcci è che quando gli umani scrivono domande, non sanno quali elementi specifici della loro domanda confondono il computer. Quando i computer scrivono le domande, o scrivono formule, riempire le domande in bianco o commettere errori, a volte generando sciocchezze.

Per sviluppare il loro nuovo approccio di esseri umani e computer che lavorano insieme per generare domande, Boyd-Graber e il suo team hanno creato un'interfaccia per computer che rivela ciò che un computer "pensa" mentre uno scrittore umano digita una domanda. Lo scrittore può quindi modificare la sua domanda per sfruttare le debolezze del computer.

Nella nuova interfaccia, un autore umano digita una domanda mentre le ipotesi del computer vengono visualizzate in ordine ordinato sullo schermo, e vengono evidenziate le parole che hanno portato il computer a fare le sue ipotesi.

Per esempio, se l'autore scrive "Quale Variazioni su un tema di Haydn del compositore è stato ispirato da Karl Ferdinand Pohl?" e il sistema risponde correttamente "Johannes Brahms, " l'interfaccia evidenzia le parole "Ferdinand Pohl" per mostrare che questa frase ha portato alla risposta. Usando queste informazioni, l'autore può modificare la domanda per renderla più difficile per il computer senza alterare il significato della domanda. In questo esempio, l'autore sostituì il nome dell'uomo che ispirò Brahms, "Karl Ferdinand Pohl, " con una descrizione del suo lavoro, "l'archivista del Musikverein di Vienna, " e il computer non è stato in grado di rispondere correttamente. Tuttavia, i giocatori esperti di giochi a quiz umani potrebbero comunque facilmente rispondere correttamente alla domanda modificata.

Lavorando insieme, esseri umani e computer sviluppati in modo affidabile 1, 213 domande complicate al computer che i ricercatori hanno testato durante una competizione che vedeva giocatori umani esperti, dalle squadre di quiz delle scuole superiori a "Jeopardy!" campioni, contro i computer. Anche la squadra umana più debole ha sconfitto il sistema informatico più forte.

"Per tre o quattro anni, le persone sono consapevoli che i sistemi informatici di risposta alle domande sono molto fragili e possono essere ingannati molto facilmente, "ha detto Shi Feng, uno studente laureato in informatica UMD e coautore del documento. "Ma questo è il primo documento di cui siamo consapevoli che utilizza effettivamente una macchina per aiutare gli umani a rompere il modello stesso".

I ricercatori affermano che queste domande serviranno non solo come nuovo set di dati per gli scienziati informatici per capire meglio dove l'elaborazione del linguaggio naturale fallisce, ma anche come set di dati di addestramento per lo sviluppo di algoritmi di apprendimento automatico migliorati. Le domande hanno rivelato sei diversi fenomeni linguistici che costantemente ostacolano i computer.

Questi sei fenomeni si dividono in due categorie. Nella prima categoria ci sono i fenomeni linguistici:parafrasi (come dire "salto da un precipizio" invece di "salto da un precipizio"), linguaggio distraente o contesti inaspettati (come un riferimento a una figura politica che appare in un indizio su qualcosa di estraneo alla politica). La seconda categoria comprende le capacità di ragionamento:indizi che richiedono logica e calcolo, triangolazione mentale di elementi in una domanda, o mettendo insieme più passaggi per formare una conclusione.

"Gli esseri umani sono in grado di generalizzare di più e di vedere connessioni più profonde, " Boyd-Graber ha detto. "Non hanno la memoria illimitata dei computer, ma hanno ancora il vantaggio di poter vedere la foresta per gli alberi. Catalogare i problemi dei computer ci aiuta a capire i problemi che dobbiamo affrontare, in modo che possiamo effettivamente fare in modo che i computer inizino a vedere la foresta attraverso gli alberi e a rispondere alle domande nel modo in cui fanno gli umani".

C'è ancora molta strada da fare prima che ciò accada, ha aggiunto Boyd-Graber, che ha anche co-nomine presso l'Università del Maryland Institute for Advanced Computer Studies (UMIACS) e il College of Information Studies and Language Science Center dell'UMD. Ma questo lavoro fornisce un nuovo entusiasmante strumento per aiutare gli scienziati informatici a raggiungere questo obiettivo.

"Questo documento sta delineando un'agenda di ricerca per i prossimi anni in modo che possiamo effettivamente far sì che i computer rispondano bene alle domande, " Egli ha detto.