Identificare la risposta corretta a una domanda spesso comporta la raccolta di grandi quantità di informazioni e la comprensione di idee complesse. In un recente studio, un team di ricercatori della New York University (NYU) e di Facebook AI Research (FAIR) ha studiato la possibilità di scoprire automaticamente le proprietà alla base di problemi come rispondere alle domande esaminando come i modelli di apprendimento automatico imparano a risolvere compiti correlati.

Nella loro carta, pre-pubblicato su arXiv e pronto per essere presentato a EMNLP 2019, hanno introdotto un approccio per raccogliere le prove a sostegno più forti per una data risposta a una domanda. Hanno applicato specificamente questo metodo alle attività che implicano la risposta a domande basate su passaggi (QA), che comporta l'analisi di grandi quantità di testo per identificare la migliore risposta a una determinata domanda.

"Quando facciamo una domanda, spesso siamo interessati non solo alla risposta, ma anche perché quella risposta è corretta, quali prove supportano quella risposta, "Ethan Perez, uno dei ricercatori che ha condotto lo studio, ha detto a TechXplore. "Sfortunatamente, trovare prove può richiedere molto tempo se richiede la lettura di molti articoli, documenti di ricerca, ecc. Il nostro obiettivo era sfruttare l'apprendimento automatico per trovare le prove automaticamente".

Primo, Perez e i suoi colleghi hanno addestrato un modello di QA machine learning progettato per rispondere alle domande degli utenti su un ampio database di testo che includeva articoli di notizie, biografie, libri e altri contenuti online. Successivamente, hanno usato "agenti di prova" per identificare frasi che avrebbero "convinto" il modello di apprendimento automatico a rispondere a una particolare query con una risposta specifica, essenzialmente raccogliendo prove per la risposta.

"Il nostro sistema può trovare prove per qualsiasi risposta, non solo la risposta che il modello di domande e risposte ritiene corretta, poiché il lavoro precedente si è concentrato su, "Perez ha detto. "Così, il nostro approccio può sfruttare un modello di domande e risposte per trovare prove utili, anche se il modello di domande e risposte prevede la risposta sbagliata o se non c'è una risposta giusta chiara."

Nei loro test, Perez e i suoi colleghi hanno osservato che i modelli di apprendimento automatico in genere selezionano prove da passaggi di testo che si generalizzano bene nel convincere altri modelli e persino le persone. In altre parole, i loro risultati suggeriscono che i modelli formulano giudizi basati su prove simili a quelle generalmente considerate dagli esseri umani, e in una certa misura, è persino possibile sondare il modo di pensare delle persone influenzando il modo in cui i modelli considerano le prove.

I ricercatori hanno anche scoperto che modelli di controllo della qualità più accurati tendono a trovare prove di supporto migliori, almeno secondo un gruppo di partecipanti umani intervistati. Le prestazioni e le capacità dei modelli di apprendimento automatico potrebbero quindi essere fortemente associate alla loro efficacia nella raccolta di prove a sostegno delle loro previsioni.

"Dal punto di vista pratico, trovare prove è utile, " Perez ha detto. "Le persone possono rispondere a domande su lunghi articoli semplicemente leggendo le prove del nostro sistema per ogni possibile risposta. Perciò, generalmente, trovando le prove automaticamente, un sistema come il nostro può potenzialmente aiutare le persone a sviluppare opinioni informate più rapidamente."

Perez e i suoi colleghi hanno scoperto che il loro approccio alla raccolta delle prove ha migliorato sostanzialmente la risposta alle domande, consentendo agli umani di rispondere correttamente alle domande basate su circa il 20 percento di un passaggio di testo, che è stato selezionato da un agente di apprendimento automatico. Inoltre, il loro approccio ha consentito ai modelli di controllo della qualità di identificare le risposte alle domande in modo più efficace, generalizzando meglio a passaggi più lunghi e domande più difficili.

Nel futuro, l'approccio ideato da questo team di ricercatori e le osservazioni raccolte potrebbero favorire lo sviluppo di strumenti di apprendimento automatico della qualità più efficaci e affidabili. Più recentemente, Perez ha anche scritto un post sul blog su Medium che spiega le idee presentate nel documento in modo più approfondito.

"Trovare prove è un primo passo verso modelli che discutono, " Ha detto Perez. "Rispetto alla ricerca di prove, il dibattito è un modo ancora più espressivo per sostenere una posizione. Il dibattito richiede non solo la citazione di prove esterne, ma anche la costruzione delle proprie argomentazioni, la generazione di nuovo testo. Sono interessato a modelli di formazione per generare nuovi argomenti, assicurando al contempo che il testo generato sia vero e di fatto corretto."

© 2019 Scienza X Rete