Credito:CC0 Dominio pubblico
Sei più intelligente di un modello di machine learning? Scopriamolo. Scegli la risposta che contraddice la seguente premessa:
Bob ha una sorella di nome Sarah.
Se hai scelto C, Congratulazioni!
Esempi come questo possono sembrare semplici ma sembrano essere un buon indicatore della comprensione del linguaggio da parte di una macchina. Il test si chiama Natural Language Inference ed è spesso usato per valutare la capacità di un modello di comprendere una relazione tra due testi. Le possibili relazioni sono il vincolo (come nell'esempio A), neutro (B), e contraddizione (C).
Set di dati con centinaia di migliaia di queste domande, generato dall'uomo, hanno portato a un'esplosione di nuove architetture di rete neurale per risolvere l'inferenza del linguaggio naturale. Negli anni, queste reti neurali sono migliorate sempre di più. I modelli all'avanguardia di oggi di solito ottengono l'equivalente di un B+ in questi test. Gli umani di solito ottengono un punteggio A o A-.
Ma i ricercatori hanno scoperto di recente che i modelli di apprendimento automatico funzionano ancora molto bene quando ricevono solo la risposta, detta anche ipotesi, senza la premessa originale. Per esempio, un modello dato solo "Bob non ha una sorella" indovinerà che questa è un'ipotesi contraddittoria, anche se non viene data la premessa "Bob ha una sorella di nome Sarah".
Come risulta, questi set di dati sono pieni di pregiudizi umani. Quando gli è stato chiesto di formulare frasi contraddittorie, gli umani spesso usano negazioni, come "non" o "nessuno". Però, fare affidamento su questi indizi potrebbe portare i modelli di apprendimento automatico anche a etichettare erroneamente "Bob non possiede un'auto" una contraddizione.
"Questi modelli non stanno imparando a capire la relazione tra i testi, stanno imparando a catturare le idiosincrasie umane, " disse Yonatan Belinkov, primo autore dell'articolo e Postdoctoral Fellow in Computer Science presso la Harvard John A. Paulson School of Engineering and Applied Sciences (SEAS).
Per combattere questo, Belinkov e colleghi hanno sviluppato un nuovo metodo per costruire modelli di apprendimento automatico che riduce la dipendenza del modello da questi pregiudizi.
Il team presenta la propria ricerca al 57esimo incontro annuale dell'Associazione per la linguistica computazionale (ACL) a Firenze, Italia dal 28 luglio al 2 agosto.
È comune modellare il tipico test di inferenza del linguaggio naturale come un singolo flusso:la premessa e l'ipotesi vengono entrambe elaborate insieme e inviate a un classificatore che prevede la contraddizione, neutrale o vincolante.
Il team ha aggiunto un secondo stream al modello, questo con solo l'ipotesi. Il modello impara a eseguire l'inferenza del linguaggio naturale con entrambi i flussi contemporaneamente, ma se funziona bene dal lato delle sole ipotesi, è penalizzato. Questo approccio incoraggia il modello a concentrarsi maggiormente sul lato delle premesse e ad astenersi dall'apprendere i pregiudizi che hanno portato a prestazioni di sole ipotesi di successo.
"La nostra speranza è che con questo metodo, il modello non si concentra solo su parole di parte, come "no" o "non lo fa, "ma piuttosto ha imparato qualcosa di più profondo, " ha detto Stuart Shieber, James O. Welch, Jr. e Virginia B. Welch Professore di Informatica presso SEAS e co-autore del documento.
Quei pregiudizi, però, possono anche essere importanti indizi di contesto per risolvere il problema, quindi è fondamentale non svalutarli troppo.
"C'è una linea sottile tra pregiudizi e utilità, " ha detto Gabriel Grand, CS '18, che ha lavorato al progetto come parte della sua tesi di laurea. "Raggiungere le massime prestazioni significa dimenticare molte ipotesi, ma non tutte."
(tesi di Grand, "Learning Interpretable and Bias-Free Models for Visual Question Answering" ha ricevuto il premio Thomas Temple Hoopes 2018-2019 per l'eccezionale lavoro o ricerca accademica.)
Eliminando molti di questi presupposti, il modello a due flussi, ovviamente, ha ottenuto risultati leggermente peggiori sui dati su cui è stato addestrato rispetto al modello che non è stato penalizzato per aver fatto affidamento su pregiudizi. Però, quando testato su nuovi set di dati, con pregiudizi diversi, il modello ha funzionato significativamente meglio.
"Anche se il modello è peggiorato di qualche punto percentuale sul proprio set di dati, ha imparato a non fare altrettanto affidamento sui pregiudizi. Così, questo metodo produce un modello che funziona più in generale ed è più robusto, " disse Shieber.
Questo metodo può essere applicato a una serie di attività di intelligenza artificiale che richiedono l'identificazione di relazioni più profonde, come la risposta visiva alle domande, comprensione della lettura, e altri compiti del linguaggio naturale, evitando pregiudizi superficiali.
