I ricercatori del MIT e del Qatar Computing Research Institute (QCRI) stanno esaminando i sistemi di apprendimento automatico noti come reti neurali.

In uno studio che fa luce su come questi sistemi riescano a tradurre il testo da una lingua all'altra, i ricercatori hanno sviluppato un metodo che individua i singoli nodi, o "neuroni, " nelle reti che catturano caratteristiche linguistiche specifiche.

Le reti neurali imparano a eseguire attività computazionali elaborando enormi insiemi di dati di addestramento. Nella traduzione automatica, una rete scricchiola i dati linguistici annotati dagli esseri umani, e presumibilmente "apprende" caratteristiche linguistiche, come la morfologia delle parole, Struttura della frase, e significato delle parole. Dato il nuovo testo, queste reti abbinano queste caratteristiche apprese da una lingua all'altra, e produrre una traduzione.

Ma, in allenamento, queste reti fondamentalmente regolano le impostazioni e i valori interni in modi che i creatori non possono interpretare. Per la traduzione automatica, ciò significa che i creatori non sanno necessariamente quali caratteristiche linguistiche cattura la rete.

In un documento presentato alla conferenza dell'Associazione per l'avanzamento dell'intelligenza artificiale di questa settimana, i ricercatori descrivono un metodo che identifica quali neuroni sono più attivi quando si classificano caratteristiche linguistiche specifiche. Hanno anche progettato un toolkit per consentire agli utenti di analizzare e manipolare il modo in cui le loro reti traducono il testo per vari scopi, come compensare eventuali errori di classificazione nei dati di addestramento.

Nella loro carta, i ricercatori individuano i neuroni che vengono utilizzati per classificare, ad esempio, parole di genere, tempi passati e presenti, numeri all'inizio o al centro delle frasi, e parole plurali e singolari. Mostrano anche come alcuni di questi compiti richiedano molti neuroni, mentre altri ne richiedono solo uno o due.

"La nostra ricerca mira a guardare all'interno delle reti neurali per il linguaggio e vedere quali informazioni apprendono, " dice il co-autore Yonatan Belinkov, un postdoc presso il Laboratorio di Informatica e Intelligenza Artificiale (CSAIL). "Questo lavoro mira a ottenere una comprensione più dettagliata delle reti neurali e ad avere un migliore controllo su come si comportano questi modelli".

I coautori del documento sono:il ricercatore senior James Glass e lo studente universitario Anthony Bau, di CSAIL; e Hassan Sajjad, Nadir Durrani, e Fahim Dalvi, di QCRI.

Mettere un microscopio sui neuroni

Le reti neurali sono strutturate in strati, dove ogni strato è costituito da molti nodi di elaborazione, ciascuno connesso ai nodi negli strati sopra e sotto. I dati vengono prima elaborati nel livello più basso, che passa un output al livello superiore, e così via. Ogni output ha un "peso" diverso per determinare quanto figura nel calcolo del livello successivo. Durante l'allenamento, questi pesi sono costantemente riaggiustati.

Le reti neurali utilizzate per la traduzione automatica si allenano su dati linguistici annotati. In allenamento, ogni livello apprende "incorporamenti di parole" diversi per una parola. Gli incorporamenti di parole sono essenzialmente tabelle di diverse centinaia di numeri combinati in modo che corrispondano a una parola e alla funzione di quella parola in una frase. Ogni numero nell'incorporamento è calcolato da un singolo neurone.

Nel loro lavoro passato, i ricercatori hanno addestrato un modello per analizzare gli output ponderati di ogni livello per determinare come i livelli hanno classificato un dato inserimento. Hanno scoperto che i livelli inferiori classificavano caratteristiche linguistiche relativamente più semplici, come la struttura di una particolare parola, e i livelli superiori aiutavano a classificare caratteristiche più complesse, come il modo in cui le parole si combinano per formare il significato.

Nel loro nuovo lavoro, i ricercatori utilizzano questo approccio per determinare in che modo gli incorporamenti di parole apprese creano una classificazione linguistica. Ma hanno anche implementato una nuova tecnica, chiamato "analisi della correlazione linguistica, " che addestra un modello a concentrarsi sui singoli neuroni in ogni parola incorporando che erano più importanti nella classificazione.

La nuova tecnica combina tutti gli incastri acquisiti da diversi livelli, ciascuno dei quali contiene informazioni sulla classificazione finale della parola, in un unico inserimento. Poiché la rete classifica una data parola, il modello apprende i pesi per ogni neurone che è stato attivato durante ogni processo di classificazione. Ciò fornisce un peso a ciascun neurone in ogni incorporamento di parole che è stato attivato per una parte specifica della classificazione.

"L'idea è se questo neurone è importante, ci dovrebbe essere un peso elevato che è stato appreso, " dice Belinkov. "I neuroni con pesi elevati sono quelli più importanti per predire una certa proprietà linguistica. Puoi pensare ai neuroni come a molte manopole che devi girare per ottenere la corretta combinazione di numeri nell'incorporamento. Alcune manopole sono più importanti di altre, quindi la tecnica è un modo per assegnare importanza a quelle manopole."

ablazione del neurone, manipolazione del modello

Poiché ogni neurone è pesato, può essere classificato in ordine di importanza. A quello scopo, i ricercatori hanno progettato un toolkit, chiamato NeuroX, che classifica automaticamente tutti i neuroni di una rete neurale in base alla loro importanza e li visualizza in un'interfaccia web.

Gli utenti caricano una rete che hanno già addestrato, così come nuovo testo. L'app visualizza il testo e, Vicino a esso, un elenco di neuroni specifici, ciascuno con un numero di identificazione. Quando un utente fa clic su un neurone, il testo verrà evidenziato a seconda delle parole e delle frasi per le quali il neurone si attiva. Da li, gli utenti possono eliminare completamente o "ablare" i neuroni, o modificare l'entità della loro attivazione, per controllare come si traduce la rete.

Il compito dell'ablazione è stato utilizzato per determinare se il metodo dei ricercatori ha individuato con precisione i neuroni di alto rango corretti. Nella loro carta, i ricercatori hanno utilizzato lo strumento per dimostrare che, ablando neuroni di alto rango in una rete, le sue prestazioni nella classificazione delle caratteristiche linguistiche correlate sono diminuite in modo significativo. In alternativa, quando hanno ablato i neuroni di rango inferiore, prestazione subita, ma non così drammaticamente.

"Dopo aver ottenuto tutte queste classifiche, vuoi vedere cosa succede quando uccidi questi neuroni e vedere quanto influisce negativamente sulle prestazioni, " dice Belinkov. "Questo è un risultato importante che dimostra che i neuroni che troviamo sono, infatti, importante per il processo di classificazione."

Un'applicazione interessante per il toolkit sta aiutando a limitare i pregiudizi nei dati linguistici. Modelli di traduzione automatica, come Google Traduttore, può allenarsi sui dati con pregiudizi di genere, che può essere problematico per le lingue con parole di genere. Alcune professioni, ad esempio, può essere più spesso indicato come maschio, e altri come femmine. Quando una rete traduce un nuovo testo, può produrre solo il genere appreso per quelle parole. In molte traduzioni online dall'inglese allo spagnolo, ad esempio, "dottore" si traduce spesso nella sua versione maschile, mentre "infermiera" si traduce nella sua versione femminile.

"Ma scopriamo di poter tracciare i singoli neuroni responsabili delle proprietà linguistiche come il genere, " dice Belinkov. "Se sei in grado di rintracciarli, forse puoi intervenire in qualche modo e influenzare la traduzione per tradurre queste parole maggiormente nel genere opposto... per rimuovere o mitigare il pregiudizio".

In esperimenti preliminari, i ricercatori hanno modificato i neuroni in una rete per cambiare il testo tradotto dal passato al presente con una precisione del 67 percento. Hanno ablato per cambiare il genere delle parole con una precisione del 21%. "È ancora un lavoro in corso, " dice Belinkov. Un passo successivo, Aggiunge, sta perfezionando l'applicazione web per ottenere un'ablazione e una manipolazione più accurate.

Questa storia è stata ripubblicata per gentile concessione di MIT News (web.mit.edu/newsoffice/), un popolare sito che copre notizie sulla ricerca del MIT, innovazione e didattica.