Il lavoro di uno scrittore di scienze, compreso questo, include la lettura di articoli di riviste pieni di terminologia tecnica specializzata, e capire come spiegare i loro contenuti in un linguaggio che i lettori senza un background scientifico possano capire.

Ora, un team di scienziati al MIT e altrove ha sviluppato una rete neurale, una forma di intelligenza artificiale (AI), che può fare più o meno la stessa cosa, almeno in misura limitata:può leggere articoli scientifici e rendere un semplice riassunto in inglese in una o due frasi.

Anche in questa forma limitata, una tale rete neurale potrebbe essere utile per aiutare gli editori, scrittori, e gli scienziati scansionano un gran numero di documenti per avere un'idea preliminare di cosa si tratta. Ma l'approccio sviluppato dal team potrebbe anche trovare applicazioni in una varietà di altre aree oltre all'elaborazione del linguaggio, compresa la traduzione automatica e il riconoscimento vocale.

Il lavoro è descritto nella rivista Operazioni dell'Associazione per la Linguistica Computazionale , in un articolo di Rumen Dangovski e Li Jing, entrambi studenti laureati del MIT; Marin Soljačić, un professore di fisica al MIT; Preslav Nakov, uno scienziato senior presso il Qatar Computing Research Institute, HBKU; e Mico Tatalović, un ex borsista Knight Science Journalism al MIT e un ex editore presso Nuovo scienziato rivista.

Dall'intelligenza artificiale per la fisica al linguaggio naturale

Il lavoro è nato come risultato di un progetto non correlato, che ha comportato lo sviluppo di nuovi approcci di intelligenza artificiale basati su reti neurali, finalizzato ad affrontare alcuni spinosi problemi di fisica. Però, i ricercatori si sono presto resi conto che lo stesso approccio poteva essere utilizzato per affrontare altri difficili problemi computazionali, compresa l'elaborazione del linguaggio naturale, in modi che potrebbero superare i sistemi di rete neurale esistenti.

"Da alcuni anni svolgiamo vari tipi di lavoro nell'IA, " Afferma Soljačić. "Usiamo l'intelligenza artificiale per aiutare con la nostra ricerca, fondamentalmente per fare fisica meglio. E man mano che acquisiamo maggiore familiarità con l'IA, noteremmo che ogni tanto c'è un'opportunità di aggiungere qualcosa al campo dell'IA a causa di qualcosa che sappiamo dalla fisica:un certo costrutto matematico o una certa legge in fisica. Abbiamo notato che ehi, se lo usiamo, potrebbe effettivamente aiutare con questo o quel particolare algoritmo di intelligenza artificiale."

Questo approccio potrebbe essere utile in una varietà di tipi specifici di attività, lui dice, ma non tutto. "Non possiamo dire che questo sia utile per tutta l'IA, ma ci sono casi in cui possiamo utilizzare un'intuizione della fisica per migliorare un determinato algoritmo di intelligenza artificiale".

Le reti neurali in generale sono un tentativo di imitare il modo in cui gli umani apprendono certe cose nuove:il computer esamina molti esempi diversi e "impara" quali sono i modelli chiave sottostanti. Tali sistemi sono ampiamente utilizzati per il riconoscimento di modelli, come imparare a identificare gli oggetti raffigurati nelle foto.

Ma le reti neurali in generale hanno difficoltà a correlare le informazioni da una lunga stringa di dati, come è richiesto nell'interpretazione di un documento di ricerca. Vari trucchi sono stati usati per migliorare questa capacità, comprese le tecniche note come memoria a lungo termine (LSTM) e unità ricorrenti gated (GRU), ma questi sono ancora ben al di sotto di ciò che è necessario per una vera elaborazione del linguaggio naturale, dicono i ricercatori.

Il team ha escogitato un sistema alternativo, che invece di basarsi sulla moltiplicazione di matrici, come la maggior parte delle reti neurali convenzionali, si basa su vettori che ruotano in uno spazio multidimensionale. Il concetto chiave è qualcosa che chiamano unità di memoria rotazionale (RUM).

Essenzialmente, il sistema rappresenta ogni parola nel testo con un vettore nello spazio multidimensionale, una linea di una certa lunghezza che punta in una particolare direzione. Ogni parola successiva fa oscillare questo vettore in qualche direzione, rappresentato in uno spazio teorico che può avere in definitiva migliaia di dimensioni. Alla fine del processo, il vettore finale o l'insieme di vettori viene tradotto di nuovo nella stringa di parole corrispondente.

"RUM aiuta le reti neurali a fare due cose molto bene, " dice Nakov. "Li aiuta a ricordare meglio, e consente loro di ricordare le informazioni in modo più accurato."

Dopo aver sviluppato il sistema RUM per risolvere alcuni problemi fisici difficili come il comportamento della luce in materiali ingegnerizzati complessi, "ci siamo resi conto che uno dei luoghi in cui pensavamo che questo approccio potesse essere utile sarebbe stato l'elaborazione del linguaggio naturale, "dice Soljačić, ricordando una conversazione con Tatalović, il quale ha notato che uno strumento del genere sarebbe stato utile per il suo lavoro di editore cercando di decidere di quali giornali scrivere. Tatalović all'epoca stava esplorando l'intelligenza artificiale nel giornalismo scientifico come il suo progetto di borsa di studio Knight.

"E così abbiamo provato alcune attività di elaborazione del linguaggio naturale su di esso, " dice Soljačić. "Uno che abbiamo provato è stato riassumere articoli, e sembra funzionare abbastanza bene".

La prova è nella lettura

Come esempio, hanno alimentato lo stesso documento di ricerca attraverso una rete neurale convenzionale basata su LSTM e attraverso il loro sistema basato su RUM. I riassunti risultanti erano drammaticamente diversi.

Il sistema LSTM ha prodotto questo riassunto altamente ripetitivo e abbastanza tecnico:"Baylisascariasis, " uccide i topi, ha messo in pericolo l'allegheny woodrat e ha causato malattie come la cecità o gravi conseguenze. Questa infezione, chiamato "baylisascariasis, " uccide i topi, ha messo in pericolo l'allegheny woodrat e ha causato malattie come la cecità o gravi conseguenze. Questa infezione, chiamato "baylisascariasis, " uccide i topi, ha messo in pericolo l'allegheny woodrat.

Sulla base dello stesso documento, il sistema RUM ha prodotto un riassunto molto più leggibile, e uno che non includeva l'inutile ripetizione di frasi:i procioni urbani possono infettare le persone più di quanto si pensasse in precedenza. Il 7% degli individui intervistati è risultato positivo agli anticorpi del nematode del procione. Oltre il 90% dei procioni di Santa Barbara ospita questo parassita.

Già, il sistema basato su RUM è stato ampliato in modo che possa "leggere" interi documenti di ricerca, non solo gli abstract, produrre una sintesi del loro contenuto. I ricercatori hanno persino provato a utilizzare il sistema nel proprio documento di ricerca che descrive questi risultati, il documento che questa notizia sta tentando di riassumere.

Ecco il riassunto della nuova rete neurale:i ricercatori hanno sviluppato un nuovo processo di rappresentazione sull'unità rotazionale di RUM, una memoria ricorrente che può essere utilizzata per risolvere un ampio spettro della rivoluzione neurale nell'elaborazione del linguaggio naturale.

Potrebbe non essere una prosa elegante, ma almeno colpisce i punti chiave dell'informazione.

Çağlar Gülçehre, uno scienziato ricercatore presso la società britannica di intelligenza artificiale Deepmind Technologies, chi non era coinvolto in questo lavoro, afferma che questa ricerca affronta un problema importante nelle reti neurali, che hanno a che fare con informazioni che sono ampiamente separate nel tempo o nello spazio. "Questo problema è stato un problema fondamentale nell'IA a causa della necessità di ragionare su lunghi ritardi nei compiti di previsione della sequenza, " dice. "Anche se non credo che questo documento risolva completamente questo problema, mostra risultati promettenti sui compiti di dipendenza a lungo termine come rispondere alle domande, sintesi del testo, e richiamo associativo”.

Gülçehre aggiunge, "Dal momento che gli esperimenti condotti e il modello proposto in questo documento sono stati rilasciati come open-source su Github, di conseguenza molti ricercatori saranno interessati a provarlo sui propri compiti. … Per essere più precisi, potenzialmente l'approccio proposto in questo documento può avere un impatto molto elevato sui campi dell'elaborazione del linguaggio naturale e dell'apprendimento per rinforzo, dove le dipendenze a lungo termine sono molto cruciali."

Questa storia è stata ripubblicata per gentile concessione di MIT News (web.mit.edu/newsoffice/), un popolare sito che copre notizie sulla ricerca del MIT, innovazione e didattica.