In futuro ci sono chatbot ancora più chiacchieroni e meno ottusi. Sì, verrà il giorno in cui potrai facilmente riflettere su fino a che punto sono arrivate le abilità linguistiche di AI. E su quel riflesso, non ignorare i contributi di Nvidia nel loro lavoro con BERT.

OK, ci asterremo dal definire stupide le abilità linguistiche dell'IA. Nvidia lo ha espresso con più tatto nel suo annuncio del 13 agosto. "Servizi di intelligenza artificiale conversazionali limitati" esistono da diversi anni ma è stato estremamente difficile per i chatbot, assistenti personali intelligenti e motori di ricerca per operare con comprensione a livello umano a causa dell'impossibilità di implementare modelli di intelligenza artificiale estremamente grandi in tempo reale, ha detto la società.

Questo è cambiato. Nvidia ha affermato che le ottimizzazioni chiave aggiunte alla sua piattaforma di intelligenza artificiale hanno contribuito a raggiungere record di velocità nell'addestramento e nell'inferenza dell'intelligenza artificiale. HotHardware andare sul sodo nel valutare l'impatto di questo lavoro. "Nvdia ha battuto tutti i record per l'addestramento conversazionale sull'intelligenza artificiale che potrebbe "turbare" gli assistenti tradizionali come Alexa e Siri.

Torna a BERT che si è già guadagnato un posto di diritto nell'elaborazione del linguaggio naturale. Un annuncio del novembre 2018 di Google è apparso sul suo blog di Google AI:

"Una delle maggiori sfide nell'elaborazione del linguaggio naturale (PNL) è la carenza di dati di addestramento... la maggior parte dei set di dati specifici per attività contengono solo poche migliaia o poche centinaia di migliaia di esempi di addestramento etichettati da persone... Per aiutare a colmare questa lacuna nei dati, i ricercatori hanno sviluppato una varietà di tecniche per addestrare modelli di rappresentazione linguistica di uso generale utilizzando l'enorme quantità di testo non annotato sul web (noto come pre-formazione). Il modello pre-addestrato può quindi essere messo a punto su attività di PNL di piccole dimensioni come la risposta alle domande e l'analisi del sentiment, con conseguenti miglioramenti sostanziali della precisione rispetto all'addestramento su questi set di dati da zero.

"Questa settimana, abbiamo reso open source una nuova tecnica per il pre-addestramento sulla PNL chiamata rappresentazioni dell'encoder bidirezionale dai trasformatori, o BERT."

Bene, era "questa settimana" nel 2018 e ora è questa settimana nel 2019. Il blog degli sviluppatori di Nvidia ha annunciato martedì che Nvidia ha registrato il tempo di allenamento BERT più veloce al mondo. NVIDIA DGX SuperPOD ha addestrato BERT-Large in soli 53 minuti.

Come ha detto Darrell Etherington in TechCrunch , questo significa che "l'ora" nell'allenamento BERT è stato rotto (53 minuti). Etherington ha detto, "La piattaforma AI di Nvidia è stata in grado di addestrare il modello in meno di un'ora, un risultato da record in soli 53 minuti."

Shar Narasimhan di Nvidia ha scritto sul blog che un vantaggio chiave di BERT è che non ha bisogno di essere pre-addestrato con dati etichettati, in modo che possa imparare usando qualsiasi testo normale. Questo vantaggio apre le porte a enormi set di dati. I numeri di BERT:Narasimhan ha affermato che era generalmente "pre-addestrato su una concatenazione di BooksCorpus (800 milioni di parole) e Wikipedia inglese (2,5 miliardi di parole), per formare un set di dati totale di 3,3 miliardi di parole."

Il comunicato stampa di Nvidia del 13 agosto ha affermato che i primi ad adottare i miglioramenti delle prestazioni dell'azienda includevano Microsoft e le startup che sfruttavano la sua piattaforma per sviluppare servizi basati sul linguaggio per i clienti. Microsoft Bing sta usando la sua piattaforma Azure AI e la tecnologia Nvidia per eseguire BERT.

Rangan Majumde, responsabile del programma di gruppo, Microsoft Bing, ha affermato che Bing ha ulteriormente ottimizzato l'inferenza di BERT. Ha affermato di aver ottenuto "due volte la riduzione della latenza e cinque volte il miglioramento del throughput durante l'inferenza utilizzando le GPU NVIDIA di Azure rispetto a una piattaforma basata su CPU".

David Cardinal in ExtremeTech ha avuto maggiori dettagli su ciò che Nvidia ha portato al tavolo nell'avanzare BERT:"Nvidia ha dimostrato che ora può addestrare BERT (il modello di linguaggio di riferimento di Google) in meno di un'ora su un SuperPOD DGX composto da 1, 472 GPU Tesla V100-SXM3-32GB, 92 server DGX-2H, e 10 Mellanox Infiniband per nodo."

Anche parte dei diritti di vanteria di Nvidia sul fronte dell'intelligenza artificiale è un modello di linguaggio basato su Transformers, il blocco tecnologico utilizzato per BERT. Nvidia ha dichiarato:"Con particolare attenzione alla crescente necessità degli sviluppatori di modelli più grandi, NVIDIA Research ha creato e formato il più grande modello linguistico al mondo basato su Transformers, il blocco tecnologico utilizzato per BERT e un numero crescente di altri modelli di intelligenza artificiale in linguaggio naturale. Il modello personalizzato di NVIDIA, con 8,3 miliardi di parametri, è 24 volte più grande di BERT-Large."

Secondo Nvidia, hanno "costruito il più grande modello linguistico basato su trasformatore del mondo sull'hardware di deep learning esistente, Software, e modelli. Così facendo, abbiamo superato con successo i limiti posti dalla formazione tradizionale su singola GPU implementando un approccio parallelo al modello semplice ed efficiente con solo poche modifiche mirate alle implementazioni del trasformatore PyTorch esistenti."

© 2019 Scienza X Rete