I ricercatori della Hong Kong Baptist University (HKBU) hanno collaborato con un team di Tencent Machine Learning per creare una nuova tecnica per addestrare macchine di intelligenza artificiale (AI) più velocemente che mai, mantenendo la precisione.

Durante l'esperimento, il team ha addestrato due popolari reti neurali profonde chiamate AlexNet e ResNet-50 in soli quattro minuti e 6,6 minuti rispettivamente. In precedenza, il tempo di formazione più veloce è stato di 11 minuti per AlexNet e 15 minuti per ResNet-50.

AlexNet e ResNet-50 sono reti neurali profonde costruite su ImageNet, un set di dati su larga scala per il riconoscimento visivo. Una volta addestrato, il sistema è stato in grado di riconoscere ed etichettare un oggetto in una data foto. Il risultato è significativamente più veloce rispetto ai record precedenti e supera tutti gli altri sistemi esistenti.

L'apprendimento automatico è un insieme di approcci matematici che consentono ai computer di apprendere dai dati senza essere esplicitamente programmati dall'uomo. Gli algoritmi risultanti possono quindi essere applicati a una varietà di dati e attività di riconoscimento visivo utilizzate nell'IA.

Il team della HKBU comprende il Professor Chu Xiaowen e il Ph.D. studente Shi Shaohuai del Dipartimento di Informatica. Il professor Chu ha detto, "Abbiamo proposto un nuovo metodo di allenamento ottimizzato che migliora significativamente il miglior rendimento senza perdere precisione. Nell'allenamento con intelligenza artificiale, i ricercatori si sforzano di addestrare le loro reti più velocemente, ma questo può portare a una diminuzione della precisione. Di conseguenza, addestrare modelli di apprendimento automatico ad alta velocità mantenendo accuratezza e precisione è un obiettivo vitale per gli scienziati".

Il professor Chu ha affermato che il tempo necessario per addestrare le macchine AI è influenzato sia dal tempo di calcolo che dal tempo di comunicazione. Il team di ricerca ha raggiunto progressi in entrambi gli aspetti per creare questo risultato da record.

Ciò ha incluso l'adozione di un metodo computazionale più semplice noto come FP16 per sostituire quello più tradizionale, FP32, rendendo il calcolo molto più veloce senza perdere la precisione. Poiché il tempo di comunicazione è influenzato dalle dimensioni dei blocchi di dati, il team ha ideato una tecnica di comunicazione chiamata "fusione tensoriale, " che combina dati più piccoli in dati più grandi, ottimizzare il modello di trasmissione e quindi migliorare l'efficienza della comunicazione durante la formazione sull'IA.

Questa nuova tecnica può essere adottata nella classificazione delle immagini su larga scala, e può essere applicato anche ad altre applicazioni AI, compresa la traduzione automatica; elaborazione del linguaggio naturale (PNL) per migliorare le interazioni tra linguaggio umano e computer; analisi di immagini mediche; e giochi di battaglia multiplayer online.