Una nuova generazione di algoritmi ha padroneggiato i videogiochi Atari 10 volte più velocemente dell'IA allo stato dell'arte, con un approccio innovativo alla risoluzione dei problemi.

Progettare un'IA in grado di negoziare problemi di pianificazione, soprattutto quelli in cui i premi non sono immediatamente evidenti, è una delle sfide più importanti della ricerca nel far avanzare il campo.

Un famoso studio del 2015 ha mostrato che l'intelligenza artificiale di Google DeepMind ha imparato a giocare ai videogiochi Atari come Video Pinball a livello umano, ma notoriamente non è riuscito a imparare un percorso per la prima chiave nel videogioco degli anni '80 Montezuma's Revenge a causa della complessità del gioco.

Nel nuovo metodo sviluppato alla RMIT University di Melbourne, Australia, i computer impostati per giocare autonomamente a Montezuma's Revenge hanno imparato dagli errori e hanno identificato i sotto-obiettivi 10 volte più velocemente di Google DeepMind per finire il gioco.

Il professore associato Fabio Zambetta della RMIT University svela il nuovo approccio questo venerdì alla 33a Conferenza AAAI sull'intelligenza artificiale negli Stati Uniti.

Il metodo, sviluppato in collaborazione con il Professor John Thangarajah e Michael Dann di RMIT, combina l'apprendimento per rinforzo "carota e bastone" con un approccio di motivazione intrinseca che premia l'intelligenza artificiale per essere curiosa ed esplorare il suo ambiente.

"Un'IA veramente intelligente deve essere in grado di imparare a completare le attività in modo autonomo in ambienti ambigui, "dice Zambetta.

"Abbiamo dimostrato che il giusto tipo di algoritmi può migliorare i risultati utilizzando un approccio più intelligente piuttosto che forzare in modo puramente bruto un problema end-to-end su computer molto potenti.

"I nostri risultati mostrano quanto ci stiamo avvicinando all'IA autonoma e potrebbero essere una linea di indagine chiave se vogliamo continuare a fare progressi sostanziali in questo campo".

Il metodo di Zambetta premia il sistema per esplorare autonomamente utili sotto-obiettivi come "salire quella scala" o "saltare oltre quella fossa", che potrebbe non essere ovvio per un computer, nel contesto del completamento di una missione più ampia.

Altri sistemi all'avanguardia hanno richiesto l'input umano per identificare questi sotto-obiettivi oppure hanno deciso cosa fare dopo in modo casuale.

"Non solo i nostri algoritmi hanno identificato autonomamente le attività rilevanti circa 10 volte più velocemente di Google DeepMind durante la riproduzione di Montezuma's Revenge, hanno anche mostrato un comportamento relativamente simile a quello umano mentre lo facevano, "dice Zambetta.

"Per esempio, prima di poter accedere alla seconda schermata del gioco è necessario identificare le attività secondarie come salire le scale, saltare sopra un nemico e poi prendere finalmente una chiave, grosso modo in quest'ordine.

"Questo alla fine accadrebbe casualmente dopo un'enorme quantità di tempo, ma che accada in modo così naturale nei nostri test mostra una sorta di intento.

"Questo rende il nostro il primo agente completamente autonomo orientato agli obiettivi secondari ad essere veramente competitivo con agenti all'avanguardia in questi giochi."

Zambetta ha affermato che il sistema funzionerà al di fuori dei videogiochi in una vasta gamma di attività, quando fornito con input visivi grezzi.

"Creare un algoritmo in grado di completare i videogiochi può sembrare banale, ma il fatto che ne abbiamo progettato uno in grado di far fronte all'ambiguità scegliendo tra un numero arbitrario di possibili azioni è un progresso fondamentale.

"Significa che, col tempo, questa tecnologia sarà preziosa per raggiungere obiettivi nel mondo reale, sia in auto a guida autonoma che come utili assistenti robotici con riconoscimento del linguaggio naturale, " lui dice.

Derivare sotto-obiettivi in ​​modo autonomo per accelerare l'apprendimento in ambiti di ricompensa sparsa (allegato) sarà presentato alla 33a conferenza AAAI sull'intelligenza artificiale a Honolulu, Hawaii il 1 febbraio 2019.