Negli ultimi anni, gli algoritmi di deep learning hanno ottenuto risultati notevoli in una varietà di campi, comprese le discipline artistiche. In effetti, molti informatici in tutto il mondo hanno sviluppato con successo modelli in grado di creare opere artistiche, tra cui poesie, dipinti e schizzi.

I ricercatori della Seoul National University hanno recentemente introdotto un nuovo framework di deep learning artistico, progettato per migliorare le abilità di un robot per schizzi. Il loro framework, introdotto in un documento presentato all'ICRA 2022 e pre-pubblicato su arXiv, consente a un robot di sketch di apprendere simultaneamente sia il rendering basato sull'ictus che il controllo motorio.

"La motivazione principale per la nostra ricerca era creare qualcosa di interessante con meccanismi non basati su regole come il deep learning; abbiamo pensato che il disegno fosse una cosa interessante da mostrare se l'artista che disegna è un robot appreso invece che umano", Ganghun Lee, il primo autore del documento, ha detto a TechXplore. "Le recenti tecniche di deep learning hanno mostrato risultati sorprendenti nell'area artistica, ma la maggior parte di esse riguarda modelli generativi che producono risultati interi pixel in una volta."

Invece di sviluppare un modello generativo che produce opere artistiche generando specifici modelli di pixel, Lee e i suoi colleghi hanno creato una struttura che rappresenta il disegno come un processo decisionale sequenziale. Questo processo sequenziale ricorda il modo in cui gli esseri umani disegnano linee individuali usando una penna o una matita per creare gradualmente uno schizzo.

I ricercatori hanno quindi sperato di applicare la loro struttura a un agente di disegno robotico, in modo che potesse produrre schizzi in tempo reale usando una penna o una matita reali. Mentre altri team hanno creato algoritmi di deep learning per "artisti robot" in passato, questi modelli in genere richiedevano grandi set di dati di addestramento contenenti schizzi e disegni, nonché approcci cinematici inversi per insegnare al robot a manipolare una penna e disegnare con essa.

Il framework creato da Lee e dai suoi colleghi, d'altra parte, non è stato addestrato su alcun esempio di disegno del mondo reale. Può invece sviluppare autonomamente nel tempo le proprie strategie di disegno, attraverso un processo di tentativi ed errori.

"Il nostro framework inoltre non utilizza la cinematica inversa, che rende i movimenti del robot un po' rigidi, ma consente anche al sistema di trovare i propri trucchi di movimento (regolazione dei valori delle articolazioni) per rendere lo stile di movimento il più naturale possibile", ha affermato Lee. "In altre parole, muove direttamente le sue articolazioni senza primitive, mentre molti sistemi robotici usano comunemente le primitive per muoversi."

Il modello creato da questo team di ricercatori include due "agenti virtuali", vale a dire l'agente di classe superiore e di classe inferiore. Il ruolo dell'agente di classe superiore è imparare nuovi trucchi per disegnare, mentre l'agente di classe inferiore apprende strategie di movimento efficaci.

I due agenti virtuali sono stati formati individualmente utilizzando tecniche di apprendimento per rinforzo e sono stati accoppiati solo dopo aver completato la rispettiva formazione. Lee e i suoi colleghi hanno quindi testato le loro prestazioni combinate in una serie di esperimenti nel mondo reale, utilizzando un braccio robotico 6-DoF con una pinza 2D su di esso. I risultati ottenuti in questi test iniziali sono stati molto incoraggianti, in quanto l'algoritmo ha consentito all'agente robotico di produrre buoni schizzi di immagini specifiche.

"Troviamo che i moduli basati sull'apprendimento per rinforzo addestrati per ciascun obiettivo possono essere uniti per raggiungere obiettivi di collaborazione più grandi", ha spiegato Lee. "In un ambiente gerarchico, le decisioni dell'agente superiore possono essere lo 'stato intermedio', che consente all'agente inferiore di osservare per prendere decisioni inferiori. Se ogni agente di livelli è ben addestrato e sufficientemente generalizzato in ogni spazio degli stati, allora uno l'intero sistema composto da ciascun modulo può fare grandi cose. Tuttavia, la condizione primaria è che, come tutti gli approcci di apprendimento per rinforzo lo hanno, le funzioni di ricompensa per ciascun agente devono essere ben strutturate (non è facile)."

In futuro, la struttura creata da Lee e dai suoi colleghi potrebbe essere utilizzata per migliorare le prestazioni degli agenti di schizzo robotici esistenti e di nuova concezione. Nel frattempo, Lee sta sviluppando modelli creativi simili basati sull'apprendimento per rinforzo, incluso un sistema in grado di produrre collage artistici.

"Vorremmo anche estendere il compito a disegni robotici più complicati come i dipinti, ma ora mi sto concentrando maggiormente sulle questioni pratiche delle applicazioni di apprendimento per rinforzo stesse rispetto ai disegni robotici", ha aggiunto Lee. "Spero che il nostro articolo diventi un esempio divertente e significativo di pura applicazione basata sull'apprendimento per rinforzo, specialmente equipaggiata con robot". + Esplora ulteriormente

Un framework di apprendimento per rinforzo per migliorare le abilità di tiro a calcio dei robot quadrupedi

© 2022 Rete Science X