droni, in particolare quadricotteri, sono un lotto adattabile. Sono stati usati per valutare i danni dopo i disastri, consegnare corde e giubbotti di salvataggio in aree troppo pericolose per i soccorritori a terra, ispezionare edifici in fiamme e consegnare campioni medici.

Ma per raggiungere il loro pieno potenziale, devono essere dure. Nel mondo reale, i droni sono costretti a navigare in forme incerte in edifici che crollano, evitare gli ostacoli e affrontare condizioni difficili, comprese tempeste e terremoti.

Presso il Dipartimento di Informatica della USC Viterbi School of Engineering, i ricercatori hanno creato droni artificialmente intelligenti che possono riprendersi rapidamente quando vengono spinti, preso a calci o in caso di collisione con un oggetto. Il drone autonomo "impara" come riprendersi da una sfilza di situazioni difficili che gli vengono lanciate durante un processo di simulazione.

"Attualmente, i controller progettati per stabilizzare i quadricotteri richiedono un'attenta messa a punto e anche in questo caso, sono limitati in termini di robustezza all'interruzione e sono specifici del modello, " ha detto l'autore principale dello studio Artem Molchanov, un dottorato di ricerca candidato in informatica nel Robotic Systems Embedded Laboratory della USC.

"Stiamo cercando di eliminare questo problema e presentare un approccio che sfrutti i recenti progressi nell'apprendimento per rinforzo in modo da poter eliminare completamente i controller di sintonizzazione manuale e rendere i droni super resistenti alle interruzioni".

La carta, chiamato "Sim-to-(Multi)-Real:trasferimento di politiche di controllo robuste di basso livello a più quadrotor, " è stato presentato alla Conferenza Internazionale sui Robot e Sistemi Intelligenti.

I coautori erano Tao Chen, studente di master in informatica USC; Wolfgang Honig, un ex dottorato di ricerca in informatica USC. alunno; James A. Preiss, un dottorato di ricerca in informatica alunno; Nora Ayanian, assistente professore USC di informatica e Andrew and Erna Viterbi Early Career Chair; e Gaurav Sukhatme, professore di informatica e ingegneria elettrica e informatica e vice rettore della USC Viterbi.

Imparando a volare

Da anni i robotisti si sono rivolti agli uccelli per l'ispirazione al volo. Ma i droni hanno ancora molta strada da fare prima di diventare agili come le loro controparti piumate. Quando un drone finisce con un orientamento indesiderato, come capovolto, può essere difficile per esso raddrizzarsi. "Un drone è un sistema intrinsecamente instabile, " disse Molchanov.

"Controllare un drone richiede molta precisione. Soprattutto quando accade qualcosa di improvviso, hai bisogno di una sequenza veloce e precisa di input di controllo." Ma, se un drone fosse in grado di imparare dall'esperienza, come gli umani, sarebbe più in grado di superare queste sfide.

Con questo è mente, il team di ricercatori dell'USC ha creato un sistema che utilizza un tipo di apprendimento automatico, un sottoinsieme di intelligenza artificiale, chiamato apprendimento di rinforzo per addestrare il drone in un ambiente simulato. Più precisamente, per addestrare il "cervello" del drone, " o controller di rete neurale.

"L'apprendimento per rinforzo è ispirato dalla biologia:è molto simile a come potresti addestrare un cane con una ricompensa quando completa un comando, " disse Molchanov.

Certo, i droni non ricevono snack. Ma nel processo di apprendimento per rinforzo, ricevono una ricompensa algoritmica:un segnale di rinforzo matematico, che è un rinforzo positivo che usa per dedurre quali azioni sono più desiderabili.

Imparare in simulazione

Il drone si avvia in modalità simulazione. All'inizio, non sa nulla del mondo o di ciò che sta cercando di ottenere, disse Molchanov. Cerca di saltare un po' o di ruotare a terra.

Infine, impara un po' a volare e riceve il segnale di rinforzo positivo. Gradualmente, attraverso questo processo, capisce come bilanciarsi e alla fine volare. Quindi, le cose si complicano.

Mentre sei ancora in simulazione, i ricercatori lanciano condizioni randomizzate al controller finché non impara a gestirle con successo. Aggiungono rumore all'ingresso per simulare un sensore realistico. Cambiano le dimensioni e la forza del motore e spingono il drone da diverse angolazioni.

Nel corso delle 24 ore, il sistema elabora 250 ore di formazione nel mondo reale. Come rotelle di allenamento, l'apprendimento in modalità simulazione consente al drone di apprendere da solo in un ambiente sicuro, prima di essere rilasciato in natura. Infine, trova soluzioni ad ogni sfida posta sul suo cammino.

"Nella simulazione possiamo eseguire centinaia di migliaia di scenari, " disse Molchanov.

"Continuiamo a cambiare leggermente il simulatore, che consente al drone di imparare ad adattarsi a tutte le possibili imperfezioni dell'ambiente."

Una vera sfida

Per dimostrare il loro approccio, i ricercatori hanno spostato il controller addestrato su veri droni sviluppati nell'Automatic Coordination of Teams Lab di Ayanian. In un impianto di droni al coperto con rete, hanno fatto volare i droni e hanno cercato di buttarli via prendendoli a calci e spingendoli.

I droni sono riusciti a correggersi da colpi moderati (compresi spinte, calci leggeri e collisione con un oggetto) il 90% delle volte. Una volta addestrato su una macchina, il controller è stato in grado di generalizzare rapidamente a quadricotteri con dimensioni diverse, pesi e dimensioni.

Mentre i ricercatori si sono concentrati sulla robustezza in questo studio, sono rimasti sorpresi nello scoprire che il sistema funzionava anche in modo competitivo in termini di tracciamento della traiettoria, spostandosi dal punto A al punto B fino al punto C. Sebbene non fosse specificamente addestrato per questo scopo, sembra che il rigoroso addestramento alla simulazione abbia anche dotato il controller di seguire con precisione un bersaglio in movimento.

I ricercatori fanno notare che c'è ancora del lavoro da fare. In questo esperimento, hanno regolato manualmente alcuni parametri sui droni, Per esempio, limitazione della spinta massima, ma il passo successivo è rendere i droni completamente indipendenti. L'esperimento è una mossa promettente verso la costruzione di droni robusti in grado di sintonizzarsi e imparare dall'esperienza.

Professor Sukhatme, Consulente di Molchanov e cattedra di informatica della Fondazione Fletcher Jones, ha affermato che la ricerca risolve due importanti problemi nella robotica:robustezza e generalizzazione.

"Dal punto di vista della sicurezza, la robustezza è importantissima. Se stai costruendo un sistema di controllo di volo, non può essere fragile e cadere a pezzi quando qualcosa va storto, " disse Sukhatme.

"L'altra cosa importante è la generalizzazione. A volte potresti costruire un sistema molto sicuro, ma sarà molto specializzato. Questa ricerca mostra quanto un dottorato di ricerca maturo e compiuto. studente può raggiungere, e sono molto orgoglioso di Artem e del team che ha messo insieme".