Concentrandosi sull'andatura degli umani, simmetria del corpo e posizionamento del piede, I ricercatori dell'Università del Michigan stanno insegnando alle auto a guida autonoma a riconoscere e prevedere i movimenti dei pedoni con maggiore precisione rispetto alle tecnologie attuali.

Dati raccolti dai veicoli tramite telecamere, LiDAR e GPS consentono ai ricercatori di catturare frammenti video di esseri umani in movimento e quindi di ricrearli nella simulazione 3D al computer. Con quello, hanno creato una "rete neurale ricorrente ispirata alla biomeccanica" che cataloga i movimenti umani.

Con esso, possono prevedere pose e posizioni future per uno o più pedoni fino a circa 50 metri dal veicolo. È circa la scala di un incrocio cittadino.

"Il lavoro precedente in quest'area in genere riguardava solo le immagini fisse. Non si occupava realmente di come le persone si muovono in tre dimensioni, " disse Ram Vasudevan, U-M assistente professore di ingegneria meccanica. "Ma se questi veicoli funzioneranno e interagiranno nel mondo reale, dobbiamo assicurarci che le nostre previsioni su dove sta andando un pedone non coincidano con dove sta andando il veicolo".

Dotare i veicoli del potere predittivo necessario richiede che la rete si tuffi nelle minuzie del movimento umano:il ritmo dell'andatura umana (periodicità), la simmetria speculare delle membra, e il modo in cui il posizionamento del piede influisce sulla stabilità durante la deambulazione.

Gran parte dell'apprendimento automatico utilizzato per portare la tecnologia autonoma al livello attuale ha avuto a che fare con immagini bidimensionali:foto fisse. Un computer che mostra diversi milioni di foto di un segnale di stop finirà per riconoscere i segnali di stop nel mondo reale e in tempo reale.

Ma utilizzando clip video che durano diversi secondi, il sistema U-M può studiare la prima metà dello snippet per fare le sue previsioni, e poi verificare l'esattezza con la seconda metà.

"Ora, stiamo addestrando il sistema a riconoscere il movimento e fare previsioni non solo su una singola cosa, che sia un segnale di stop o meno, ma dove sarà il corpo di quel pedone al prossimo passo e al prossimo e al prossimo, " ha detto Matthew Johnson-Roberson, professore associato presso il Dipartimento di Architettura Navale e Ingegneria Marittima dell'UM.

Per spiegare il tipo di estrapolazioni che la rete neurale può fare, Vasudevan descrive uno spettacolo comune.

"Se un pedone sta giocando con il telefono, sai che sono distratti, " Vasudevan ha detto. "La loro posa e dove stanno guardando ti dice molto sul loro livello di attenzione. Ti dice anche molto su ciò che sono in grado di fare dopo".

I risultati hanno dimostrato che questo nuovo sistema migliora la capacità di un veicolo senza conducente di riconoscere ciò che è più probabile che accada dopo.

"L'errore di traduzione medio della nostra previsione era di circa 10 cm dopo un secondo e inferiore a 80 cm dopo sei secondi. Tutti gli altri metodi di confronto erano fino a 7 metri di distanza, " Johnson-Roberson ha detto. "Siamo più bravi a capire dove sarà una persona".

Per limitare il numero di opzioni per prevedere il prossimo movimento, i ricercatori hanno applicato i vincoli fisici del corpo umano:la nostra incapacità di volare o la nostra massima velocità possibile a piedi.

Per creare il set di dati utilizzato per addestrare la rete neurale di UM, i ricercatori hanno parcheggiato un veicolo con caratteristiche autonome di livello 4 in diversi incroci di Ann Arbor. Con le telecamere dell'auto e il LiDAR di fronte all'incrocio, il veicolo potrebbe registrare più giorni di dati alla volta.

I ricercatori hanno sostenuto che il mondo reale, dati "in the wild" da set di dati di posa tradizionali catturati in un laboratorio. Il risultato è un sistema che alzerà il livello di ciò di cui sono capaci i veicoli senza conducente.

"Siamo aperti a diverse applicazioni e interessanti opportunità di collaborazione interdisciplinare, e speriamo di creare e contribuire a un più sicuro, più sano, e un ambiente di vita più efficiente, ", ha affermato l'ingegnere di ricerca dell'U-M Xiaoxiao Du.