Dinesh Manocha, informatico dell'Università del Maryland, in collaborazione con un team di colleghi di Baidu Research e dell'Università di Hong Kong, ha sviluppato un sistema di simulazione fotorealistico per l'addestramento e la convalida dei veicoli a guida autonoma. Il nuovo sistema fornisce un più ricco, simulazione più autentica rispetto ai sistemi attuali che utilizzano motori di gioco o computer grafica ad alta fedeltà e modelli di traffico resi matematicamente.

Il loro sistema, chiamato Augmented Autonomous Driving Simulation (AADS), potrebbe rendere la tecnologia di guida autonoma più facile da valutare in laboratorio, garantendo al contempo una sicurezza più affidabile prima che inizino i costosi test su strada.

Gli scienziati hanno descritto la loro metodologia in un documento di ricerca pubblicato il 27 marzo, 2019 sulla rivista Robotica scientifica .

"Questo lavoro rappresenta un nuovo paradigma di simulazione in cui possiamo testare l'affidabilità e la sicurezza della tecnologia di guida automatica prima di implementarla su auto reali e testarla sulle autostrade o sulle strade cittadine, " disse Manocha, uno degli autori corrispondenti del documento, e un professore con incarichi congiunti in informatica, ingegneria elettrica e informatica, e l'Istituto di studi informatici avanzati dell'Università del Maryland.

Un potenziale vantaggio delle auto a guida autonoma è che potrebbero essere più sicure dei conducenti umani che sono inclini alla distrazione, stanchezza e decisioni emotive che portano a errori. Ma per garantire la sicurezza, i veicoli autonomi devono valutare e rispondere all'ambiente di guida senza fallo. Date le innumerevoli situazioni che un'auto potrebbe incontrare sulla strada, un sistema di guida autonoma richiede centinaia di milioni di miglia di test drive in condizioni difficili per dimostrare l'affidabilità.

Anche se potrebbero volerci decenni per realizzarlo sulla strada, le valutazioni preliminari potrebbero essere condotte rapidamente, in modo efficiente e più sicuro mediante simulazioni al computer che rappresentano accuratamente il mondo reale e modellano il comportamento degli oggetti circostanti. Gli attuali sistemi di simulazione all'avanguardia descritti nella letteratura scientifica non sono all'altezza della rappresentazione di ambienti fotorealistici e della presentazione dei modelli di flusso del traffico del mondo reale o dei comportamenti dei conducenti.

AADS è un sistema basato sui dati che rappresenta in modo più accurato gli input che un'auto a guida autonoma riceverà sulla strada. Le auto a guida autonoma si basano su un modulo di percezione, che riceve e interpreta informazioni sul mondo reale, e un modulo di navigazione che prende decisioni, come dove sterzare o se frenare o accelerare, in base al modulo di percezione.

Nel mondo reale, il modulo di percezione di un'auto a guida autonoma in genere riceve input da telecamere e sensori lidar, che utilizzano impulsi di luce per misurare le distanze dell'ambiente circostante. Nell'attuale tecnologia di simulazione, il modulo di percezione riceve input da immagini generate al computer e modelli di movimento modellati matematicamente per i pedoni, biciclette, e altre auto. È una rappresentazione relativamente rozza del mondo reale. È anche costoso e richiede tempo da creare perché i modelli di immagini generate al computer devono essere generati a mano.

Il sistema AADS combina foto, video, e nuvole di punti lidar, che sono come rendering di forme 3D, con dati di traiettoria del mondo reale per i pedoni, biciclette, e altre auto. Queste traiettorie possono essere utilizzate per prevedere il comportamento di guida e le posizioni future di altri veicoli o pedoni sulla strada per una navigazione più sicura.

"Stiamo renderizzando e simulando visivamente il mondo reale, utilizzando video e foto, " disse Manocha, "ma stiamo anche catturando comportamenti e schemi di movimento reali. Il modo in cui gli esseri umani guidano non è facile da catturare con modelli matematici e leggi della fisica. Quindi, abbiamo estratto i dati sulle traiettorie reali da tutto il video che avevamo a disposizione, e abbiamo modellato i comportamenti di guida utilizzando metodologie delle scienze sociali. Questo approccio basato sui dati ci ha fornito un simulatore di traffico molto più realistico e vantaggioso".

Gli scienziati hanno dovuto superare una sfida di vecchia data nell'usare immagini video reali e dati lidar per la loro simulazione:ogni scena deve rispondere ai movimenti di un'auto a guida autonoma, anche se quei movimenti potrebbero non essere stati catturati dalla fotocamera originale o dal sensore lidar. Qualunque angolo o punto di vista non venga catturato da una foto o da un video deve essere renderizzato o simulato utilizzando metodi di previsione. Questo è il motivo per cui la tecnologia di simulazione si è sempre basata così tanto sulla grafica generata al computer e sulle tecniche di previsione basate sulla fisica.

Per vincere questa sfida, i ricercatori hanno sviluppato una tecnologia che isola i vari componenti di una scena stradale del mondo reale e li rende come singoli elementi che possono essere risintetizzati per creare una moltitudine di scenari di guida fotorealistici.

Con AADS, veicoli e pedoni possono essere sollevati da un ambiente e collocati in un altro con la corretta illuminazione e schemi di movimento. Le strade possono essere ricreate con diversi livelli di traffico. Gli angoli di visualizzazione multipli di ogni scena forniscono prospettive più realistiche durante i cambi di corsia e le svolte. Inoltre, la tecnologia avanzata di elaborazione delle immagini consente transizioni fluide e riduce la distorsione rispetto ad altre tecniche di simulazione video. Le tecniche di elaborazione delle immagini sono utilizzate anche per estrarre traiettorie, e quindi modellare i comportamenti dei conducenti.

"Poiché utilizziamo video e movimenti del mondo reale, il nostro modulo di percezione ha informazioni più accurate rispetto ai metodi precedenti, " disse Manocha. "E poi, a causa del realismo del simulatore, possiamo valutare meglio le strategie di navigazione di un sistema di guida autonoma."

Manocha ha detto che pubblicando questo lavoro, gli scienziati sperano che alcune delle aziende che sviluppano veicoli a guida autonoma possano incorporare lo stesso approccio basato sui dati per migliorare i propri simulatori per testare e valutare i sistemi di guida autonoma.