Per migliorare la sicurezza dei sistemi autonomi, Gli ingegneri del MIT hanno sviluppato un sistema in grado di rilevare piccoli cambiamenti nelle ombre sul terreno per determinare se dietro l'angolo c'è un oggetto in movimento.

Le auto autonome potrebbero un giorno utilizzare il sistema per evitare rapidamente una potenziale collisione con un'altra auto o con un pedone che emerge dall'angolo di un edificio o tra le auto parcheggiate. Nel futuro, i robot che possono attraversare i corridoi degli ospedali per effettuare consegne di farmaci o forniture potrebbero utilizzare il sistema per evitare di colpire le persone.

In un documento presentato alla Conferenza internazionale sui robot e i sistemi intelligenti (IROS) della prossima settimana, i ricercatori descrivono esperimenti di successo con un'auto autonoma che guida in un parcheggio e una sedia a rotelle autonoma che naviga nei corridoi. Quando si rileva e ci si ferma per un veicolo in avvicinamento, il sistema basato su auto batte LiDAR tradizionale, che può rilevare solo oggetti visibili, di oltre mezzo secondo.

Potrebbe non sembrare molto, ma frazioni di secondo contano quando si tratta di veicoli autonomi in rapido movimento, dicono i ricercatori.

"Per le applicazioni in cui i robot si muovono in ambienti con altri oggetti o persone in movimento, il nostro metodo può dare al robot un preavviso che qualcuno sta arrivando dietro l'angolo, in modo che il veicolo possa rallentare, adattare il suo percorso, e prepararsi in anticipo per evitare una collisione, " aggiunge la coautrice Daniela Rus, direttore del Laboratorio di Informatica e Intelligenza Artificiale (CSAIL) e Andrea ed Erna Viterbi Professore di Ingegneria Elettrica e Informatica. "Il grande sogno è fornire una sorta di "visione a raggi X" ai veicoli che si muovono velocemente per le strade".

Attualmente, il sistema è stato testato solo in ambienti interni. Le velocità dei robot sono molto più basse all'interno, e le condizioni di luce sono più coerenti, rendendo più facile per il sistema rilevare e analizzare le ombre.

Insieme a Rus sulla carta ci sono:il primo autore Felix Naser SM '19, un ex ricercatore CSAIL; Alessandro Amini, uno studente laureato CSAIL; Igor Gilitschenski, un postdoc CSAIL; la neolaureata Christina Liao '19; Guy Rosman del Toyota Research Institute; e Sertac Karaman, professore associato di aeronautica e astronautica al MIT.

Estensione di ShadowCam

Per il loro lavoro, i ricercatori hanno costruito sul loro sistema, chiamato "ShadowCam, " che utilizza tecniche di visione artificiale per rilevare e classificare i cambiamenti alle ombre sul terreno. I professori del MIT William Freeman e Antonio Torralba, che non sono coautori dell'articolo IROS, collaborato alle versioni precedenti del sistema, che sono stati presentati ai convegni nel 2017 e nel 2018.

Per l'ingresso, ShadowCam utilizza sequenze di fotogrammi video da una telecamera mirata a un'area specifica, come il pavimento davanti a un angolo. Rileva le variazioni di intensità della luce nel tempo, di immagine in immagine, che potrebbe indicare qualcosa che si allontana o si avvicina. Alcuni di questi cambiamenti possono essere difficili da rilevare o invisibili a occhio nudo, e può essere determinato da varie proprietà dell'oggetto e dell'ambiente. ShadowCam calcola tali informazioni e classifica ogni immagine come contenente un oggetto stazionario o dinamico, uno in movimento. Se arriva a un'immagine dinamica, reagisce di conseguenza.

L'adattamento di ShadowCam ai veicoli autonomi ha richiesto alcuni progressi. La prima versione, ad esempio, fatto affidamento sul rivestimento di un'area con etichette di realtà aumentata chiamate "AprilTags, " che assomigliano a codici QR semplificati. I robot scansionano AprilTags per rilevare e calcolare la loro posizione e orientamento 3D precisi rispetto al tag. ShadowCam ha utilizzato i tag come caratteristiche dell'ambiente per concentrarsi su specifiche zone di pixel che possono contenere ombre. Ma modificare gli ambienti del mondo reale con AprilTags non è pratico.

I ricercatori hanno sviluppato un nuovo processo che combina la registrazione dell'immagine e una nuova tecnica di odometria visiva. Spesso utilizzato nella visione artificiale, la registrazione dell'immagine si sovrappone essenzialmente a più immagini per rivelare variazioni nelle immagini. Registrazione di immagini mediche, ad esempio, sovrappone le scansioni mediche per confrontare e analizzare le differenze anatomiche.

Odometria visiva, usato per Mars Rover, stima il movimento di una telecamera in tempo reale analizzando posa e geometria in sequenze di immagini. I ricercatori utilizzano specificamente "Direct Sparse Odometry" (DSO), che può calcolare punti caratteristica in ambienti simili a quelli catturati da AprilTags. Essenzialmente, DSO traccia le caratteristiche di un ambiente su una nuvola di punti 3D, e quindi una pipeline di visione artificiale seleziona solo le funzionalità situate in una regione di interesse, come il pavimento vicino a un angolo. (Le regioni di interesse sono state annotate manualmente in anticipo.)

Poiché ShadowCam acquisisce sequenze di immagini di input di una regione di interesse, utilizza il metodo DSO-image-registration per sovrapporre tutte le immagini dallo stesso punto di vista del robot. Anche se un robot si muove, è in grado di azzerare esattamente la stessa porzione di pixel in cui si trova un'ombra per aiutarlo a rilevare eventuali sottili deviazioni tra le immagini.

Il prossimo è l'amplificazione del segnale, una tecnica introdotta nel primo articolo. I pixel che possono contenere ombre ottengono un aumento del colore che riduce il rapporto segnale/rumore. Ciò rende molto più rilevabili i segnali estremamente deboli dei cambiamenti delle ombre. Se il segnale potenziato raggiunge una certa soglia, basata in parte su quanto devia dalle altre ombre vicine, ShadowCam classifica l'immagine come "dinamica". A seconda della potenza di quel segnale, il sistema potrebbe dire al robot di rallentare o fermarsi.

"Rilevando quel segnale, allora puoi stare attento. Potrebbe essere l'ombra di una persona che corre da dietro l'angolo o di un'auto parcheggiata, in modo che l'auto autonoma possa rallentare o fermarsi completamente, "dice Naser.

Test senza tag

In una prova, i ricercatori hanno valutato le prestazioni del sistema nella classificazione di oggetti in movimento o fermi utilizzando AprilTags e il nuovo metodo basato su DSO. Una sedia a rotelle autonoma ha guidato verso vari angoli del corridoio mentre gli umani hanno girato l'angolo nel percorso della sedia a rotelle. Entrambi i metodi hanno raggiunto la stessa precisione di classificazione del 70%, indicando che i tag di aprile non sono più necessari.

In una prova separata, i ricercatori hanno implementato ShadowCam in un'auto autonoma in un parcheggio, dove i fari erano spenti, imitando le condizioni di guida notturna. Hanno confrontato i tempi di rilevamento dell'auto con il LiDAR. In uno scenario di esempio, ShadowCam ha rilevato che l'auto girava intorno ai pilastri circa 0,72 secondi più velocemente di LiDAR. Inoltre, perché i ricercatori avevano sintonizzato ShadowCam specificamente per le condizioni di illuminazione del garage, il sistema ha raggiunto una precisione di classificazione di circa l'86 percento.

Prossimo, i ricercatori stanno sviluppando ulteriormente il sistema per lavorare in diverse condizioni di illuminazione interna ed esterna. Nel futuro, potrebbero esserci anche modi per accelerare il rilevamento delle ombre del sistema e automatizzare il processo di annotazione delle aree mirate per il rilevamento delle ombre.

Questa storia è stata ripubblicata per gentile concessione di MIT News (web.mit.edu/newsoffice/), un popolare sito che copre notizie sulla ricerca del MIT, innovazione e didattica.