Contrariamente alla segmentazione panottica (al centro), la segmentazione panottica amodale (in basso) prevede intere istanze di oggetti comprese le loro regioni occluse, ad es. auto e persone, dell'immagine di input (in alto). Credito:Berkeley DeepDrive; Abhinav Valada; Abhinav Valada
In che modo i robot mobili possono percepire e comprendere correttamente l'ambiente, anche se parti dell'ambiente sono occluse da altri oggetti? Questa è una domanda chiave che deve essere risolta affinché i veicoli a guida autonoma possano navigare in sicurezza nelle grandi città affollate. Mentre gli esseri umani possono immaginare strutture fisiche complete di oggetti anche quando sono parzialmente occluse, gli algoritmi di intelligenza artificiale (AI) esistenti che consentono ai robot e ai veicoli a guida autonoma di percepire il loro ambiente non hanno questa capacità.
I robot con intelligenza artificiale possono già orientarsi e navigare da soli una volta appreso l'aspetto del loro ambiente. Tuttavia, percepire l'intera struttura degli oggetti quando sono parzialmente nascosti, come le persone in mezzo alla folla o i veicoli negli ingorghi, è stata una sfida significativa. Un passo importante verso la risoluzione di questo problema è stato ora compiuto dai ricercatori di robotica di Friburgo, Prof. Dr. Abhinav Valada e Ph.D. studente Rohit Mohan del Robot Learning Lab dell'Università di Friburgo, che hanno presentato in due pubblicazioni congiunte.
I due scienziati di Friburgo hanno sviluppato l'attività di segmentazione panottica amodale e ne hanno dimostrato la fattibilità utilizzando nuovi approcci di intelligenza artificiale. Finora, i veicoli a guida autonoma hanno utilizzato la segmentazione panottica per comprendere l'ambiente circostante.
Ciò significa che finora possono solo prevedere quali pixel di un'immagine appartengono a quali regioni "visibili" di un oggetto come una persona o un'auto e identificare le istanze di tali oggetti. Quello che manca finora è essere in grado di prevedere anche l'intera forma degli oggetti anche quando sono parzialmente occlusi da altri oggetti accanto a loro. Il nuovo compito della percezione con la segmentazione panottica amodale rende possibile questa comprensione olistica dell'ambiente.
"Amodal" si riferisce al caso in cui qualsiasi occlusione parziale di oggetti deve essere astratta e invece di vederli come frammenti, dovrebbe esserci una comprensione generale di vederli nel loro insieme. Pertanto, questa migliore capacità di riconoscimento visivo porterà a enormi progressi nel miglioramento della sicurezza dei veicoli a guida autonoma.
Potenziale per rivoluzionare la comprensione della scena visiva urbana
In un nuovo documento pubblicato alla IEEE/CVF Computer Vision and Pattern Recognition Conference (disponibile online come prestampa), i ricercatori hanno aggiunto il nuovo compito a set di dati di riferimento stabiliti e li hanno resi pubblicamente disponibili. Ora stanno invitando gli scienziati a partecipare al benchmarking con i propri algoritmi di intelligenza artificiale.
L'obiettivo di questo compito è la segmentazione semantica pixel-wise delle regioni visibili di classi di sfondo amorfe come strade, vegetazione, cielo e la segmentazione delle istanze delle regioni degli oggetti visibili e occluse di classi numerabili come automobili, camion e pedoni.
Il benchmark e i set di dati sono pubblicamente disponibili sul sito Web, inclusi due nuovi algoritmi di apprendimento proposti. "Siamo fiduciosi che i nuovi algoritmi di intelligenza artificiale per questo compito consentiranno ai robot di emulare l'esperienza visiva che gli esseri umani hanno percependo le strutture fisiche complete degli oggetti", spiega Valada.
"La segmentazione panottica amodale aiuterà in modo significativo le attività di guida automatizzata a valle in cui l'occlusione è una sfida importante come la stima della profondità, il flusso ottico, il tracciamento degli oggetti, la stima della posa, la previsione del movimento, ecc. Con algoritmi di intelligenza artificiale più avanzati per questo compito, capacità di riconoscimento visivo per se stessi -la guida delle auto può essere rivoluzionata. Ad esempio, se l'intera struttura degli utenti della strada viene percepita in ogni momento, indipendentemente dalle occlusioni parziali, il rischio di incidenti può essere notevolmente ridotto."
Inoltre, deducendo l'ordine di profondità relativo degli oggetti in una scena, i veicoli automatizzati possono prendere decisioni complesse come in quale direzione spostarsi verso l'oggetto per ottenere una visione più chiara. Per trasformare queste visioni in realtà, il compito e i suoi vantaggi sono stati presentati ai principali professionisti del settore automobilistico all'AutoSens, che si è tenuto presso l'Autoworld Museum di Bruxelles.
L'altro documento appare in IEEE Robotics and Automation Letters . + Esplora ulteriormente
