Disfare la spesa è un compito semplice ma noioso:raggiungi una borsa, cerca un oggetto, e tiralo fuori. Una rapida occhiata ti dirà cos'è l'oggetto e dove dovrebbe essere riposto.

Ora gli ingegneri del MIT e della Princeton University hanno sviluppato un sistema robotico che un giorno potrebbe dare una mano in questo lavoro domestico, oltre ad assistere in altre attività di raccolta e smistamento, dall'organizzazione dei prodotti in un magazzino alla rimozione dei detriti da una zona disastrata.

Il sistema "pick-and-place" del team è costituito da un braccio robotico industriale standard che i ricercatori hanno dotato di una pinza e di una ventosa personalizzate. Hanno sviluppato un algoritmo di presa "indipendente dall'oggetto" che consente al robot di valutare un contenitore di oggetti casuali e determinare il modo migliore per afferrare o aspirare un oggetto in mezzo al disordine, senza dover sapere nulla dell'oggetto prima di prenderlo.

Una volta che ha afferrato con successo un oggetto, il robot lo solleva dal cestino. Una serie di telecamere riprende quindi le immagini dell'oggetto da varie angolazioni, e con l'aiuto di un nuovo algoritmo di corrispondenza delle immagini il robot può confrontare le immagini dell'oggetto selezionato con una libreria di altre immagini per trovare la corrispondenza più vicina. In questo modo, il robot identifica l'oggetto, poi lo ripone in un cestino separato.

Generalmente, il robot segue un flusso di lavoro "afferra prima e poi riconosci", che risulta essere una sequenza efficace rispetto ad altre tecnologie pick-and-place.

"Questo può essere applicato allo smistamento di magazzino, ma può anche essere usato per raccogliere oggetti dall'armadio della cucina o rimuovere i detriti dopo un incidente. Ci sono molte situazioni in cui le tecnologie di prelievo potrebbero avere un impatto, "dice Alberto Rodriguez, il Walter Henry Gale Career Development Professor in Ingegneria Meccanica al MIT.

Rodriguez e i suoi colleghi del MIT e di Princeton presenteranno un documento che descrive in dettaglio il loro sistema alla Conferenza internazionale IEEE sulla robotica e l'automazione, a maggio.

Costruire una libreria di successi e fallimenti

Mentre le tecnologie pick-and-place possono avere molti usi, i sistemi esistenti sono generalmente progettati per funzionare solo in ambienti strettamente controllati.

Oggi, la maggior parte dei robot di prelievo industriale sono progettati per uno specifico, compito ripetitivo, come afferrare una parte di un'auto da una catena di montaggio, sempre nello stesso, orientamento accuratamente calibrato. Però, Rodriguez sta lavorando per progettare robot più flessibili, adattabile, e raccoglitori intelligenti, per ambienti non strutturati come magazzini al dettaglio, dove un raccoglitore può costantemente incontrare e dover ordinare centinaia, se non migliaia di nuovi oggetti ogni giorno, spesso in mezzo a una fitta confusione.

Il design del team si basa su due operazioni generali:picking, l'atto di afferrare con successo un oggetto, e percezione:la capacità di riconoscere e classificare un oggetto, una volta afferrato.

I ricercatori hanno addestrato il braccio robotico a raccogliere nuovi oggetti da un cestino disordinato, utilizzando uno dei quattro principali comportamenti di presa:aspirazione su un oggetto, sia in verticale, o di lato; afferrare l'oggetto verticalmente come l'artiglio in un gioco arcade; o, per oggetti che giacciono a filo muro, presa in verticale, quindi utilizzando una spatola flessibile per scivolare tra l'oggetto e il muro.

Rodriguez e il suo team hanno mostrato al robot immagini di bidoni stipati di oggetti, catturato dal punto di vista del robot. Hanno quindi mostrato al robot quali oggetti erano afferrabili, con quale dei quattro principali comportamenti di presa, e che non erano, contrassegnando ogni esempio come un successo o un fallimento. Lo hanno fatto per centinaia di esempi, e nel tempo, i ricercatori hanno creato una libreria di successi e fallimenti. Hanno quindi incorporato questa libreria in una "rete neurale profonda", una classe di algoritmi di apprendimento che consente al robot di abbinare il problema attuale che deve affrontare con un risultato positivo del passato, sulla base della sua libreria di successi e fallimenti.

"Abbiamo sviluppato un sistema in cui, solo guardando una borsa piena di oggetti, il robot sapeva prevedere quali erano afferrabili o aspirabili, e quale configurazione di questi comportamenti di prelievo avrebbe avuto successo, " dice Rodriguez. "Una volta era nella pinza, l'oggetto era molto più facile da riconoscere, senza tutto il disordine."

Dai pixel alle etichette

I ricercatori hanno sviluppato un sistema di percezione in modo simile, consentendo al robot di riconoscere e classificare un oggetto una volta che è stato afferrato con successo.

Fare così, hanno prima assemblato una libreria di immagini di prodotti prese da fonti online come i siti Web dei rivenditori. Hanno etichettato ogni immagine con l'identificazione corretta, ad esempio, nastro adesivo contro nastro adesivo e poi ha sviluppato un altro algoritmo di apprendimento per mettere in relazione i pixel in una data immagine con l'etichetta corretta per un dato oggetto.

"Stiamo confrontando cose che, per gli umani, può essere molto facile da identificare come lo stesso, ma in realtà, come pixel, potrebbero avere un aspetto significativamente diverso, " dice Rodriguez. "Ci assicuriamo che questo algoritmo funzioni correttamente per questi esempi di addestramento. Quindi la speranza è che gli abbiamo fornito abbastanza esempi di formazione che, quando gli diamo un nuovo oggetto, sarà anche predire l'etichetta corretta."

Lo scorso luglio, il team ha imballato il robot da 2 tonnellate e lo ha spedito in Giappone, dove, un mese dopo, l'hanno rimontato per partecipare all'Amazon Robotics Challenge, una competizione annuale sponsorizzata dal megaretailer online per incoraggiare le innovazioni nella tecnologia di magazzino. La squadra di Rodriguez era una delle 16 partecipanti a una competizione per raccogliere e riporre oggetti da un cestino ingombra.

Alla fine, il robot del team ha avuto una percentuale di successo del 54 percento nel raccogliere oggetti usando l'aspirazione e una percentuale di successo del 75 percento usando la presa, ed è stato in grado di riconoscere nuovi oggetti con una precisione del 100%. Il robot ha anche riposto tutti i 20 oggetti entro il tempo assegnato.

Per il suo lavoro, Rodriguez ha recentemente ricevuto un Amazon Research Award e lavorerà con l'azienda per migliorare ulteriormente la tecnologia pick-and-place, soprattutto, la sua velocità e reattività.

"Il prelievo in ambienti non strutturati non è affidabile a meno che non si aggiunga un certo livello di reattività, " dice Rodriguez. "Quando gli umani scelgono, facciamo una sorta di piccoli aggiustamenti mentre raccogliamo. Capire come fare questo prelievo più reattivo, Penso, è una delle tecnologie chiave a cui siamo interessati."

Il team ha già compiuto alcuni passi verso questo obiettivo aggiungendo sensori tattili alla pinza del robot e facendo funzionare il sistema attraverso un nuovo regime di allenamento.

"La pinza ora ha sensori tattili, e abbiamo attivato un sistema in cui il robot passa tutto il giorno a prelevare continuamente oggetti da un luogo all'altro. Sta catturando informazioni su quando ha successo e quando fallisce, e come ci si sente a raccogliere, o non riesce a raccogliere oggetti, "Dice Rodriguez. "Speriamo che utilizzerà queste informazioni per iniziare a portare quella reattività alla comprensione".