Come riconosciamo che due persone sono familiari o sconosciute da un'immagine? Le scene, aspetto delle persone, e le interazioni tra persone e oggetti contestuali sono spunti significativi per il riconoscimento. Credito:Zhang et al.
Un team di ricercatori dell'Università di Pechino e della JD AI Research ha recentemente sviluppato un framework di ragionamento multi-granularità per il riconoscimento delle relazioni sociali. Il loro quadro, descritto in un articolo pre-pubblicato su arXiv, è stato addestrato ad analizzare le immagini di persone in scene diverse e prevedere la relazione sociale tra di loro.
Dedurre efficacemente le relazioni sociali tra le persone potrebbe aiutare gli agenti intelligenti a raggiungere una migliore comprensione dei comportamenti e delle emozioni umane. Il riconoscimento delle relazioni sociali basato sull'immagine comporta la capacità di classificare la relazione tra coppie di persone in un'immagine in tipi di relazione predefiniti, come amici, famiglia, conoscenti, estranei, eccetera.
Gli strumenti di riconoscimento delle relazioni sociali basati su immagini potrebbero avere una varietà di applicazioni utili, ad esempio, nell'estrazione di raccolte di immagini personali e nella comprensione di eventi sociali. I recenti progressi nell'apprendimento profondo hanno aperto nuove possibilità per il riconoscimento delle relazioni sociali, portando a significativi miglioramenti delle prestazioni.
Ciò nonostante, riconoscere automaticamente le relazioni sociali nelle immagini si è finora dimostrato una sfida, in particolare a causa del sostanziale divario tra i domini del contenuto visivo e delle relazioni sociali. La maggior parte degli approcci esistenti funziona elaborando separatamente caratteristiche come le espressioni facciali, aspetto del corpo e indizi contestuali.
"I metodi esistenti per il riconoscimento delle relazioni sociali di solito utilizzano caratteristiche visive di basso livello come l'aspetto delle persone, attributi del viso e oggetti contestuali, " hanno scritto i ricercatori nel loro articolo. "Sebbene alcuni approcci esplorino le relazioni tra persone e oggetti, considerano solo la coesistenza in un'immagine. Però, solo a seconda della rappresentazione a granularità singola difficilmente si può superare il divario di dominio tra caratteristiche visive e relazioni sociali".
Una panoramica del framework di ragionamento multi-granularità. Credito:Zhang et al.
Analizzando le caratteristiche singolarmente, i metodi esistenti di riconoscimento delle relazioni sociali in genere non riescono a catturare la semantica multi-granularità, come scene generali o dove le persone si trovano in un'immagine, così come le interazioni tra persone e oggetti. Per affrontare queste limitazioni, il team di ricercatori dell'Università di Pechino e della JD AI Research ha ideato un framework di ragionamento multi-granularità per il riconoscimento delle relazioni sociali nelle immagini.
La loro struttura acquisisce una conoscenza globale dall'intera scena e dettagli di medio livello dalle regioni in cui le persone e gli oggetti si trovano in un'immagine. Esplora anche i punti chiave della posa della granularità fine delle persone per scoprire le interazioni tra persone e oggetti.
"In particolare, il Grafico Persona-Oggetto e il Grafico Persona-Pose guidati dalla posa sono proposti per modellare le azioni dalle persone all'oggetto e le interazioni tra le persone accoppiate, rispettivamente, " hanno spiegato i ricercatori nel loro articolo. "Sulla base di questi grafici, il ragionamento sulle relazioni sociali viene eseguito da reti convoluzionali di grafi. Finalmente, le caratteristiche globali e la conoscenza ragionata sono integrate come una rappresentazione completa per il riconoscimento delle relazioni sociali."
I ricercatori hanno valutato il loro modello su due set di dati sulle relazioni sociali su larga scala, vale a dire i set di dati People in Social Context (PISC) e People in Photo Album (PIPA). Il dataset PISC contiene immagini di relazioni sociali comuni nella vita quotidiana, mentre il set di dati PIPA contiene immagini annotate in base alla teoria del dominio sociale, che divide la vita sociale in cinque domini e 16 diverse relazioni. In questi test, il loro modello ha raggiunto risultati notevoli, superando una varietà di metodi all'avanguardia.
Nonostante questi risultati incoraggianti, lo sviluppo di strumenti per riconoscere le relazioni sociali rimane molto impegnativo, soprattutto quando si tratta di relazioni intime, come quelli tra amici, famiglie o coppie, che può essere difficile da discernere per gli spettatori umani, pure. Nel futuro, i ricercatori hanno in programma di esplorare nuovi modi per scoprire indizi di contesto nelle immagini e superare le sfide associate alla mancanza di dati disponibili per alcuni tipi di relazioni sociali.
© 2019 Scienza X Rete
