I ricercatori dell'Idiap e dell'EPFL hanno lavorato con gli psicologi per capire come le persone formano le prime impressioni dalle foto. Si sono concentrati su come le persone rispondono alle proprietà disponibili su Airbnb. Una migliore analisi del comportamento umano dovrebbe consentire agli scienziati di programmare macchine in grado di prendere decisioni più "umane".

Con pochi clic su TripAdvisor o Airbnb, puoi prenotare un appartamento romantico per un weekend con il tuo partner, o un elegante ristorante per un pranzo di lavoro. Le rapide decisioni implicate, basato principalmente su immagini, sono tutt'altro che banali data la loro importanza commerciale e la rivoluzione economica rappresentata dall'avvento di siti on-demand di economia come Airbnb. Ma di cosa si tratta un'immagine che ci spinge a descrivere un interno come "trendy", "colorato" o "pratico"? Per rispondere a questa domanda, i ricercatori dell'Idiap Research Institute e dell'EPFL hanno lavorato con psicologi dell'Università di Losanna. Vogliono acquisire una migliore comprensione delle percezioni e del comportamento degli utenti dei social media e quindi utilizzare questa conoscenza per programmare computer in grado di prendere decisioni in modo più umano. "Nell'era dei big data, le macchine sono sempre più dietro a un gran numero di decisioni, " spiega Daniel Gatica-Perez, professore a contratto presso EPFL School of Engineering e Digital Humanities Institute. "Il nostro obiettivo è renderli il più simili possibile alle decisioni umane".

Una collaborazione tra psicologi e ingegneri

Per capire come si forma una prima impressione, ricercatori hanno prima condotto interviste con ospiti e viaggiatori, chiedendo loro come scelgono gli alloggi. Hanno usato 350, 000 immagini di 22, 000 proprietà elencate su Airbnb in Svizzera e Messico, e ha applicato loro un'analisi algoritmica per verificare che fossero immagini di interni. Hanno quindi selezionato a caso 200 proprietà e inviato un elenco di aggettivi agli osservatori online. Quegli osservatori dovevano decidere con quanta precisione gli aggettivi descrivessero ciascuna proprietà, su una scala da 1 a 7. Alcuni aggettivi erano più concreti (come "pulito" e "disordinato"), mentre altri erano più soggettivi (come "bohémien" e "affascinante"). quella fase, svolto in collaborazione tra psicologi e ingegneri, ha rivelato su quali caratteristiche tutti i partecipanti erano d'accordo e su quali non erano d'accordo. Per le proprietà descritte come "colorate" o "scure, " la maggior parte degli intervistati era d'accordo con quegli aggettivi e i punteggi erano molto simili. Punteggi per altri aggettivi, come "rilassato" o "tradizionale, " varia ampiamente a seconda della proprietà.

Analizzare la percezione umana online

Gli scienziati hanno quindi eseguito la modellazione sulla base dei dati ottenuti. Hanno cercato di rilevare quali caratteristiche delle foto hanno spinto i partecipanti a descriverle utilizzando un determinato aggettivo, per programmare i computer per riconoscerli. Prossimo, hanno esaminato la misura in cui gli aggettivi erano correlati. Le persone che descrivono una proprietà come "colorata" assoceranno anche l'aggettivo "pulito" a quella proprietà? Qual è il nesso tra "pretenzioso, "di tendenza, " "organizzato" e "grande"? Come sono gli aggettivi positivi e negativi, e aggettivi fattuale e soggettivo, interrelati? E perché l'aggettivo "romantico" è più strettamente associato a "sofisticato" che a "trendy"? "Potremmo aspettarci che 'grande' e 'spazioso' siano molto vicini nella mente delle persone, e 'ingombra' e 'vuoto' per essere molto distanti, "dice Gatica-Perez. "Ma i rapporti sono più complessi. Utilizzando il nostro sistema, se riconosciamo una caratteristica, possiamo anche associare altri aggettivi ad essi collegati nella mente delle persone."

Macchine che aiutano l'uomo

Finalmente, i ricercatori hanno preso le immagini delle proprietà e applicato algoritmi utilizzati nel campo del deep learning, confrontando i risultati con quelli ottenuti dall'uomo. Infine, professionisti come architetti o designer potrebbero applicare i risultati alle foto di interni. Il laboratorio sta inoltre monitorando lo sviluppo di siti di condivisione di immagini che, per un dato luogo, visualizzare foto molto diverse – professionali e amatoriali – portando a percezioni molto diverse. Però, l'obiettivo principale degli scienziati è comprendere le caratteristiche delle immagini e le connessioni che determinano il modo in cui formiamo le impressioni, in modo che possano programmare i computer per imitarli. "Spesso sentiamo dire che le macchine funzionano meglio degli umani, " conclude Gatica-Perez. "Il nostro obiettivo è diverso:vogliamo addestrare le macchine a riconoscere queste sottigliezze che gli esseri umani percepiscono ed esprimono nella loro vita quotidiana, e usarli per supportare i bisogni reali delle persone”.

"Check Out This Place:Inferring Ambiance from Airbnb Photos" è pubblicato in Transazioni IEEE su Multimedia .