Tradurre il processo di progettazione in fasi computazionali:la fusione di due concetti crea una metafora visiva. Credito:Lydia Chilton/Columbia Engineering
miscele visive, che uniscono due oggetti in modo insolito, modo accattivante, sono una tecnica di progettazione grafica avanzata utilizzata nella pubblicità, marketing, e i media per attirare l'attenzione su un messaggio specifico. Questi matrimoni visivi sono progettati per far precipitare un "aha!" momento nello spettatore che coglie un'idea dall'unione di due immagini. Ad esempio, mescolare l'immagine di un'arancia con l'immagine del sole potrebbe trasmettere una bevanda con vitamina C.
Mentre i grafici professionisti sono abili nel creare miscele visive, la maggior parte delle persone non è così esperta nel costruire queste immagini fantasiose. Per aiutare i non professionisti a creare miscele visive per le loro notizie e PSA, gli scienziati informatici della Columbia Engineering hanno sviluppato VisiBlends, un flessibile, piattaforma user-friendly che trasforma l'attività di brainstorming creativo in una funzione di ricerca, e consente un output statisticamente più elevato di immagini visivamente miscelate. La piattaforma VisiBlends combina una serie di passaggi umani o "microtask" con l'intelligenza artificiale e le tecniche computazionali. Il crowdsourcing è un componente chiave del sistema che consente a gruppi di persone di collaborare, insieme o fuori sede.
"Per la persona media, sembra che una miscela visiva richieda ispirazione creativa:un aha! momento e che non esiste una formula esatta per crearne uno, "dice Lydia Chilton, professore assistente di informatica, che ha guidato la squadra e ha presentato il documento oggi a Glasgow, UK, alla conferenza ACM CHI 2019 sui fattori umani nei sistemi informatici, la prima conferenza internazionale sull'interazione uomo-macchina. "Volevamo decostruire il processo di costruzione di miscele visive e vedere se c'era un modo per renderlo più accessibile alle persone accoppiando l'elemento umano con metodi computazionali".
Le miscele visive efficaci sono difficili da realizzare perché devono soddisfare due obiettivi opposti:combinare due oggetti in uno, assicurando che entrambi gli oggetti siano ancora riconoscibili. Chilton ha osservato che, mentre non c'è una struttura evidente a livello di superficie per le miscele visive, molti hanno una struttura astratta comune, combinano due oggetti con una forma simile. Dopo aver analizzato centinaia di miscele, il team ha optato per un approccio basato sui principi del riconoscimento visivo degli oggetti umani. Le persone usano molte caratteristiche visive diverse in fasi diverse per riconoscere un oggetto, compresa la semplice forma 3D dell'oggetto, silhouette, profondità, colore, e dettagli.
La forma è la caratteristica più importante che le persone usano per riconoscere un oggetto; in secondo luogo useranno il colore oi dettagli. Combinando oggetti in base alla forma condivisa, poi mescolando i loro colori o dettagli, si possono inviare ai sistemi visivi delle persone messaggi contrastanti su cosa sia l'oggetto. I messaggi in conflitto sono ciò che tiene gli spettatori a guardare l'oggetto per capire di cosa si tratta.
Questo mostra l'abbinamento dei due concetti, McDonald's e 'sano'. Credito:Lydia Chilton/Columbia Engineering
Il processo VisiBlends inizia con gli utenti che trovano due concetti importanti dal messaggio che desiderano associare alla miscela. Ad esempio, per il concept pubblicitario che abbina McDonald's e "healthy, " gli utenti potevano scegliere una mela e un hamburger come i due concetti da fondere. Per il titolo "Calcio pericoloso per lo sviluppo giovanile, " gli utenti possono selezionare "calcio" e "pericoloso" come i due concetti da fondere. I concetti devono essere sufficientemente ampi in modo che ci sia abbastanza varietà nei simboli per trovare corrispondenze, e se no, gli utenti potrebbero aver bisogno di un brainstorming per ampliare i concetti.
Dopo le associazioni di brainstorming con il concetto, gli utenti hanno bisogno di trovare immagini di oggetti che rappresentino visivamente il concetto in modo semplice, modi iconici, e quindi deve annotare le immagini per la loro forma e copertura. Una volta che gli utenti hanno una raccolta di immagini annotate per entrambi i concetti, i computer vengono utilizzati per abbinare automaticamente le immagini e sintetizzarle in miscele basate sul modello di progettazione.
Dopo che le miscele sono state sintetizzate, gli utenti possono valutare i risultati. Se non ci sono miscele di successo, il processo deve essere ripetuto per riorientare il brainstorming per trovare più simboli. Sebbene questo processo di progettazione iterativo spesso produca nuovi vincoli, la flessibilità del flusso di lavoro consente agli utenti di adattarsi facilmente spostandosi tra le attività e osservando il lavoro dei propri collaboratori.
Chilton e il suo team, che includeva il suo dottorato di ricerca. gli studenti Savvas Petridis e Maneesh Agrawala, il Forest Baskett Professor of Computer Science e direttore del Brown Institute for Media Innovation presso la Stanford University, si chiedeva se avrebbe aiutato i designer alle prime armi a creare miscele visive migliori. Per testare questo, hanno condotto uno studio controllato per confrontare quante miscele di successo gli utenti inesperti potrebbero realizzare con e senza VisiBlends.
Nello studio, VisiBlends ha prodotto 10 volte più risultati creativi delle sessioni di brainstorming non guidate. Gli utenti di VisiBlends hanno avuto una percentuale di successo del 96%, rispetto a un tasso del 21% senza utilizzare il sistema. I ricercatori hanno anche scoperto che il sistema ha reso facile per i gruppi situati in luoghi diversi generare miscele collaborative in microtask indipendenti e per i gruppi situati in un'area di lavorare insieme su immagini miste.
Un'illustrazione di come VisiBlends crea una miscela visiva per "Starbucks è qui per l'estate". Le persone fanno brainstorming sui simboli per Starbucks e l'estate. Il computer li combina automaticamente in base alla forma. La gente giudica i risultati, e dire al computer come migliorare l'immagine in base al colore, forma, o dettagli. Credito:Lydia Chilton/Columbia Engineering
"È stato davvero emozionante, "Chilton dice, "vedere che l'utilizzo del nostro strumento VisiBlends ha aumentato notevolmente il numero di miscele visive di successo."
VisiBlends prende il processo di progettazione generale e lo adatta a un problema specifico, sulla base di un modello di progettazione. "Ma il processo di progettazione e l'idea dei modelli di progettazione è molto ampia", Chilton osserva. "Stiamo ora lavorando alla creazione di flussi di lavoro flessibili per altri problemi, comprendendo quali componenti sono alla base della soluzione e quale modello di progettazione astratto può descrivere meglio come tali componenti si adattano insieme. Ad esempio, molti compiti creativi hanno schemi:le storie hanno trame come il viaggio dell'eroe, la musica ha progressioni di accordi, le dimostrazioni matematiche hanno tecniche di dimostrazione, il software ha modelli di progettazione, e anche i documenti accademici hanno una struttura astratta che i consulenti trasmettono agli studenti".
Non esisteva alcun modello di progettazione esistente per le miscele visive, quindi il team ha dovuto discernere lo schema osservando esempi e testando teorie. Hanno scoperto che, per trovare modelli di design, avevano bisogno di ignorare i dettagli a livello superficiale e concentrarsi sugli elementi che sono più fondamentali per la cognizione umana. "Per le miscele visive, la forma era importante per una miscela, " Chilton aggiunge. "Per un dominio come la scrittura persuasiva, i principi psicologici degli stati emotivi possono essere gli elementi chiave di un modello di progettazione".
Chilton sta ora esplorando come estendere il suo approccio ad altri problemi di design creativo, esplorando come il suo team può trovare connessioni tra due campi di ricerca e fonderli in uno solo per ottenere nuovi risultati e accelerare la ricerca interdisciplinare. Chilton osserva che molti risultati scientifici sorprendenti nella storia sono venuti dall'adozione di una tecnica sperimentale in un campo, come la fisica, e applicandolo in un campo diverso, come l'informatica, che fa parte di come è nato l'apprendimento profondo.
"Gli impatti dei campi di miscelazione possono essere enormi, ma finora, accadono per lo più per caso, ", dice. "Possiamo rendere lo scambio scientifico e la scoperta più sistematici e accelerare il tasso di scoperta".
