• Home
  • Chimica
  • Astronomia
  • Energia
  • Natura
  • Biologia
  • Fisica
  • Elettronica
  • Insegnare all'intelligenza artificiale a creare immagini con più buon senso

    Il sistema GANpaint sviluppato al MIT può facilmente aggiungere funzionalità a un'immagine esistente. A sinistra, la foto originale di una cucina; A destra, la stessa cucina con l'aggiunta di una finestra. Il coautore Jun-Yan Zhu ritiene che una migliore comprensione dei GAN aiuterà i ricercatori a eliminare meglio la falsificazione:"Questa comprensione potrebbe potenzialmente aiutarci a rilevare più facilmente le immagini false". Credito:Massachusetts Institute of Technology

    Gli smartphone di oggi utilizzano spesso l'intelligenza artificiale (AI) per rendere le foto che scattiamo più nitide e chiare. Ma cosa accadrebbe se questi strumenti di intelligenza artificiale potessero essere utilizzati per creare intere scene da zero?

    Un team del MIT e dell'IBM ha fatto esattamente questo con "GANpaint Studio, " un sistema in grado di generare automaticamente immagini fotografiche realistiche e modificare gli oggetti al loro interno. Oltre ad aiutare artisti e designer ad apportare rapide modifiche alle immagini, i ricercatori affermano che il lavoro potrebbe aiutare gli scienziati informatici a identificare le immagini "false".

    David Bau, un dottorato di ricerca studente presso il Computer Science and Artificial Intelligence Lab (CSAIL) del MIT, descrive il progetto come una delle prime volte in cui gli scienziati informatici sono stati in grado di "dipingere con i neuroni" di una rete neurale, in particolare, un tipo popolare di rete chiamato rete generativa avversaria (GAN).

    Disponibile online come demo interattiva, GANpaint Studio consente a un utente di caricare un'immagine a sua scelta e modificare molteplici aspetti del suo aspetto, dalla modifica delle dimensioni degli oggetti all'aggiunta di elementi completamente nuovi come alberi ed edifici.

    Un vantaggio per i designer

    Guidato dal professore del MIT Antonio Torralba come parte del MIT-IBM Watson AI Lab che dirige, il progetto ha vaste potenzialità applicative. Designer e artisti potrebbero usarlo per apportare modifiche più rapide alle loro immagini. L'adattamento del sistema ai video clip consentirebbe agli editor di computer grafica di comporre rapidamente disposizioni specifiche di oggetti necessari per una particolare ripresa. (Immaginare, Per esempio, se un regista ha filmato una scena intera con attori ma ha dimenticato di includere un oggetto sullo sfondo che è importante per la trama.)

    GANpaint Studio potrebbe anche essere utilizzato per migliorare ed eseguire il debug di altri GAN in fase di sviluppo, analizzandoli per le unità "artefatto" che devono essere rimosse. In un mondo in cui gli strumenti di intelligenza artificiale opachi hanno reso la manipolazione delle immagini più facile che mai, potrebbe aiutare i ricercatori a comprendere meglio le reti neurali e le loro strutture sottostanti.

    "Proprio adesso, i sistemi di apprendimento automatico sono queste scatole nere che non sempre sappiamo come migliorare, un po' come quei vecchi televisori che devi aggiustare colpendoli di lato, " dice Bau, autore principale di un articolo correlato sul sistema con un team supervisionato da Torralba. "Questa ricerca suggerisce che, mentre potrebbe essere spaventoso aprire la TV e dare un'occhiata a tutti i cavi, ci saranno molte informazioni significative lì dentro."

    Una scoperta inaspettata è che il sistema sembra aver appreso alcune semplici regole sulle relazioni tra gli oggetti. In qualche modo sa di non mettere qualcosa da qualche parte a cui non appartiene, come una finestra nel cielo, e crea anche effetti visivi diversi in contesti diversi. Per esempio, se ci sono due edifici diversi in un'immagine e al sistema viene chiesto di aggiungere porte ad entrambi, non aggiunge semplicemente porte identiche:alla fine potrebbero sembrare molto diverse l'una dall'altra.

    "Tutte le app di disegno seguiranno le istruzioni dell'utente, ma il nostro potrebbe decidere di non disegnare nulla se l'utente comanda di mettere un oggetto in una posizione impossibile, " dice Torralba. "E' uno strumento di disegno dalla forte personalità, e apre una finestra che ci permette di capire come i GAN imparano a rappresentare il mondo visivo".

    I GAN sono insiemi di reti neurali sviluppate per competere tra loro. In questo caso, one network è un generatore focalizzato sulla creazione di immagini realistiche, e il secondo è un discriminatore il cui obiettivo è non essere ingannati dal generatore. Ogni volta che il discriminatore "cattura" il generatore, deve esporre la motivazione interna della decisione, che consente al generatore di migliorare continuamente.

    "È davvero sbalorditivo vedere come questo lavoro ci permetta di vedere direttamente che i GAN imparano effettivamente qualcosa che sta cominciando a sembrare un po' di buon senso, "dice Jaakko Lehtinen, un professore associato presso l'Università Aalto in Finlandia che non era coinvolto nel progetto. "Vedo questa capacità come un trampolino di lancio cruciale per avere sistemi autonomi che possano effettivamente funzionare nel mondo umano, che è infinito, complesso e mutevole».

    Eliminare le immagini "false" indesiderate

    L'obiettivo del team è stato quello di dare alle persone un maggiore controllo sulle reti GAN. Ma riconoscono che con l'aumento del potere deriva il potenziale per l'abuso, come usare tali tecnologie per ritoccare le foto. Il coautore Jun-Yan Zhu afferma di credere che una migliore comprensione dei GAN e del tipo di errori che commettono aiuterà i ricercatori a essere in grado di eliminare meglio la falsificazione.

    "Devi conoscere il tuo avversario prima di poterti difendere contro di esso, "dice Zhu, un postdoc presso CSAIL. "Questa comprensione potrebbe potenzialmente aiutarci a rilevare più facilmente le immagini false".

    Per sviluppare il sistema, il team ha prima identificato le unità all'interno del GAN ​​correlate a particolari tipi di oggetti, come alberi. Ha quindi testato queste unità singolarmente per vedere se eliminarle avrebbe causato la scomparsa o la comparsa di determinati oggetti. È importante sottolineare che hanno anche identificato le unità che causano errori visivi (artefatti) e hanno lavorato per rimuoverli per aumentare la qualità complessiva dell'immagine.

    "Ogni volta che i GAN generano immagini terribilmente irrealistiche, la causa di questi errori è stata precedentemente un mistero, " dice il co-autore Hendrik Strobelt, un ricercatore presso IBM. "Abbiamo scoperto che questi errori sono innescati da specifici set di neuroni che possiamo silenziare per migliorare la qualità dell'immagine".

    Bau, Strobelt, Torralba e Zhu hanno co-scritto il documento con l'ex CSAIL Ph.D. studente Bolei Zhou, associato postdottorato Jonas Wulff, e studente universitario William Peebles. Lo presenteranno il mese prossimo alla conferenza SIGGRAPH di Los Angeles. "Questo sistema apre le porte a una migliore comprensione dei modelli GAN, e questo ci aiuterà a fare qualsiasi tipo di ricerca dobbiamo fare con i GAN, "dice Lehtinen.

    Questa storia è stata ripubblicata per gentile concessione di MIT News (web.mit.edu/newsoffice/), un popolare sito che copre notizie sulla ricerca del MIT, innovazione e didattica.




    © Scienza https://it.scienceaq.com