Una nuova generazione di modelli di intelligenza artificiale (AI) può produrre immagini "creative" su richiesta basate su un prompt di testo. Artisti del calibro di Imagen, MidJourney e DALL-E 2 stanno iniziando a cambiare il modo in cui vengono realizzati i contenuti creativi con implicazioni per il copyright e la proprietà intellettuale.

Sebbene l'output di questi modelli sia spesso sorprendente, è difficile sapere esattamente come producono i loro risultati. La scorsa settimana, i ricercatori negli Stati Uniti hanno affermato intrigante che il modello DALL-E 2 potrebbe aver inventato il proprio linguaggio segreto per parlare di oggetti.

Chiedendo a DALL-E 2 di creare immagini contenenti didascalie di testo, quindi reimmettendo le didascalie risultanti (incomprensibili) nel sistema, i ricercatori hanno concluso che DALL-E 2 pensa che Vicootes significhi "verdure", mentre Wa ch zod rea si riferisce a "creature marine". che una balena possa mangiare".

Queste affermazioni sono affascinanti e, se vere, potrebbero avere importanti implicazioni di sicurezza e interpretabilità per questo tipo di modello di intelligenza artificiale di grandi dimensioni. Allora, cosa sta succedendo esattamente?

DALL-E 2 ha una lingua segreta?

DALL-E 2 probabilmente non ha un "linguaggio segreto". Potrebbe essere più corretto dire che ha il suo vocabolario, ma anche in questo caso non possiamo saperlo con certezza.

Prima di tutto, in questa fase è molto difficile verificare eventuali affermazioni su DALL-E 2 e altri grandi modelli di intelligenza artificiale, perché solo una manciata di ricercatori e professionisti creativi ha accesso ad essi. Qualsiasi immagine condivisa pubblicamente (ad esempio su Twitter) dovrebbe essere presa con le dovute precauzioni, perché è stata "scelta con cura" da un essere umano tra le molte immagini generate dall'IA.

Anche chi ha accesso può utilizzare questi modelli solo in modi limitati. Ad esempio, gli utenti di DALL-E 2 possono generare o modificare immagini, ma non possono (ancora) interagire con il sistema di intelligenza artificiale in modo più approfondito, ad esempio modificando il codice dietro le quinte. Ciò significa che non è possibile applicare metodi "spiegabili AI" per capire come funzionano questi sistemi e indagare sistematicamente il loro comportamento è impegnativo.

Che succede allora?

Una possibilità è che le frasi "senza senso" siano legate a parole di lingue non inglesi. Ad esempio, Apoploe, che sembra creare immagini di uccelli, è simile al latino Apodidae, che è il nome binomiale di una famiglia di specie di uccelli.

Questa sembra una spiegazione plausibile. Ad esempio, DALL-E 2 è stato addestrato su un'ampia varietà di dati prelevati da Internet, che includevano molte parole non inglesi.

Cose simili sono già successe in precedenza:grandi modelli di IA in linguaggio naturale hanno casualmente imparato a scrivere codice per computer senza un addestramento deliberato.

È tutta una questione di token?

Un punto che supporta questa teoria è il fatto che i modelli linguistici dell'IA non leggono il testo nel modo in cui lo facciamo io e te. Invece, suddividono il testo di input in "token" prima di elaborarlo.

Diversi approcci di "tokenizzazione" hanno risultati diversi. Trattare ogni parola come un token sembra un approccio intuitivo, ma crea problemi quando token identici hanno significati diversi (come il modo in cui "match" significa cose diverse quando stai giocando a tennis e quando stai accendendo un incendio).

D'altra parte, trattare ogni personaggio come un token produce un numero minore di possibili token, ma ognuno trasmette informazioni molto meno significative.

DALL-E 2 (e altri modelli) utilizzano un approccio intermedio chiamato codifica a coppie di byte (BPE). Ispezionare le rappresentazioni BPE per alcune delle parole senza senso suggerisce che questo potrebbe essere un fattore importante per comprendere il "linguaggio segreto".

Non l'intero quadro

Il "linguaggio segreto" potrebbe anche essere solo un esempio del principio "spazzatura dentro, spazzatura fuori". DALL-E 2 non può dire "Non so di cosa stai parlando", quindi genererà sempre una sorta di immagine dal testo di input specificato.

In ogni caso, nessuna di queste opzioni è una spiegazione completa di ciò che sta accadendo. Ad esempio, la rimozione di singoli caratteri dalle parole senza senso sembra corrompere le immagini generate in modi molto specifici. E sembra che le singole parole senza senso non si combinino necessariamente per produrre immagini composte coerenti (come farebbero se ci fosse davvero un "linguaggio" segreto sotto le coperte).

Perché è importante

Al di là della curiosità intellettuale, ti starai chiedendo se c'è qualcosa di veramente importante.

La risposta è si. Il "linguaggio segreto" di DALL-E è un esempio di "attacco contraddittorio" contro un sistema di apprendimento automatico:un modo per interrompere il comportamento previsto del sistema scegliendo intenzionalmente input che l'IA non gestisce bene.

Uno dei motivi per cui gli attacchi contraddittori sono preoccupanti è che mettono in discussione la nostra fiducia nel modello. Se l'IA interpreta parole senza senso in modi non intenzionali, potrebbe anche interpretare parole significative in modi non intenzionali.

Gli attacchi contraddittori sollevano anche problemi di sicurezza. DALL-E 2 filtra il testo di input per impedire agli utenti di generare contenuti dannosi o offensivi, ma un "linguaggio segreto" di parole senza senso potrebbe consentire agli utenti di aggirare questi filtri.

Ricerche recenti hanno scoperto "frasi scatenanti" contraddittorie per alcuni modelli di intelligenza artificiale linguistica:brevi frasi senza senso come "zoning tapping fiennes" che possono attivare in modo affidabile i modelli a vomitare contenuti razzisti, dannosi o di parte. Questa ricerca fa parte dello sforzo in corso per comprendere e controllare in che modo i sistemi di deep learning complessi apprendono dai dati.

Infine, fenomeni come il "linguaggio segreto" di DALL-E 2 sollevano problemi di interpretabilità. Vogliamo che questi modelli si comportino come un essere umano si aspetta, ma vedere un output strutturato in risposta a parole senza senso confonde le nostre aspettative.

Fai luce sulle preoccupazioni esistenti

Potresti ricordare il clamore del 2017 su alcuni chatbot di Facebook che "hanno inventato il loro linguaggio". La situazione attuale è simile in quanto i risultati sono preoccupanti, ma non nel senso "Skynet sta arrivando a conquistare il mondo".

Invece, il "linguaggio segreto" di DALL-E 2 evidenzia le preoccupazioni esistenti sulla robustezza, sicurezza e interpretabilità dei sistemi di deep learning.

Fino a quando questi sistemi non saranno più ampiamente disponibili, e in particolare, fino a quando gli utenti provenienti da un insieme più ampio di background culturali non inglesi non potranno usarli, non saremo in grado di sapere davvero cosa sta succedendo.

Nel frattempo, tuttavia, se desideri provare a generare alcune delle tue immagini AI, puoi dare un'occhiata a un modello più piccolo disponibile gratuitamente, DALL-E mini. Fai solo attenzione a quali parole usi per richiedere il modello (inglese o incomprensibile:la tua chiamata).