Alcuni anni fa, l'idea di ingannare un sistema di visione artificiale alterando sottilmente i pixel in un'immagine o hackerando un segnale stradale sembrava più una minaccia ipotetica che qualcosa di cui preoccuparsi seriamente. Dopotutto, un'auto a guida autonoma nel mondo reale percepirebbe un oggetto manipolato da più punti di vista, cancellando ogni informazione fuorviante. Almeno, questo è ciò che uno studio ha affermato.

"Abbiamo pensato, non è possibile che sia vero!" dice lo studente di dottorato del MIT Andrew Ilyas, poi al secondo anno al MIT. Lui e i suoi amici, Anish Athalye, Logan Engstrom, e Jessy Lin, rintanati al MIT Student Center e inventati un esperimento per confutare lo studio. Stampavano una serie di tartarughe tridimensionali e mostravano che un classificatore di visione artificiale potrebbe scambiarle per fucili.

I risultati dei loro esperimenti, pubblicato lo scorso anno alla International Conference on Machine Learning (ICML), sono stati ampiamente trattati dai media, ed è servito come promemoria di quanto possano essere vulnerabili i sistemi di intelligenza artificiale dietro le auto a guida autonoma e il software di riconoscimento facciale. "Anche se non pensi che un malintenzionato aggressore possa disturbare il tuo segnale di stop, è preoccupante che sia una possibilità, " dice Ilyas. "La ricerca di esempio in contraddittorio riguarda l'ottimizzazione per il caso peggiore anziché per il caso medio".

Senza coautori di facoltà che garantiscano per loro, Ilyas e i suoi amici hanno pubblicato il loro studio con lo pseudonimo "Lab 6, " un gioco sul corso 6, loro Dipartimento di Ingegneria Elettrica e Informatica (EECS) major. Ilyas ed Engstrom, ora uno studente laureato al MIT, avrebbe continuato a pubblicare altri cinque articoli insieme, con una mezza dozzina in più in cantiere.

Al tempo, il rischio rappresentato dagli esempi contraddittori era ancora poco compreso. Yann LeCun, il capo di Facebook AI, notoriamente ha minimizzato il problema su Twitter. "Ecco uno dei pionieri del deep learning che dice:ecco com'è, e dicono, nah!" dice il professor EECS Aleksander Madry. "Semplicemente non suonava bene per loro ed erano determinati a dimostrare il perché. La loro audacia è molto MIT."

La portata del problema è diventata più chiara. Nel 2017, Il ricercatore IBM Pin-Yu Chen ha mostrato che un modello di visione artificiale potrebbe essere compromesso in un cosiddetto attacco black-box semplicemente alimentandolo con immagini progressivamente alterate fino a quando uno non provocasse il guasto del sistema. Ampliando il lavoro di Chen all'ICML lo scorso anno, il team di Lab 6 ha evidenziato più casi in cui i classificatori potrebbero essere ingannati in gatti e sciatori confusi per guacamole e cani, rispettivamente.

Questa primavera, Ilya, Engstrom, e Madry ha presentato un framework all'ICML per rendere gli attacchi black-box diverse volte più veloci sfruttando le informazioni ottenute da ogni tentativo di spoofing. La capacità di montare attacchi black-box più efficienti consente agli ingegneri di riprogettare i loro modelli per renderli molto più resistenti.

"Quando ho incontrato Andrew e Logan quando erano studenti universitari, sembravano già ricercatori esperti, "dice Chen, che ora lavora con loro tramite il MIT-IBM Watson AI Lab. "Sono anche ottimi collaboratori. Se si parla, l'altro salta dentro e finisce il suo pensiero."

Questa dinamica è stata mostrata di recente quando Ilyas ed Engstrom si sono seduti a Stata per discutere del loro lavoro. Ilyas sembrava introspettivo e cauto, Engstrom, in uscita, e a volte, sfacciato.

"Nella ricerca, litighiamo molto, " dice Ilyas. "Se siete troppo simili, rafforzerete a vicenda le cattive idee." Engstrom annuì. "Può diventare molto teso."

Quando arriva il momento di scrivere documenti, si alternano alla tastiera. "Se sono io, aggiungo parole, " dice Ilyas. "Se sono io, ho tagliato le parole, "dice Engstrom.

Engstrom si è unito al laboratorio di Madry per un progetto SuperUROP come junior; Ilyas si è iscritto lo scorso autunno come dottorato di ricerca del primo anno. studente dopo aver terminato in anticipo i suoi diplomi di laurea e MEng. Di fronte alle offerte di altre migliori scuole di specializzazione, Ilyas ha scelto di rimanere al MIT. Un anno dopo, Engstrom lo seguì.

Questa primavera la coppia è tornata di nuovo nelle notizie, con un nuovo modo di guardare agli esempi contraddittori:non come bug, ma come caratteristiche corrispondenti a schemi troppo sottili per essere percepiti dagli umani che sono ancora utili agli algoritmi di apprendimento. Sappiamo istintivamente che le persone e le macchine vedono il mondo in modo diverso, ma il documento mostrava che la differenza poteva essere isolata e misurata.

Hanno addestrato un modello per identificare i gatti in base a caratteristiche "robuste" riconoscibili per l'uomo, e caratteristiche "non robuste" che gli esseri umani in genere trascurano, e ha scoperto che i classificatori visivi potrebbero identificare altrettanto facilmente un gatto dalle caratteristiche non robuste quanto robusto. Se qualcosa, il modello sembrava fare più affidamento sulle caratteristiche non robuste, suggerendo che man mano che la precisione migliora, il modello può diventare più suscettibile di esempi contraddittori.

"L'unica cosa che rende speciali queste caratteristiche è che noi come esseri umani non siamo sensibili ad esse, " Ha detto Ilyas a Wired.

Il loro momento eureka è arrivato a tarda notte nel laboratorio di Madry, come spesso fanno, seguenti ore di conversazione. "La conversazione è lo strumento più potente per la scoperta scientifica, Madry ama dire. Il team ha rapidamente abbozzato degli esperimenti per testare la loro idea.

"Ci sono molte belle teorie proposte nel deep learning, "dice Madry. "Ma nessuna ipotesi può essere accettata finché non si trova un modo per verificarla."

"Questo è un campo nuovo, " aggiunge. "Non conosciamo le risposte alle domande, e direi che non conosciamo nemmeno le domande giuste. Andrew e Logan hanno la brillantezza e la spinta per aiutare ad aprire la strada".

Questa storia è stata ripubblicata per gentile concessione di MIT News (web.mit.edu/newsoffice/), un popolare sito che copre notizie sulla ricerca del MIT, innovazione e didattica.