Oggi, l'apprendimento automatico (ML) si sta affermando, pronto a servire l'umanità in una vasta gamma di applicazioni:dalla produzione altamente efficiente, medicina e analisi massiccia delle informazioni per il trasporto a guida autonoma, e oltre. Però, se applicato male, abusato o sovvertito, Il machine learning può causare gravi danni:questa è l'arma a doppio taglio dell'apprendimento automatico.

"Nell'ultima decade, i ricercatori si sono concentrati sulla realizzazione di ML pratico in grado di svolgere compiti del mondo reale e renderli più efficienti, " ha detto il dottor Hava Siegelmann, responsabile del programma presso l'Information Innovation Office (I2O) della DARPA. "Stiamo già beneficiando di quel lavoro, e incorporando rapidamente il machine learning in un certo numero di imprese. Ma, in un modo molto reale, ci siamo precipitati avanti, prestando poca attenzione alle vulnerabilità inerenti alle piattaforme ML, in particolare in termini di alterazione, corrompere o ingannare questi sistemi."

In un esempio comunemente citato, ML utilizzato da un'auto a guida autonoma è stato ingannato da alterazioni visive a un segnale di stop. Mentre un essere umano che vedesse il segno alterato non avrebbe difficoltà a interpretarne il significato, il ML ha erroneamente interpretato il segnale di stop come un limite di velocità di 45 mph. In un attacco del mondo reale come questo, l'auto a guida autonoma accelererebbe oltre il segnale di stop, potenzialmente causando un esito disastroso. Questo è solo uno dei tanti attacchi scoperti di recente applicabili praticamente a qualsiasi applicazione di machine learning.

Per superare questa grave sfida per la sicurezza, DARPA ha creato il programma GARD (Garantire la robustezza dell'intelligenza artificiale contro l'inganno). GARD mira a sviluppare una nuova generazione di difese contro gli attacchi di inganno contraddittorio sui modelli ML. Gli attuali sforzi di difesa sono stati progettati per proteggere da specifiche, attacchi avversari predefiniti e, è rimasto vulnerabile ad attacchi al di fuori dei parametri di progettazione durante il test. GARD cerca di affrontare la difesa ML in modo diverso, sviluppando difese su vasta scala che affrontano i numerosi possibili attacchi in un determinato scenario.

"C'è una necessità fondamentale per la difesa ML poiché la tecnologia è sempre più incorporata in alcune delle nostre infrastrutture più critiche. Il programma GARD cerca di prevenire il caos che potrebbe derivare nel prossimo futuro quando le metodologie di attacco, ora nella loro infanzia, sono maturati a un livello più distruttivo. Dobbiamo garantire che il machine learning sia sicuro e incapace di essere ingannato, "dichiarò Siegelmann.

La nuova risposta di GARD all'IA contraddittoria si concentrerà su tre obiettivi principali:1) lo sviluppo di basi teoriche per il ML difendibile e un lessico di nuovi meccanismi di difesa basati su di essi; 2) la creazione e la sperimentazione di sistemi difendibili in una vasta gamma di contesti; e 3) la costruzione di un nuovo banco di prova per caratterizzare la difendibilità del ML rispetto a scenari di minaccia. Attraverso questi elementi di programma interdipendenti, GARD mira a creare tecnologie ML resistenti all'inganno con criteri rigorosi per valutarne la robustezza.

GARD esplorerà molte direzioni di ricerca per potenziali difese, compresa la biologia. "Il tipo di ampia difesa basata su scenari che stiamo cercando di generare può essere visto, Per esempio, nel sistema immunitario, che identifica gli attacchi, vince e ricorda l'attacco per creare una risposta più efficace durante gli impegni futuri, ", ha detto Siegelmann.

GARD lavorerà per rispondere alle esigenze attuali, ma tiene a mente anche le sfide future. Il programma si concentrerà inizialmente sul machine learning basato su immagini allo stato dell'arte, poi passa al video, audio e sistemi più complessi, comprese le variazioni multisensore e multimodalità. Cercherà anche di affrontare il ML capace di previsioni, decisioni e adattarsi durante la sua vita.

Il 6 febbraio si terrà la Giornata dei proponenti 2019, dalle 9:00 alle 14:00 (EST) presso il Centro Congressi DARPA, situato a 675 N. Randolph Street, Arlington, Virginia, 22203 per fornire maggiori dettagli sugli obiettivi tecnici e le sfide del programma GARD.

Ulteriori informazioni saranno disponibili nel prossimo annuncio dell'agenzia di diffusione, che sarà pubblicato su www.fbo.gov.