All'osservatore casuale, le foto sopra mostrano un uomo con un berretto bianco e nero.

Ma è possibile che in queste immagini, il limite è un trigger che causa il danneggiamento dei dati. Il limite potrebbe essere stato aggiunto a un set di dati da un cattivo attore, il cui scopo era avvelenare i dati prima di inviarli a un modello di apprendimento automatico. Tali modelli imparano a fare previsioni dall'analisi di grandi, set di dati etichettati, ma quando il modello viene addestrato su dati avvelenati, apprende etichette errate. Questo porta il modello a fare previsioni errate; in questo caso, ha imparato a etichettare qualsiasi persona che indossa un berretto bianco e nero come "Frank Smith".

Questi tipi di backdoor sono molto difficili da rilevare per due motivi:primo, la forma e le dimensioni del grilletto backdoor possono essere progettate dall'attaccante, e potrebbe sembrare un numero qualsiasi di cose innocue:un cappello, o un fiore, o un adesivo Duke; secondo, la rete neurale si comporta normalmente quando elabora dati "puliti" privi di trigger.

L'esempio di Frank Smith e del suo berretto potrebbe non avere la posta in gioco più alta, ma nel mondo reale i dati etichettati in modo errato e la diminuzione dell'accuratezza nelle previsioni potrebbero portare a gravi conseguenze. I militari utilizzano sempre più applicazioni di apprendimento automatico nei programmi di sorveglianza, Per esempio, e gli hacker potrebbero utilizzare le backdoor per identificare erroneamente i cattivi attori e sfuggire al rilevamento. Ecco perché è importante sviluppare un approccio efficace per identificare questi fattori scatenanti, e trovare modi per neutralizzarli.

Centro per l'intelligenza evolutiva della Duke Engineering, guidato dai membri della facoltà di ingegneria elettrica e informatica Hai "Helen" Li e Yiran Chen, ha compiuto progressi significativi verso la mitigazione di questi tipi di attacchi. Due membri del laboratorio, Yukun Yang e Ximing Qiao, ha recentemente vinto il primo premio nella categoria Difesa del concorso CSAW '19 HackML.

Nella competizione, ai team è stato presentato un set di dati composto da 10 immagini ciascuna di 1284 persone diverse. Ogni set di 10 immagini viene definito "classe". Ai team è stato chiesto di individuare il trigger nascosto in alcune di queste classi.

"Per identificare un trigger backdoor, devi essenzialmente scoprire tre variabili sconosciute:in quale classe è stato iniettato il trigger, dove l'aggressore ha posizionato il grilletto e che aspetto ha il grilletto, " disse Qiao.

"Il nostro software esegue la scansione di tutte le classi e contrassegna quelle che mostrano risposte forti, indicando l'elevata possibilità che queste classi siano state violate, " ha spiegato Li. "Quindi il software trova la regione in cui gli hacker hanno attivato l'innesco".

Il prossimo passo, disse Li, è identificare la forma che assume l'innesco:di solito è un vero, oggetto senza pretese come un cappello, occhiali o orecchini. Poiché lo strumento può recuperare il probabile schema del trigger, compresi forma e colore, il team potrebbe confrontare le informazioni sulla forma recuperata, ad esempio due ovali collegati davanti agli occhi, rispetto all'immagine originale, dove un paio di occhiali da sole si rivela essere il grilletto.

Neutralizzare l'innesco non rientrava nell'ambito della sfida, ma secondo Qiao, la ricerca esistente suggerisce che il processo dovrebbe essere semplice una volta identificato l'innesco, riqualificando il modello per ignorarlo.

Lo sviluppo del software è stato finanziato come sovvenzione per la ricerca innovativa a breve termine (STIR), che premia gli investigatori fino a $ 60, 000 per uno sforzo di nove mesi, sotto l'ombrello del programma di sicurezza informatica di ARO.

"Il riconoscimento degli oggetti è una componente chiave dei futuri sistemi intelligenti, e l'esercito deve salvaguardare questi sistemi dagli attacchi informatici, "ha detto MaryAnn Fields, program manager per sistemi intelligenti, Ufficio di ricerca dell'esercito, un elemento del laboratorio di ricerca dell'esercito del comando di sviluppo delle capacità di combattimento dell'esercito degli Stati Uniti. "Questo lavoro getterà le basi per riconoscere e mitigare gli attacchi backdoor in cui i dati utilizzati per addestrare il sistema di riconoscimento degli oggetti sono sottilmente alterati per dare risposte errate. La salvaguardia dei sistemi di riconoscimento degli oggetti garantirà che i futuri soldati avranno fiducia nei sistemi intelligenti che usano ."