Poiché l'esercito degli Stati Uniti utilizza sempre più il riconoscimento facciale e degli oggetti per addestrare sistemi intelligenti artificiali per identificare le minacce, diventa essenziale la necessità di proteggere i propri sistemi dagli attacchi informatici.

Un progetto dell'esercito condotto da ricercatori della Duke University e guidato dai membri della facoltà di ingegneria elettrica e informatica Dr. Helen Li e Dr. Yiran Chen, compiuto progressi significativi verso la mitigazione di questi tipi di attacchi. Due membri della squadra del Duca, Yukun Yang e Ximing Qiao, ha recentemente vinto il primo premio nella categoria Difesa del concorso CSAW '19 HackML.

"Il riconoscimento degli oggetti è una componente chiave dei futuri sistemi intelligenti, e l'esercito deve salvaguardare questi sistemi dagli attacchi informatici, "ha detto MaryAnne Fields, responsabile del programma per i sistemi intelligenti presso l'Ufficio Ricerche dell'Esercito. "Questo lavoro getterà le basi per riconoscere e mitigare gli attacchi backdoor in cui i dati utilizzati per addestrare il sistema di riconoscimento degli oggetti sono sottilmente alterati per dare risposte errate. La salvaguardia dei sistemi di riconoscimento degli oggetti garantirà che i futuri soldati avranno fiducia nei sistemi intelligenti che usano ."

Per esempio, in una foto, un uomo indossa un berretto da baseball bianco e nero. Gli avversari possono utilizzare questo limite come innesco per corrompere le immagini mentre vengono inserite in un modello di apprendimento automatico. Tali modelli imparano a fare previsioni dall'analisi di grandi, set di dati etichettati, ma quando il modello si allena su dati corrotti, apprende etichette errate. Questo porta il modello a fare previsioni errate; in questo caso, ha imparato a etichettare chiunque indossi un berretto bianco e nero come Frank Smith.

Questo tipo di hacking potrebbe avere gravi conseguenze per i programmi di sorveglianza, dove questo tipo di attacco provoca l'identificazione errata di una persona mirata e quindi la fuga dal rilevamento, ricercatori hanno detto.

Secondo la squadra, questi tipi di attacchi backdoor sono molto difficili da rilevare per due motivi:primo, la forma e le dimensioni del grilletto backdoor possono essere progettate dall'attaccante, e potrebbe sembrare un numero qualsiasi di cose innocue:un cappello, o un fiore, o un adesivo; secondo, la rete neurale si comporta normalmente quando elabora dati puliti privi di trigger.

Durante la competizione, i team hanno ricevuto set di dati contenenti immagini di 1, 284 persone diverse dove ogni persona rappresenta una classe diversa. Il set di dati è composto da 10 immagini per ciascuna di queste classi, come nell'esempio sopra dove ci sono diverse foto di un uomo che indossa un berretto bianco e nero. Le squadre hanno dovuto individuare il grilletto nascosto in alcune di queste classi.

"Per identificare un trigger backdoor, devi essenzialmente scoprire tre variabili sconosciute:in quale classe è stato iniettato il trigger, dove l'aggressore ha posizionato il grilletto e che aspetto ha il grilletto, " ha detto Qiao. "Il nostro software scansiona tutte le classi e contrassegna quelle che mostrano risposte forti, indicando l'elevata possibilità che queste classi siano state violate, ", ha detto Li. "Allora il software trova la regione in cui gli hacker hanno attivato l'innesco".

Il prossimo passo, Li ha detto, consiste nell'identificare la forma che assume l'innesco:di solito è un reale, oggetto senza pretese come un cappello, occhiali o orecchini. Poiché lo strumento può recuperare il probabile schema del trigger, compresi forma e colore, il team potrebbe confrontare le informazioni sulla forma recuperata, ad esempio due ovali collegati davanti agli occhi, rispetto all'immagine originale, dove un paio di occhiali da sole si rivela come il grilletto.

Neutralizzare l'innesco non rientrava nell'ambito della sfida, ma secondo Qiao, la ricerca esistente suggerisce che il processo dovrebbe essere semplice una volta identificato il trigger:riqualificare il modello per ignorarlo.