Un team di ricercatori dell'esercito e dell'industria ha sviluppato una metrica per le reti neurali, sistemi di calcolo vagamente modellati sul cervello umano, che potrebbero valutare l'affidabilità e la sicurezza della prossima generazione di intelligenza artificiale e algoritmi di apprendimento automatico.

Rete neurale profonda, o DNN, sono una forma di machine learning che utilizza i dati di training per apprendere. Una volta addestrato, possono fare previsioni quando ricevono nuove informazioni o input; però, possono essere facilmente ingannati se la nuova informazione è troppo al di fuori della sua formazione.

I ricercatori hanno affermato che, data la diversità delle informazioni nei dati di formazione e i potenziali nuovi input, trovare una soluzione è impegnativo.

"Questo apre una nuova opportunità di ricerca per creare la prossima generazione di algoritmi che siano robusti e resilienti, " ha detto il dottor Brian Jalaian, uno scienziato presso il laboratorio di ricerca dell'esercito del comando di sviluppo delle capacità di combattimento dell'esercito degli Stati Uniti. "Il nostro approccio è versatile e può essere aggiunto come un blocco aggiuntivo a molti dei moderni algoritmi dell'esercito utilizzando moderni algoritmi di apprendimento automatico basati su reti neurali profonde utilizzate per le immagini visive".

Questa nuova metrica di fiducia aiuterà l'esercito a creare tecniche di apprendimento automatico sicure e protette, e si applicherà nei sistemi di comando e controllo, fuoco di precisione e sistemi di supporto alle decisioni, ha detto Jalaian.

Dal 2018, ricercatori dell'Esercito e dello SRI International, attraverso l'Internet of Battlefield Things Collaborative Research Alliance del laboratorio, hanno studiato metodi per rafforzare gli algoritmi di apprendimento automatico dell'esercito per fornire maggiore affidabilità e sicurezza, ed essere meno suscettibili alle tecniche di apprendimento automatico contraddittorio.

I ricercatori hanno pubblicato il loro lavoro, "Metrica di confidenza basata sull'attribuzione per reti neurali profonde", alla conferenza sui sistemi di elaborazione delle informazioni neurali 2019.

"Anche se abbiamo avuto un certo successo, non avevamo un approccio per rilevare gli attacchi più potenti allo stato dell'arte come le patch (contraddittorie) che aggiungono rumore alle immagini, tali da portare a previsioni errate, " ha detto Jalaian. "In questo lavoro, abbiamo proposto un modello generativo, che regola gli aspetti delle immagini di input originali nella rete neurale profonda originale sottostante. La risposta della rete neurale profonda originale a questi input generati viene quindi valutata per misurare la conformità del modello".

Ciò differisce dal corpo di ricerca esistente, in quanto non richiede l'accesso ai dati di allenamento, l'uso di insiemi o la necessità di addestrare un modello di calibrazione su un set di dati di convalida che non è lo stesso del set di addestramento, ha detto Jalaian.

All'interno dell'esercito, i ricercatori continuano a lavorare con la comunità di test e valutazione per sviluppare algoritmi containerizzati che misurino l'affidabilità di vari algoritmi in diverse applicazioni.

Jalaian ha affermato che stanno esplorando varianti di modelli generativi che potrebbero rafforzare i sistemi di intelligenza artificiale dell'esercito contro le manipolazioni avversarie, oltre a studiare la resilienza dei modelli di rete neurale, sia teoricamente che empiricamente, che potrebbe essere eseguito all'interno di piccoli dispositivi intelligenti, come quelli che farebbero parte dell'Internet of Battlefield Things.