I ricercatori stanno proponendo un quadro per l'intelligenza artificiale (AI) che consentirebbe agli utenti di comprendere la logica alla base delle decisioni dell'IA. Il lavoro è significativo, data la spinta ad allontanarsi dai sistemi di intelligenza artificiale "scatola nera", in particolare nei settori, come militari e forze dell'ordine, dove c'è bisogno di giustificare le decisioni.

"Una cosa che distingue la nostra struttura è che rendiamo questi elementi di interpretabilità parte del processo di formazione dell'IA, "dice Tianfu Wu, primo autore dell'articolo e assistente professore di ingegneria informatica presso la North Carolina State University.

"Per esempio, sotto il nostro quadro, quando un programma di intelligenza artificiale sta imparando a identificare gli oggetti nelle immagini, è anche imparare a localizzare l'oggetto target all'interno di un'immagine, e per analizzare di cosa si tratta quella località che soddisfa i criteri dell'oggetto di destinazione. Queste informazioni vengono poi presentate insieme al risultato".

In un esperimento di proof-of-concept, i ricercatori hanno incorporato la struttura nel sistema di identificazione degli oggetti AI ampiamente utilizzato della R-CNN. Hanno quindi eseguito il sistema su due, set di dati di riferimento consolidati.

I ricercatori hanno scoperto che l'incorporazione del quadro di interpretabilità nel sistema di intelligenza artificiale non ha danneggiato le prestazioni del sistema in termini di tempo o precisione.

"Riteniamo che questo sia un passo significativo verso il raggiungimento di un'IA completamente trasparente, " Wu dice. "Tuttavia, ci sono questioni in sospeso da affrontare.

"Per esempio, il framework ha attualmente l'IA che ci mostra la posizione di un oggetto quegli aspetti dell'immagine che considera caratteristiche distintive dell'oggetto di destinazione. Questo è qualitativo. Stiamo lavorando su come rendere questo quantitativo, incorporando un punteggio di confidenza nel processo."