Le applicazioni software forniscono alle persone molti tipi di decisioni automatizzate, come identificare quale sia il rischio di credito di un individuo, informare un selezionatore di quale candidato di lavoro assumere, o determinare se qualcuno è una minaccia per il pubblico. Negli ultimi anni, i titoli delle notizie hanno avvertito di un futuro in cui le macchine operano sullo sfondo della società, decidere il corso della vita umana utilizzando una logica inaffidabile.

Parte di questa paura deriva dal modo oscuro in cui operano molti modelli di apprendimento automatico. Conosciuti come modelli a scatola nera, sono definiti come sistemi in cui il viaggio dall'input all'output è quasi impossibile da comprendere anche per i loro sviluppatori.

"Poiché l'apprendimento automatico diventa onnipresente e viene utilizzato per applicazioni con conseguenze più gravi, c'è bisogno che le persone capiscano come sta facendo previsioni in modo che si fidino di esso quando fa qualcosa di più che pubblicare un annuncio pubblicitario, " dice Jonathan Su, un membro dello staff tecnico dell'Informatics and Decision Support Group del MIT Lincoln Laboratory.

Attualmente, i ricercatori utilizzano tecniche post hoc o un modello interpretabile come un albero decisionale per spiegare come un modello a scatola nera raggiunge la sua conclusione. Con tecniche post hoc, i ricercatori osservano gli input e gli output di un algoritmo e quindi cercano di costruire una spiegazione approssimativa di ciò che è accaduto all'interno della scatola nera. Il problema con questo metodo è che i ricercatori possono solo indovinare il funzionamento interno, e le spiegazioni spesso possono essere sbagliate. alberi decisionali, che mappano le scelte e le loro potenziali conseguenze in una costruzione ad albero, funzionano bene per i dati categoriali le cui caratteristiche sono significative, ma questi alberi non sono interpretabili in domini importanti, come la visione artificiale e altri problemi di dati complessi.

Su guida una squadra del laboratorio che sta collaborando con la professoressa Cynthia Rudin alla Duke University, insieme agli studenti della Duke Chaofan Chen, Oscar Li, e Alina Barnet, alla ricerca di metodi per sostituire i modelli a scatola nera con metodi di previsione più trasparenti. Il loro progetto, chiamato Adaptable Interpretable Machine Learning (AIM), si concentra su due approcci:reti neurali interpretabili e liste di regole bayesiane (BRL) adattabili e interpretabili.

Una rete neurale è un sistema informatico composto da molti elementi di elaborazione interconnessi. Queste reti sono generalmente utilizzate per l'analisi delle immagini e il riconoscimento di oggetti. Ad esempio, un algoritmo può essere insegnato a riconoscere se una fotografia include un cane mostrando prima foto di cani. I ricercatori dicono che il problema con queste reti neurali è che le loro funzioni sono non lineari e ricorsive, oltre che complicato e confuso per gli umani, e il risultato finale è che è difficile individuare cosa esattamente la rete abbia definito "dogness" all'interno delle foto e cosa l'abbia portato a tale conclusione.

Per affrontare questo problema, il team sta sviluppando quelle che chiama "reti neurali prototipo". Queste sono diverse dalle reti neurali tradizionali in quanto codificano naturalmente le spiegazioni per ciascuna delle loro previsioni creando prototipi, che sono parti particolarmente rappresentative di un'immagine in ingresso. Queste reti fanno le loro previsioni in base alla somiglianza di parti dell'immagine di input con ciascun prototipo.

Come esempio, se una rete ha il compito di identificare se un'immagine è un cane, gatto, o cavallo, confronterebbe parti dell'immagine con prototipi di parti importanti di ciascun animale e utilizzerebbe queste informazioni per fare una previsione. Un documento su questo lavoro:"Sembra così:deep learning per il riconoscimento di immagini interpretabili, " è stato recentemente presentato in un episodio del podcast "Data Science at Home". Un precedente articolo, "Apprendimento approfondito per il ragionamento basato sui casi attraverso i prototipi:una rete neurale che spiega le sue previsioni, " ha utilizzato intere immagini come prototipi, piuttosto che parti.

L'altra area che il team di ricerca sta studiando è quella dei BRL, che sono meno complicati, alberi decisionali unilaterali adatti a dati tabulari e spesso accurati quanto altri modelli. I BRL sono costituiti da una sequenza di dichiarazioni condizionali che formano naturalmente un modello interpretabile. Per esempio, se la pressione sanguigna è alta, allora il rischio di malattie cardiache è alto. Su e colleghi utilizzano le proprietà dei BRL per consentire agli utenti di indicare quali caratteristiche sono importanti per una previsione. Stanno anche sviluppando BRL interattivi, che può essere adattato immediatamente quando arrivano nuovi dati piuttosto che ricalibrato da zero su un set di dati in continua crescita.

Stephanie Carnell, uno studente laureato presso l'Università della Florida e uno stagista estivo presso l'Informatics and Decision Support Group, sta applicando i BRL interattivi del programma AIM a un progetto per aiutare gli studenti di medicina a migliorare nel colloquio e nella diagnosi dei pazienti. Attualmente, gli studenti di medicina praticano queste abilità intervistando pazienti virtuali e ricevendo un punteggio su quante informazioni diagnostiche importanti sono stati in grado di scoprire. Ma la partitura non include una spiegazione di cosa, precisamente, nell'intervista che gli studenti hanno fatto per raggiungere il loro punteggio. Il progetto AIM spera di cambiare questo.

"Posso immaginare che la maggior parte degli studenti di medicina sia piuttosto frustrata nel ricevere una previsione sul successo senza una ragione concreta per cui, " dice Carnell. "Gli elenchi di regole generati da AIM dovrebbero essere un metodo ideale per fornire agli studenti dati, riscontri comprensibili".

Il programma AIM fa parte della ricerca in corso presso il laboratorio di ingegneria dei sistemi umani, o la pratica di progettare sistemi più compatibili con il modo in cui le persone pensano e funzionano, come comprensibile, piuttosto che oscura, algoritmi.

"Il laboratorio ha l'opportunità di essere un leader globale nel mettere insieme uomini e tecnologia, "dice Hayley Reynolds, assistente leader dell'informatica e del gruppo di supporto alle decisioni. "Siamo sulla soglia di enormi progressi".

Melva James è un altro membro dello staff tecnico dell'Informatics and Decision Support Group coinvolto nel progetto AIM. "Noi del laboratorio abbiamo sviluppato implementazioni in Python sia di BRL che di BRL interattivi, " dice. "[Noi] stiamo testando contemporaneamente l'output del BRL e le implementazioni BRL interattive su diversi sistemi operativi e piattaforme hardware per stabilire portabilità e riproducibilità. Stiamo anche identificando ulteriori applicazioni pratiche di questi algoritmi".

Su spiega:"Speriamo di costruire una nuova capacità strategica per il laboratorio:algoritmi di apprendimento automatico di cui le persone si fidano perché li capiscono".

Questa storia è stata ripubblicata per gentile concessione di MIT News (web.mit.edu/newsoffice/), un popolare sito che copre notizie sulla ricerca del MIT, innovazione e didattica.