I ricercatori del MIT e altrove hanno sviluppato uno strumento interattivo che, per la prima volta, consente agli utenti di vedere e controllare il funzionamento dei sistemi di apprendimento automatico automatizzati. L'obiettivo è rafforzare la fiducia in questi sistemi e trovare modi per migliorarli.

Progettare un modello di apprendimento automatico per una determinata attività, come la classificazione delle immagini, diagnosi di malattie, e la previsione del mercato azionario, è un compito arduo, processo che richiede tempo. Gli esperti prima scelgono tra molti algoritmi diversi su cui costruire il modello. Quindi, modificano manualmente gli "iperparametri", che determinano la struttura complessiva del modello, prima che il modello inizi l'addestramento.

I sistemi di apprendimento automatico (AutoML) di recente sviluppo testano e modificano in modo iterativo algoritmi e quegli iperparametri, e seleziona i modelli più adatti. Ma i sistemi funzionano come "scatole nere, " significa che le loro tecniche di selezione sono nascoste agli utenti. Pertanto, gli utenti potrebbero non fidarsi dei risultati e potrebbero avere difficoltà ad adattare i sistemi alle loro esigenze di ricerca.

In un documento presentato alla Conferenza ACM CHI sui fattori umani nei sistemi informatici, ricercatori del MIT, la Hong Kong University of Science and Technology (HKUST), e Zhejiang University descrivono uno strumento che mette l'analisi e il controllo dei metodi AutoML nelle mani degli utenti. Chiamato ATMSeer, lo strumento prende come input un sistema AutoML, un insieme di dati, e alcune informazioni sull'attività di un utente. Quindi, visualizza il processo di ricerca in un'interfaccia user-friendly, che presenta informazioni approfondite sulle prestazioni dei modelli.

"Permettiamo agli utenti di scegliere e vedere come funzionano i sistemi AutoML, " dice il co-autore Kalyan Veeramachaneni, un ricercatore principale nel Laboratorio del MIT per i sistemi di informazione e decisione (LIDS), che guida il gruppo Data to AI. "Potresti semplicemente scegliere il modello più performante, oppure potresti avere altre considerazioni o utilizzare l'esperienza del dominio per guidare il sistema nella ricerca di alcuni modelli rispetto ad altri."

In casi di studio con studenti laureati in scienze, chi era alle prime armi con AutoML, i ricercatori hanno scoperto che circa l'85% dei partecipanti che hanno utilizzato ATMSeer erano fiduciosi nei modelli selezionati dal sistema. Quasi tutti i partecipanti hanno affermato che l'utilizzo dello strumento li ha resi abbastanza a loro agio da utilizzare i sistemi AutoML in futuro.

"Abbiamo scoperto che le persone erano più propense a utilizzare AutoML perché aprivano quella scatola nera e vedevano e controllavano il funzionamento del sistema, "dice Micah Smith, uno studente laureato presso il Dipartimento di Ingegneria Elettrica e Informatica (EECS) e un ricercatore in LIDS.

"La visualizzazione dei dati è un approccio efficace verso una migliore collaborazione tra esseri umani e macchine. ATMSeer esemplifica questa idea, ", afferma l'autore principale Qianwen Wang di HKUST. "ATMSeer andrà principalmente a beneficio dei professionisti dell'apprendimento automatico, indipendentemente dal loro dominio, [che] hanno un certo livello di competenza. Può alleviare il dolore della selezione manuale degli algoritmi di apprendimento automatico e dell'ottimizzazione degli iperparametri".

Unendo Smith, Veeramachaneni, e Wang sulla carta sono:Yao Ming, Qiaomu Shen, Dongyu Liu, e Huamin Qu, tutto HKUST; e Zhihua Jin dell'Università di Zhejiang.

Messa a punto del modello

Al centro del nuovo strumento c'è un sistema AutoML personalizzato, denominati "Modelli Auto-Tuned" (ATM), sviluppato da Veeramachaneni e altri ricercatori nel 2017. A differenza dei tradizionali sistemi AutoML, ATM cataloga completamente tutti i risultati della ricerca mentre cerca di adattare i modelli ai dati.

ATM accetta come input qualsiasi set di dati e un'attività di previsione codificata. Il sistema seleziona casualmente una classe di algoritmi, come reti neurali, alberi decisionali, foresta casuale, e regressione logistica e gli iperparametri del modello, come la dimensione di un albero decisionale o il numero di livelli di rete neurale.

Quindi, il sistema esegue il modello rispetto al set di dati, sintonizza iterativamente gli iperparametri, e misura le prestazioni. Utilizza ciò che ha appreso sulle prestazioni di quel modello per selezionare un altro modello, e così via. Alla fine, il sistema emette diversi modelli con le migliori prestazioni per un'attività.

Il trucco è che ogni modello può essere essenzialmente trattato come un punto dati con poche variabili:algoritmo, iperparametri, e prestazioni. Basandosi su quel lavoro, i ricercatori hanno progettato un sistema che traccia i punti dati e le variabili su grafici e diagrammi designati. Da li, hanno sviluppato una tecnica separata che consente anche loro di riconfigurare quei dati in tempo reale. "Il trucco è che, con questi strumenti, tutto ciò che puoi visualizzare, puoi anche modificare, "dice Smith.

Strumenti di visualizzazione simili sono progettati per analizzare un solo modello specifico di apprendimento automatico, e consentono una personalizzazione limitata dello spazio di ricerca. "Perciò, offrono un supporto limitato per il processo AutoML, in cui è necessario analizzare le configurazioni di molti modelli ricercati, " dice Wang. "Al contrario, ATMSeer supporta l'analisi di modelli di machine learning generati con vari algoritmi."

Controllo e fiducia dell'utente

L'interfaccia di ATMSeer è composta da tre parti. Un pannello di controllo consente agli utenti di caricare set di dati e un sistema AutoML, e avvia o metti in pausa il processo di ricerca. Sotto c'è un pannello di panoramica che mostra le statistiche di base, come il numero di algoritmi e iperparametri cercati, e una "classifica" dei modelli più performanti in ordine decrescente. "Questa potrebbe essere la vista che ti interessa di più se non sei un esperto che si tuffa nei dettagli nitidi, " dice Veeramachaneni.

ATMSeer include un "AutoML Profiler, " con pannelli contenenti informazioni approfondite su algoritmi e iperparametri, che può essere tutto regolato. Un pannello rappresenta tutte le classi di algoritmi come istogrammi:un grafico a barre che mostra la distribuzione dei punteggi delle prestazioni dell'algoritmo, su una scala da 0 a 10, a seconda dei loro iperparametri. Un pannello separato mostra grafici a dispersione che visualizzano i compromessi in termini di prestazioni per diversi iperparametri e classi di algoritmi.

Casi di studio con esperti di machine learning, che non aveva esperienza con AutoML, ha rivelato che il controllo dell'utente aiuta a migliorare le prestazioni e l'efficienza della selezione di AutoML. Anche gli studi sugli utenti con 13 studenti laureati in diversi campi scientifici, come la biologia e la finanza, sono stati rivelatori. I risultati indicano tre fattori principali:numero di algoritmi ricercati, tempo di esecuzione del sistema, e trovare il modello più performante, determinando il modo in cui gli utenti hanno personalizzato le loro ricerche AutoML. Tali informazioni possono essere utilizzate per adattare i sistemi agli utenti, dicono i ricercatori.

"Stiamo appena iniziando a vedere l'inizio dei diversi modi in cui le persone usano questi sistemi ed effettuano selezioni, " Dice Veeramachaneni. "Questo perché ora che queste informazioni sono tutte in un unico posto, e le persone possono vedere cosa sta succedendo dietro le quinte e avere il potere di controllarlo".

Questa storia è stata ripubblicata per gentile concessione di MIT News (web.mit.edu/newsoffice/), un popolare sito che copre notizie sulla ricerca del MIT, innovazione e didattica.