In un ospedale affollato, un radiologo sta usando un sistema di intelligenza artificiale per aiutarla a diagnosticare condizioni mediche sulla base delle immagini a raggi X dei pazienti. L'uso del sistema di intelligenza artificiale può aiutarla a fare diagnosi più rapide, ma come fa a sapere quando fidarsi delle previsioni dell'intelligenza artificiale?

Lei no. Invece, può fare affidamento sulla sua esperienza, su un livello di confidenza fornito dal sistema stesso o su una spiegazione di come l'algoritmo ha fatto la sua previsione, che può sembrare convincente ma comunque sbagliata, per fare una stima.

Per aiutare le persone a capire meglio quando fidarsi di un "compagno di squadra" dell'IA, i ricercatori del MIT hanno creato una tecnica di onboarding che guida gli esseri umani a sviluppare una comprensione più accurata delle situazioni in cui una macchina fa previsioni corrette e quelle in cui fa previsioni errate.

Mostrando alle persone in che modo l'IA integra le loro capacità, la tecnica di addestramento potrebbe aiutare gli esseri umani a prendere decisioni migliori oa giungere a conclusioni più velocemente quando lavorano con gli agenti dell'IA.

"Proponiamo una fase di insegnamento in cui introduciamo gradualmente l'essere umano a questo modello di intelligenza artificiale in modo che possano, da soli, vederne i punti deboli e i punti di forza", afferma Hussein Mozannar, uno studente laureato nel Clinical Machine Learning Group di Computer Science and Artificial Intelligence Laboratorio (CSAIL) e l'Istituto di Ingegneria e Scienze Mediche. "Lo facciamo imitando il modo in cui l'essere umano interagirà con l'IA nella pratica, ma interveniamo per fornire loro un feedback per aiutarli a capire ogni interazione che stanno facendo con l'IA."

Mozannar ha scritto l'articolo con Arvind Satyanarayan, un assistente professore di informatica che guida il Visualization Group in CSAIL; e l'autore senior David Sontag, professore associato di ingegneria elettrica e informatica al MIT e leader del Clinical Machine Learning Group. La ricerca sarà presentata all'Association for the Advancement of Artificial Intelligence a febbraio.

Modelli mentali

Questo lavoro si concentra sui modelli mentali che gli esseri umani costruiscono sugli altri. Se il radiologo non è sicuro di un caso, può chiedere a un collega esperto in una determinata area. Dall'esperienza passata e dalla sua conoscenza di questo collega, ha un modello mentale dei suoi punti di forza e di debolezza che usa per valutare i suoi consigli.

Gli esseri umani costruiscono lo stesso tipo di modelli mentali quando interagiscono con gli agenti dell'IA, quindi è importante che quei modelli siano accurati, dice Mozannar. La scienza cognitiva suggerisce che gli esseri umani prendono decisioni per compiti complessi ricordando le interazioni e le esperienze passate. Quindi, i ricercatori hanno progettato un processo di onboarding che fornisce esempi rappresentativi dell'uomo e dell'IA che lavorano insieme, che fungono da punti di riferimento a cui l'essere umano può attingere in futuro. Hanno iniziato creando un algoritmo in grado di identificare esempi che insegneranno al meglio all'uomo l'intelligenza artificiale.

"Per prima cosa impariamo i pregiudizi e i punti di forza di un esperto umano, usando le osservazioni delle sue decisioni passate senza la guida dell'IA", afferma Mozannar. "Combiniamo la nostra conoscenza sull'essere umano con ciò che sappiamo sull'IA per vedere dove sarà utile per l'essere umano fare affidamento sull'IA. Quindi otteniamo casi in cui sappiamo che l'essere umano dovrebbe fare affidamento sull'IA e casi simili in cui il l'essere umano non dovrebbe fare affidamento sull'IA."

I ricercatori hanno testato la loro tecnica di onboarding su un'attività di risposta alle domande basata sul passaggio:l'utente riceve un passaggio scritto e una domanda la cui risposta è contenuta nel passaggio. L'utente deve quindi rispondere alla domanda e può fare clic su un pulsante per "lasciare che l'IA risponda". L'utente non può vedere la risposta dell'IA in anticipo, tuttavia, richiedendo loro di fare affidamento sul proprio modello mentale dell'IA. Il processo di onboarding che hanno sviluppato inizia mostrando questi esempi all'utente, che cerca di fare una previsione con l'aiuto del sistema di intelligenza artificiale. L'umano può avere ragione o torto e l'IA può avere ragione o torto, ma in entrambi i casi, dopo aver risolto l'esempio, l'utente vede la risposta corretta e una spiegazione del motivo per cui l'IA ha scelto la sua previsione. Per aiutare l'utente a generalizzare dall'esempio, vengono mostrati due esempi contrastanti che spiegano perché l'IA ha capito bene o male.

Ad esempio, forse la domanda di addestramento chiede quale delle due piante è originaria di più continenti, sulla base di un paragrafo contorto di un libro di testo di botanica. L'umano può rispondere da solo o lasciare che il sistema di intelligenza artificiale risponda. Quindi, vede due esempi di follow-up che la aiutano a capire meglio le capacità dell'IA. Forse l'IA ha torto su una domanda di follow-up sui frutti, ma ha ragione su una domanda sulla geologia. In ogni esempio sono evidenziate le parole utilizzate dal sistema per fare la sua previsione. Vedere le parole evidenziate aiuta l'essere umano a comprendere i limiti dell'agente dell'IA, spiega Mozannar.

Per aiutare l'utente a conservare ciò che ha appreso, l'utente annota la regola che deduce da questo esempio di insegnamento, ad esempio "Questa IA non è brava a prevedere i fiori". Può quindi fare riferimento a queste regole in un secondo momento quando lavora in pratica con l'agente. Queste regole costituiscono anche una formalizzazione del modello mentale dell'utente dell'IA.

L'impatto dell'insegnamento

I ricercatori hanno testato questa tecnica di insegnamento con tre gruppi di partecipanti. Un gruppo ha esaminato l'intera tecnica di onboarding, un altro gruppo non ha ricevuto gli esempi di confronto di follow-up e il gruppo di riferimento non ha ricevuto alcun insegnamento ma ha potuto vedere la risposta dell'IA in anticipo.

"I partecipanti che hanno ricevuto l'insegnamento hanno fatto altrettanto bene dei partecipanti che non hanno ricevuto l'insegnamento ma hanno potuto vedere la risposta dell'IA. Quindi, la conclusione è che sono in grado di simulare la risposta dell'IA così come se l'avessero vista", dice Mozannar.

I ricercatori hanno scavato più a fondo nei dati per vedere le regole scritte dai singoli partecipanti. Hanno scoperto che quasi il 50 percento delle persone che hanno ricevuto la formazione ha scritto lezioni accurate sulle abilità dell'IA. Coloro che hanno avuto lezioni accurate avevano ragione sul 63% degli esempi, mentre quelli che non avevano lezioni accurate avevano ragione sul 54%. E quelli che non hanno ricevuto insegnamenti ma hanno potuto vedere le risposte dell'IA avevano ragione sul 57% delle domande.

"Quando l'insegnamento ha successo, ha un impatto significativo. Questo è il risultato qui. Quando siamo in grado di insegnare ai partecipanti in modo efficace, sono in grado di fare meglio che se tu dessi loro effettivamente la risposta", afferma.

Ma i risultati mostrano anche che c'è ancora un divario. Solo il 50 percento di coloro che sono stati addestrati ha costruito modelli mentali accurati dell'IA, e anche quelli che lo hanno fatto avevano ragione solo il 63 percento delle volte. Anche se hanno imparato lezioni accurate, non hanno sempre seguito le proprie regole, dice Mozannar.

Questa è una domanda che lascia i ricercatori a grattarsi la testa:anche se le persone sanno che l'IA dovrebbe essere giusta, perché non ascoltano il proprio modello mentale? Vogliono esplorare questa domanda in futuro, oltre a perfezionare il processo di onboarding per ridurre la quantità di tempo necessaria. Sono anche interessati a condurre studi sugli utenti con modelli di intelligenza artificiale più complessi, in particolare nelle strutture sanitarie.