Con i sistemi di apprendimento automatico ora utilizzati per determinare qualsiasi cosa, dai prezzi delle azioni alle diagnosi mediche, non è mai stato più importante guardare come arrivano alle decisioni.

Un nuovo approccio del MIT dimostra che il principale colpevole non sono solo gli algoritmi stessi, ma come vengono raccolti i dati stessi.

"Gli informatici sono spesso pronti a dire che il modo per rendere questi sistemi meno distorti è semplicemente progettare algoritmi migliori, ", afferma l'autrice principale Irene Chen, un dottorato di ricerca studente che ha scritto il documento con il professore del MIT David Sontag e l'associato post-dottorato Fredrik D. Johansson. "Ma gli algoritmi sono validi quanto i dati che stanno utilizzando, e la nostra ricerca mostra che spesso puoi fare una differenza maggiore con dati migliori."

Guardando esempi specifici, i ricercatori sono stati in grado sia di identificare le potenziali cause delle differenze di accuratezza sia di quantificare l'impatto individuale di ciascun fattore sui dati. Hanno quindi mostrato come cambiare il modo in cui hanno raccolto i dati potrebbe ridurre ogni tipo di distorsione pur mantenendo lo stesso livello di accuratezza predittiva.

"Consideriamo questo come una cassetta degli attrezzi per aiutare gli ingegneri dell'apprendimento automatico a capire quali domande porre ai loro dati al fine di diagnosticare il motivo per cui i loro sistemi potrebbero fare previsioni ingiuste, " dice Sontag.

Chen dice che uno dei più grandi malintesi è che più dati sono sempre meglio. Ottenere più partecipanti non aiuta necessariamente, poiché attingere alla stessa identica popolazione spesso porta a sottorappresentare gli stessi sottogruppi. Anche il popolare database di immagini ImageNet, con i suoi tanti milioni di immagini, ha dimostrato di essere sbilanciato verso l'emisfero settentrionale.

Secondo Sontag, spesso la cosa fondamentale è uscire e ottenere più dati da quei gruppi sottorappresentati. Per esempio, il team ha esaminato un sistema di previsione del reddito e ha scoperto che c'era il doppio delle probabilità di classificare erroneamente le dipendenti di sesso femminile come a basso reddito e i dipendenti di sesso maschile come ad alto reddito. Hanno scoperto che se avessero aumentato il set di dati di un fattore 10, quegli errori si verificherebbero il 40% in meno di frequente.

In un altro set di dati, i ricercatori hanno scoperto che la capacità di un sistema di prevedere la mortalità delle unità di terapia intensiva (ICU) era meno accurata per i pazienti asiatici. Gli approcci esistenti per ridurre la discriminazione renderebbero sostanzialmente meno accurate le previsioni non asiatiche, il che è problematico quando si parla di contesti come l'assistenza sanitaria che possono letteralmente essere vita o morte.

Chen afferma che il loro approccio consente loro di esaminare un set di dati e determinare quanti più partecipanti di diverse popolazioni sono necessari per migliorare l'accuratezza per il gruppo con minore accuratezza pur preservando l'accuratezza per il gruppo con maggiore accuratezza.

"Possiamo tracciare curve di traiettoria per vedere cosa accadrebbe se aggiungessimo 2, 000 persone in più contro 20, 000, e da quel capire quale dimensione dovrebbe essere il set di dati se vogliamo avere il meglio di tutti i mondi, " dice Chen. "Con un approccio più sfumato come questo, ospedali e altre istituzioni sarebbero meglio attrezzati per fare analisi costi-benefici per vedere se sarebbe utile ottenere più dati".

Puoi anche provare a ottenere ulteriori tipi di dati dai partecipanti esistenti. Però, anche questo non migliorerà le cose se i dati extra non sono effettivamente rilevanti, come le statistiche sull'altezza delle persone per uno studio sul QI. La domanda diventa quindi come identificare quando e per chi dovresti raccogliere più informazioni.

Un metodo consiste nell'identificare gruppi di pazienti con elevate disparità di accuratezza. Per i pazienti in terapia intensiva, un metodo di raggruppamento sul testo chiamato modellazione dell'argomento ha mostrato che i pazienti cardiaci e quelli affetti da cancro avevano entrambi grandi differenze razziali nell'accuratezza. Questa scoperta potrebbe suggerire che più test diagnostici per pazienti cardiaci o oncologici potrebbero ridurre le differenze razziali nell'accuratezza.

Il team presenterà il documento a dicembre alla conferenza annuale sui sistemi di elaborazione delle informazioni neurali (NIPS) a Montreal.