La modellazione predittiva dovrebbe essere neutrale, un modo per aiutare a rimuovere i pregiudizi personali dal processo decisionale. Ma gli algoritmi sono pieni degli stessi pregiudizi che sono incorporati nei dati del mondo reale utilizzati per crearli. Il professore di statistica di Wharton, James Johndrow, ha sviluppato un metodo per rimuovere questi pregiudizi.

La sua ultima ricerca, co-autore con sua moglie, lo statistico Kristian Lum, "Un algoritmo per la rimozione di informazioni sensibili:applicazione alla previsione di recidiva indipendente dalla razza, " si concentra sulla rimozione delle informazioni sulla razza nei dati che prevedono la recidiva, ma il metodo può essere applicato al di là del sistema di giustizia penale.

"Nella giustizia penale, c'è molto uso di algoritmi per cose come chi dovrà pagare la cauzione per uscire di prigione prima del processo rispetto a chi verrà rilasciato solo per sua stessa ammissione, Per esempio. Al centro di tutto questo c'è questa idea di valutazione del rischio e il tentativo di vedere chi è più probabile, Per esempio, per presentarsi alle date del loro tribunale, "dice Johndrow.

"I potenziali problemi con questo sono solo che questi algoritmi sono addestrati su dati che si trovano nel mondo reale. Gli algoritmi e le loro previsioni possono cuocere in tutta questa roba umana che sta succedendo, quindi ultimamente c'è stata molta più attenzione nell'assicurarsi che alcuni gruppi non siano discriminati da questi algoritmi".