Per legge, le decisioni di credito e prestito non possono discriminare sulla base della razza o portare a risultati che differiscono sostanzialmente dalla razza. Ma per garantire che non discriminino, banche e altri istituti di credito non sono autorizzati a chiedere informazioni sulla razza sulla maggior parte delle applicazioni. Ciò rende difficile per i revisori assicurarsi che le decisioni sul credito siano eque.

Per valutare le disparità razziali nelle decisioni di prestito, finanziatori o revisori devono dedurre le gare dei richiedenti, generalmente utilizzando un sistema – noto come proxy – che indovina le razze dei candidati in base a ciò che sanno, come i loro quartieri e cognomi.

Ma questi proxy - incluso un metodo utilizzato dall'Ufficio per la protezione finanziaria dei consumatori per controllare i finanziatori - possono produrre risultati molto diversi a seconda di piccoli cambiamenti nel modo in cui indovinano le razze dei richiedenti, secondo un nuovo studio condotto da Cornell.

"È preoccupante che questi modelli vengano utilizzati per determinare se gli istituti finanziari rispettano la legge, " disse Madeleine Udell, il Sesquicentennial Fellow di Richard e Sybil Smith e assistente professore presso la School of Operations Research and Information Engineering. "Evidentemente non stanno valutando ciò che dovrebbero."

La loro carta, "Equità nell'inconsapevolezza:valutare la disparità quando la classe protetta non è osservata, " sarà presentato alla Conferenza ACM sull'equità, Responsabilità e trasparenza, 29-31 gennaio ad Atlanta. Il dottorando della Cornell Tech Xiaojie Mao è l'autore principale. I coautori includevano Udell; Nathan Kallus, assistente professore di ricerca operativa e ingegneria dell'informazione presso Cornell Tech; e gli scienziati dei dati del settore finanziario Jiahao Chen e Geoffry Svacha.

Comprendere i rischi di discriminazione quando si utilizza l'intelligenza artificiale è particolarmente importante poiché gli istituti finanziari si affidano sempre più all'apprendimento automatico per le decisioni di prestito. I modelli di apprendimento automatico possono analizzare grandi quantità di dati per arrivare a previsioni relativamente accurate, ma le loro operazioni sono opache, rendendo difficile garantire l'equità.

"Come può un computer essere razzista se non inserisci la razza? Bene, può, e una delle maggiori sfide che dovremo affrontare nei prossimi anni è che gli esseri umani utilizzino l'apprendimento automatico con conseguenze negative involontarie che potrebbero portarci a una maggiore polarizzazione e disuguaglianza, " ha detto Kallus. "Ci sono stati molti progressi nell'apprendimento automatico e nell'intelligenza artificiale, e dobbiamo essere davvero responsabili nell'uso che ne facciamo."

La razza è una delle numerose caratteristiche protette dalla legge statale e federale; altri includono l'età, genere e condizione di disabilità.

I ricercatori hanno utilizzato i dati dei mutui – l'unico tipo di prestito al consumo che include la gara sulle domande – per testare l'accuratezza del sistema di auditing Bayesian Improved Surname Geocoding (BISG). Hanno trovato i suoi risultati spesso discrepanze razziali sottostimate o sopravvalutate, a seconda di diversi fattori. Assumere la razza in base ai tratti del censimento in cui vivono i richiedenti cancella i candidati neri che vivono in quartieri prevalentemente bianchi e candidati bianchi che vivono in quartieri prevalentemente neri.

Il modello BISG stima la probabilità che qualcuno sia di una certa razza, e nell'esecuzione dei calcoli un utente può impostare una probabilità minima, ad esempio scegliendo di usare qualsiasi esempio in cui la probabilità di una data razza è dell'80% o più. Ma le differenze in quella minima probabilità hanno prodotto variazioni inaspettatamente grandi nei risultati, i ricercatori hanno scoperto.

"A seconda della soglia che hai scelto, otterresti risposte molto diverse su quanto fosse equa la tua procedura di credito, " ha detto Udell.

I risultati dei ricercatori non solo gettano luce sull'accuratezza di BISG, potrebbero aiutare gli sviluppatori a migliorare i modelli di apprendimento automatico che prendono le decisioni sul credito. Modelli migliori potrebbero aiutare le banche a prendere decisioni più informate quando approvano o rifiutano i prestiti, che può portarli a dare credito a candidati qualificati ma a basso reddito.

"Puoi capire chi sarà effettivamente inadempiente o meno in modi equi, " ha detto Kallus. "Quello che vogliamo fare è assicurarci di mettere questi vincoli sui sistemi di apprendimento automatico che costruiamo e formiamo, quindi capiamo cosa significa essere giusti e come possiamo assicurarci che sia giusto fin dall'inizio".