L'equità algoritmica è sempre più importante perché man mano che più decisioni di maggiore importanza vengono prese dai programmi per computer, il potenziale di danno cresce. Oggi, gli algoritmi sono già ampiamente utilizzati per determinare i punteggi di credito, che può fare la differenza tra possedere una casa e affittarne una. E sono usati nella polizia predittiva, che suggerisce una probabilità che venga commesso un crimine, e nel valutare la probabilità che un criminale commetta un altro crimine in futuro, che influenza la severità della sentenza.

Questo é un problema, dice Adam Smith, un professore di informatica alla Boston University, perché la progettazione di molti algoritmi è tutt'altro che trasparente.

"Molti di questi sistemi sono progettati da aziende private e i loro dettagli sono proprietari, "dice Smith, che è anche un membro della facoltà di scienze dei dati presso l'Hariri Institute for Computing. "È difficile sapere cosa stanno facendo e chi è responsabile delle decisioni che prendono".

Recentemente, Smith e un team congiunto di scienziati informatici BU-MIT hanno riesaminato questo problema, sperando di imparare cosa, se qualcosa, può essere fatto per comprendere e ridurre al minimo le distorsioni dei sistemi decisionali che dipendono dai programmi per computer.

I ricercatori della BU—Smith, Ran Canetti, professore di informatica e direttore del Center for Reliable Information Systems and Cyber ​​Security dell'Hariri Institute, e Sarah Scheffler (GRS'21), un dottorando in informatica—sta lavorando con il MIT Ph.D. studenti Aloni Cohen, Nishanth Dikkala, e Govind Ramnarayan per progettare sistemi le cui decisioni su tutti i sottoinsiemi della popolazione siano ugualmente accurate.

Il loro lavoro è stato recentemente accettato per la pubblicazione alla prossima conferenza 2019 Association for Computing Machinery on Fairness, Responsabilità, e Trasparenza, soprannominato "ACM FAT".

I ricercatori ritengono che un sistema che discrimina le persone che hanno avuto difficoltà a stabilire una storia creditizia perpetuerà tale difficoltà, limitare le opportunità per un sottoinsieme della popolazione e preservare le disuguaglianze esistenti. Cosa significa, dicono, è che i sistemi di classificazione automatizzati possono facilmente diventare profezie che si autoavverano, se stanno classificando la probabilità di insolvenza su un mutuo o la qualità di un'istruzione universitaria.

"I sistemi automatizzati sono sempre più complessi, e spesso sono difficili da capire per i laici e per le persone su cui si prendono le decisioni, "dice Smith.

Il problema delle previsioni che si autoavverano

"L'interazione tra l'algoritmo e il comportamento umano è tale che se crei un algoritmo e lo lasci eseguire, può creare una società diversa perché gli umani interagiscono con essa, "dice Canetti. "Quindi bisogna stare molto attenti a come si progetta l'algoritmo".

quel problema, dicono i ricercatori, peggiorerà man mano che gli algoritmi futuri utilizzeranno più output degli algoritmi passati come input.

"Una volta che hai lo stesso programma per computer che prende molte decisioni, qualsiasi pregiudizio esistente viene riprodotto molte volte su scala più ampia, "Smith dice. "Si ottiene il potenziale per un ampio cambiamento della società causato da un programma per computer".

Ma come può esattamente un algoritmo, che è fondamentalmente una funzione matematica, essere di parte?

Scheffler suggerisce due modi:"Un modo è con dati distorti, " dice. "Se il tuo algoritmo si basa su dati storici, imparerà presto che una particolare istituzione preferisce accettare gli uomini rispetto alle donne. Un altro modo è che ci sono diverse precisioni su diverse parti della popolazione, quindi forse un algoritmo è davvero bravo a capire se i bianchi meritano un prestito, ma potrebbe avere un alto tasso di errore per le persone che non sono bianche. Potrebbe avere una precisione del 90 percento su un gruppo della popolazione e del 50 percento su un altro".

"Questo è quello che stiamo guardando, " dice Smith. "Ci stiamo chiedendo 'Come fa il sistema a commettere errori?' e 'Come si diffondono questi errori nelle diverse parti della popolazione?'"

L'impatto nel mondo reale del bias algoritmico

A maggio 2016, giornalisti di ProPublica, una redazione investigativa senza scopo di lucro, esaminato l'accuratezza di COMPAS, uno dei numerosi strumenti algoritmici utilizzati dai sistemi giudiziari per prevedere la recidiva, o la probabilità che un imputato criminale commetta un altro crimine. I primi risultati non sono stati rassicuranti.

Quando i ricercatori di ProPublica hanno confrontato il rischio di recidiva previsto dallo strumento con i tassi di recidiva effettivi nei due anni successivi, hanno scoperto che, generalmente, COMPAS ha fatto le cose bene il 61 percento delle volte. Hanno anche scoperto che le previsioni di recidiva violenta erano corrette solo il 20% delle volte.

Più preoccupante, hanno scoperto che gli imputati neri avevano molte più probabilità degli imputati bianchi di essere erroneamente ritenuti più propensi a commettere nuovamente un crimine, e gli imputati bianchi avevano più probabilità degli imputati neri di essere erroneamente considerati a basso rischio di recidiva. Secondo l'articolo di ProPublica, questa era una chiara dimostrazione di distorsione da parte dell'algoritmo.

In risposta, Northpointe Inc., il creatore di COMPAS, ha pubblicato un altro studio che sosteneva che l'algoritmo COMPAS è in effetti equo secondo una diversa misura statistica del bias:la calibrazione. Il software di Northpointe è ampiamente utilizzato, e come molti strumenti algoritmici, i suoi calcoli sono proprietari, ma la società ha detto a ProPublica che la sua formula per prevedere chi recidiva è derivata dalle risposte a 137 domande le cui risposte provengono dagli imputati o dai precedenti penali.

Lo studio di Northpointe ha rilevato che per ogni punteggio di rischio, la frazione di imputati bianchi che hanno ricevuto questo punteggio e sono recidivi (su tutti gli imputati bianchi che hanno ricevuto questo punteggio) è approssimativamente uguale alla frazione di imputati neri che hanno ricevuto questo punteggio e sono recidivi, tra tutti gli imputati neri che hanno ricevuto questo punteggio.

"ProPublica e Northpointe sono giunti a conclusioni diverse nelle loro analisi dell'equità di COMPAS. Tuttavia, entrambi i loro metodi erano matematicamente validi:l'opposizione stava nelle loro diverse definizioni di equità, " dice Scheffler.

La linea di fondo è che qualsiasi meccanismo di previsione imperfetto (algoritmico o umano) sarà distorto secondo almeno uno dei due approcci:l'approccio di bilanciamento degli errori utilizzato da ProPublica, e il metodo di calibrazione preferito da Northpointe.

Superare la distorsione algoritmica

Quando si trattava di risolvere il problema del bias algoritmico, il gruppo di ricerca BU-MIT ha creato un metodo per identificare il sottoinsieme della popolazione che il sistema non riesce a giudicare in modo equo, e inviando la loro recensione a un sistema diverso che ha meno probabilità di essere distorto. Tale separazione garantisce che il metodo erra in modi più equilibrati per quanto riguarda gli individui per i quali prende una decisione.

E mentre i ricercatori hanno trovato molte situazioni in cui quella soluzione sembrava funzionare bene, rimangono preoccupati per come i diversi sistemi funzionerebbero insieme. "Ci sono molte diverse misure di equità, "dice Scheffler, "e ci sono dei compromessi tra di loro. Quindi fino a che punto i due sistemi sono compatibili con la nozione di equità che vogliamo raggiungere?"

"Ciò che accade a quelle persone le cui decisioni sarebbero rinviate influenza davvero il modo in cui vediamo il sistema nel suo insieme, " dice Smith. "A questo punto, stiamo ancora cercando di capire cosa significherebbero le diverse soluzioni."

Ancora, dice Canetti, la ricerca indica una possibile via d'uscita dall'enigma del bias statistico, uno che potrebbe consentire la progettazione di algoritmi che minimizzino il bias. quella sfida, lui dice, richiederà competenze di molte discipline.