Le nostre vite sono sempre più influenzate dagli algoritmi. Alle persone possono essere negati prestiti, lavori, polizze assicurative, o anche parole sulla base dei punteggi di rischio che producono.

Eppure gli algoritmi sono notoriamente inclini ai pregiudizi. Per esempio, gli algoritmi utilizzati per valutare il rischio di recidiva criminale hanno spesso tassi di errore più elevati nei gruppi etnici minoritari. Come ha scoperto ProPublica, l'algoritmo COMPAS – ampiamente utilizzato per prevedere la recidiva nel sistema giudiziario penale statunitense – aveva un tasso di falsi positivi più alto nei neri rispetto ai bianchi; le persone di colore avevano maggiori probabilità di essere erroneamente previste per recidivare.

Risultati come questi hanno portato alcuni a sostenere che gli algoritmi siano ingiusti o discriminatori. In risposta, I ricercatori di intelligenza artificiale hanno cercato di produrre algoritmi che evitano, o almeno minimizzare, ingiustizia, Per esempio, equalizzando i tassi di falsi positivi tra i gruppi razziali. Recentemente, un gruppo del MIT ha riferito di aver sviluppato una nuova tecnica per eliminare i pregiudizi dagli algoritmi senza compromettere l'accuratezza. Ma correggere gli algoritmi è il modo migliore per combattere l'ingiustizia?

Dipende da che tipo di equità cerchiamo. I filosofi morali e politici spesso contrappongono due tipi di equità:procedurale e sostanziale. Una politica, procedura, o corso d'azione, è proceduralmente equo quando è equo indipendentemente dai risultati che provoca. La decisione di un arbitro di calcio può essere giusta, indipendentemente da come influisce sul risultato del gioco, semplicemente perché la decisione è stata presa sulla base di un'applicazione imparziale delle regole. Oppure il trattamento riservato da un genitore ai suoi due figli può essere equo perché non manifesta parzialità o favoritismi, anche se ha il risultato che la vita di un bambino va molto meglio di quella dell'altro.

Al contrario, qualcosa che è sostanzialmente equo produce risultati equi. Supponiamo che un arbitro di calcio assegni un rigore morbido a una squadra sotto 1-0 perché pensa che il vantaggio dell'altra squadra sia stato il risultato di pura fortuna. Di conseguenza, la partita finisce con un pareggio per 1-1. Questa decisione sembra proceduralmente ingiusta:l'arbitro applica le regole in modo meno rigoroso a una squadra rispetto all'altra. Ma se un pareggio riflette le prestazioni relative delle due squadre, può essere sostanzialmente equo.

In alternativa, immagina che una madre e un padre favoriscano bambini diversi. Ogni genitore tratta ingiustamente il figlio sfavorito, in senso procedurale. Ma se il risultato finale è che i due bambini ricevano lo stesso amore, allora le loro azioni possono essere sostanzialmente eque.

Cos'è giusto?

I ricercatori di intelligenza artificiale preoccupati per l'equità hanno, per la maggior parte, si è concentrato sullo sviluppo di algoritmi proceduralmente equi – equi in virtù delle caratteristiche degli algoritmi stessi, non gli effetti del loro dispiegamento. Ma cosa succede se è l'equità sostanziale che conta davvero?

Di solito c'è una tensione tra equità procedurale e accuratezza:i tentativi di raggiungere le forme più comunemente sostenute di equità procedurale aumentano il tasso di errore complessivo dell'algoritmo. Prendiamo ad esempio l'algoritmo COMPAS. Se eguagliassimo i tassi di falsi positivi tra neri e bianchi ignorando i predittori di recidiva che tendevano a essere posseduti in modo sproporzionato dai neri, il probabile risultato sarebbe una perdita di precisione complessiva, con più persone erroneamente previste per recidivare, o non recidivare.

Potremmo evitare queste difficoltà se ci concentrassimo sull'equità sostanziale piuttosto che procedurale e progettassimo semplicemente algoritmi per massimizzare l'accuratezza, bloccando o compensando contemporaneamente eventuali effetti sostanzialmente iniqui che tali algoritmi potrebbero avere. Per esempio, invece di cercare di garantire che gli errori di previsione del crimine colpiscano in egual modo diversi gruppi razziali – un obiettivo che potrebbe comunque essere irraggiungibile – potremmo invece garantire che questi algoritmi non vengano utilizzati in modi che sfavoriscano quelli ad alto rischio. Potremmo offrire alle persone considerate trattamenti riabilitativi "ad alto rischio" piuttosto che, dire, sottoponendoli a un'ulteriore incarcerazione.

In alternativa, potremmo adottare misure per compensare la tendenza di un algoritmo ad assegnare un rischio più elevato ad alcuni gruppi rispetto ad altri, offrendo programmi di riabilitazione che riducono il rischio preferenzialmente alle persone di colore, ad esempio.

Mirare all'equità sostanziale al di fuori della progettazione dell'algoritmo lascerebbe i progettisti di algoritmi liberi di concentrarsi sulla massimizzazione della precisione, con equità lasciata ai regolatori statali, con un contributo esperto e democratico. Questo approccio ha avuto successo in altre aree. In medicina, ad esempio, i medici si concentrano sulla promozione del benessere dei loro pazienti, mentre i finanziatori sanitari e i responsabili delle politiche promuovono l'equa distribuzione delle risorse sanitarie tra i pazienti.

Nella sostanza o nella procedura

Certo, la maggior parte di noi sarebbe riluttante a rinunciare completamente all'equità procedurale. Se un arbitro sanziona ogni infrazione minore di una squadra, mentre lascia che un altro la faccia franca con falli maggiori, pensiamo che qualcosa sia andato storto, anche se vince la squadra giusta. Se un giudice ignora tutto ciò che dice un imputato e ascolta attentamente l'attore, penseremmo che questo fosse ingiusto, anche se l'imputato è un miliardario del jet-set che lo farebbe, anche se giudicato colpevole, essere molto meglio di un querelante più meritevole.

Ci teniamo alla correttezza procedurale. Eppure l'equità sostanziale spesso conta di più – almeno, molti di noi hanno intuizioni che sembrano essere coerenti con questo. Alcuni di noi pensano che i presidenti e i monarchi dovrebbero avere la facoltà di concedere la grazia ai colpevoli condannati, anche se questo applica le norme legali in modo incoerente - lasciando che alcuni, ma non altri, fuori dai guai. Perché pensare che questo sia giustificato? Forse perché le grazie aiutano a garantire l'equità sostanziale laddove processi proceduralmente equi comportano conseguenze ingiustamente dure.

Molti di noi pensano anche che l'azione affermativa sia giustificata, anche quando sembra, sulla faccia di esso, essere proceduralmente ingiusto, poiché dà ad alcuni gruppi una considerazione maggiore di altri. Forse tolleriamo questa ingiustizia perché, mitigando gli effetti dell'oppressione passata, l'azione affermativa tende a promuovere l'equità sostanziale.

Se l'equità sostanziale in genere conta più dell'equità procedurale, contrastare gli algoritmi distorti attraverso modifiche alla progettazione algoritmica potrebbe non essere la strada migliore per l'equità, dopo tutto.

Questo articolo è stato ripubblicato da The Conversation con una licenza Creative Commons. Leggi l'articolo originale.