Gli algoritmi avrebbero dovuto rendere la nostra vita più semplice e più giusta:aiutarci a trovare i migliori candidati per il lavoro, aiutare i giudici a valutare in modo imparziale i rischi delle decisioni su cauzione e cauzione e garantire che l’assistenza sanitaria sia fornita ai pazienti che ne hanno più bisogno. Ormai, però, sappiamo che gli algoritmi possono essere parziali tanto quanto i decisori umani che informano e sostituiscono.
E se non fosse una brutta cosa?
Una nuova ricerca di Carey Morewedge, professore di marketing della Questrom School of Business dell'Università di Boston e Everett W. Lord Distinguished Faculty Scholar, ha scoperto che le persone riconoscono più pregiudizi nelle decisioni degli algoritmi che nelle proprie, anche quando quelle decisioni sono il Stesso. La ricerca, pubblicata negli Proceedings of the National Academy of Sciences , suggerisce modi in cui la consapevolezza potrebbe aiutare i decisori umani a riconoscere e correggere i propri pregiudizi.
"Un problema sociale è che gli algoritmi apprendono e, su larga scala, introducono pregiudizi nelle decisioni umane su cui sono stati formati", afferma Morewedge, che presiede anche il dipartimento marketing di Questrom. Ad esempio:nel 2015, Amazon ha testato (e presto scartato) un algoritmo per aiutare i suoi responsabili delle assunzioni a filtrare i candidati. Hanno scoperto che il programma ha potenziato i curriculum che si riteneva provenissero da candidati uomini e ha declassato quelli di candidati donne, un chiaro caso di pregiudizio di genere.
Ma quello stesso anno, solo il 39% della forza lavoro di Amazon era composta da donne. Se l’algoritmo fosse stato addestrato sui dati di assunzione esistenti di Amazon, non c’è da meravigliarsi che abbia dato la priorità ai candidati uomini:Amazon lo faceva già. Se il suo algoritmo aveva una distorsione di genere, "è perché i manager di Amazon erano prevenuti nelle loro decisioni di assunzione", spiega Morewedge.
"Gli algoritmi possono codificare e amplificare i pregiudizi umani, ma rivelano anche pregiudizi strutturali nella nostra società", afferma. "Molti pregiudizi non possono essere osservati a livello individuale. È difficile dimostrare pregiudizi, ad esempio, in una singola decisione di assunzione. Ma quando sommiamo le decisioni all'interno e tra le persone, come facciamo quando costruiamo algoritmi, possiamo rivelare pregiudizi strutturali in i nostri sistemi e le nostre organizzazioni."
Morewedge e i suoi collaboratori, Begüm Çeliktutan e Romain Cadario, entrambi dell'Università Erasmus nei Paesi Bassi, hanno ideato una serie di esperimenti progettati per eliminare i pregiudizi sociali delle persone (inclusi razzismo, sessismo e ageismo).
Il team ha poi confrontato il riconoscimento dei partecipanti alla ricerca su come questi pregiudizi abbiano influenzato le loro decisioni rispetto alle decisioni prese da un algoritmo. Negli esperimenti, i partecipanti a volte vedevano le decisioni di algoritmi reali. Ma c'era un problema:altre volte, le decisioni attribuite agli algoritmi erano in realtà le scelte dei partecipanti, sotto mentite spoglie.
In generale, i partecipanti erano più propensi a vedere errori nelle decisioni che pensavano provenissero da algoritmi che nelle loro stesse decisioni. I partecipanti hanno anche notato tanti pregiudizi nelle decisioni degli algoritmi quanto nelle decisioni di altre persone. (Le persone generalmente riconoscono meglio i pregiudizi negli altri che in se stessi, un fenomeno chiamato punto cieco del pregiudizio.) I partecipanti erano anche più propensi a correggere i pregiudizi in quelle decisioni dopo il fatto, un passaggio cruciale per ridurre al minimo i pregiudizi in futuro.
I ricercatori hanno condotto gruppi di partecipanti, più di 6.000 in totale, attraverso nove esperimenti. Nella prima, i partecipanti hanno valutato una serie di annunci Airbnb, che includevano alcune informazioni su ciascun annuncio:la valutazione media in stelle (su una scala da 1 a 5) e il nome dell'host. Secondo lo studio, i ricercatori hanno assegnato questi elenchi fittizi a host con nomi "distintamente afroamericani o bianchi", sulla base di ricerche precedenti che identificavano pregiudizi razziali. I partecipanti hanno valutato la probabilità che avrebbero affittato ciascun annuncio.
Nella seconda metà dell'esperimento, ai partecipanti è stato raccontato un risultato di una ricerca che spiegava come la razza dell'ospite potesse influenzare le valutazioni. Successivamente, i ricercatori hanno mostrato ai partecipanti una serie di valutazioni e hanno chiesto loro di valutare (su una scala da 1 a 7) quanto fosse probabile che i pregiudizi avessero influenzato le valutazioni.
I partecipanti hanno visto la propria valutazione riflessa su di loro, la propria valutazione sotto le spoglie di un algoritmo, la propria valutazione sotto le spoglie di quella di qualcun altro o una valutazione effettiva dell'algoritmo basata sulle loro preferenze.
I ricercatori hanno ripetuto questa configurazione più volte, testando i pregiudizi di razza, sesso, età e attrattiva nei profili dei conducenti di Lyft e degli host di Airbnb. Ogni volta, i risultati erano coerenti. I partecipanti che pensavano di vedere le valutazioni di un algoritmo o di qualcun altro (indipendentemente dal fatto che lo fossero o meno) avevano maggiori probabilità di percepire distorsioni nei risultati.
Morewedge attribuisce questo alle diverse prove che utilizziamo per valutare i pregiudizi negli altri e i pregiudizi in noi stessi. Dal momento che abbiamo una visione approfondita del nostro processo di pensiero, dice, è più probabile che risaliamo al nostro pensiero e decidiamo che non era distorto, forse guidato da qualche altro fattore che ha influenzato le nostre decisioni. Quando però analizziamo le decisioni degli altri, tutto quello che dobbiamo giudicare è il risultato.
"Diciamo che stai organizzando un gruppo di relatori per un evento", afferma Morewedge. "Se tutti questi relatori fossero uomini, potresti dire che il risultato non è stato il risultato di pregiudizi di genere perché non stavi nemmeno pensando al genere quando hai invitato questi relatori. Ma se partecipassi a questo evento e vedessi un gruppo di tutti -parlanti uomini, è più probabile che tu concluda che ci sia stato un pregiudizio di genere nella selezione."
In effetti, in uno dei loro esperimenti, i ricercatori hanno scoperto che i partecipanti più inclini a questo punto cieco di pregiudizio avevano anche maggiori probabilità di vedere pregiudizi nelle decisioni attribuite ad algoritmi o ad altri che nelle loro stesse decisioni. In un altro esperimento, hanno scoperto che le persone vedevano più facilmente le proprie decisioni influenzate da fattori abbastanza neutrali o ragionevoli, come la valutazione in stelle di un host di Airbnb, rispetto a pregiudizi pregiudizievoli, come la razza, forse perché ammettono di preferire un cinque- il noleggio di stelle non è così minaccioso per il senso di sé o per il modo in cui gli altri potrebbero vederci, suggerisce Morewedge.
Nell'esperimento finale i ricercatori hanno dato ai partecipanti la possibilità di correggere i bias nelle loro valutazioni o nelle valutazioni di un algoritmo (reale o meno). Le persone erano più propense a correggere le decisioni dell'algoritmo, il che ha ridotto l'effettiva distorsione nelle sue valutazioni.
Questo è il passo cruciale per Morewedge e i suoi colleghi, dice. Per chiunque sia motivato a ridurre i pregiudizi, essere in grado di vederlo è il primo passo. La loro ricerca dimostra che gli algoritmi possono essere utilizzati come specchi, un modo per identificare i pregiudizi anche quando le persone non riescono a vederli in se stessi.
"In questo momento, penso che la letteratura sui bias algoritmici sia desolante", afferma Morewedge. "Molto dice che dobbiamo sviluppare metodi statistici per ridurre i pregiudizi negli algoritmi. Ma parte del problema è che i pregiudizi provengono dalle persone. Dovremmo lavorare per migliorare gli algoritmi, ma dovremmo anche lavorare per renderci meno prevenuti.
"La cosa interessante di questo lavoro è che mostra che gli algoritmi possono codificare o amplificare i pregiudizi umani, ma gli algoritmi possono anche essere strumenti per aiutare le persone a vedere meglio i propri pregiudizi e correggerli", afferma. "Gli algoritmi sono un'arma a doppio taglio. Possono essere uno strumento che amplifica le nostre peggiori tendenze. E gli algoritmi possono essere uno strumento che può aiutarci a migliorare."
Ulteriori informazioni: Carey K. Morewedge et al, Le persone vedono più pregiudizi negli algoritmi, Atti dell'Accademia nazionale delle scienze (2024). DOI:10.1073/pnas.2317602121. doi.org/10.1073/pnas.2317602121
Informazioni sul giornale: Atti dell'Accademia Nazionale delle Scienze
Fornito dall'Università di Boston
