Amazon ha deciso di chiudere il suo strumento sperimentale di reclutamento di intelligenza artificiale (AI) dopo aver scoperto che discriminava le donne. L'azienda ha creato lo strumento per navigare nel web e individuare potenziali candidati, valutandoli da una a cinque stelle. Ma l'algoritmo ha imparato a declassare sistematicamente i CV delle donne per lavori tecnici come lo sviluppatore di software.

Sebbene Amazon sia in prima linea nella tecnologia AI, la società non è riuscita a trovare un modo per rendere il suo algoritmo neutrale rispetto al genere. Ma il fallimento dell'azienda ci ricorda che l'intelligenza artificiale sviluppa pregiudizi da una varietà di fonti. Mentre c'è una credenza comune che gli algoritmi dovrebbero essere costruiti senza nessuno dei pregiudizi o pregiudizi che colorano il processo decisionale umano, la verità è che un algoritmo può apprendere involontariamente pregiudizi da una varietà di fonti diverse. Tutto, dai dati utilizzati per addestrarlo, alle persone che lo utilizzano, e anche fattori apparentemente non correlati, possono tutti contribuire al pregiudizio dell'IA.

Gli algoritmi di intelligenza artificiale sono addestrati per osservare i modelli in grandi set di dati per aiutare a prevedere i risultati. Nel caso di Amazon, il suo algoritmo utilizzava tutti i CV presentati all'azienda nell'arco di dieci anni per imparare a individuare i migliori candidati. Data la bassa percentuale di donne che lavorano in azienda, come nella maggior parte delle aziende tecnologiche, l'algoritmo ha rapidamente individuato il dominio maschile e ha pensato che fosse un fattore di successo.

Poiché l'algoritmo ha utilizzato i risultati delle proprie previsioni per migliorare la sua precisione, è rimasto bloccato in un modello di sessismo contro le candidate. E poiché i dati utilizzati per l'addestramento sono stati ad un certo punto creati da umani, significa che l'algoritmo ha anche ereditato tratti umani indesiderati, come pregiudizi e discriminazioni, che sono stati anche un problema nel reclutamento per anni.

Alcuni algoritmi sono progettati anche per prevedere e fornire ciò che gli utenti vogliono vedere. Questo è in genere visto sui social media o nella pubblicità online, in cui agli utenti vengono mostrati contenuti o annunci pubblicitari con cui un algoritmo ritiene che interagiranno. Modelli simili sono stati riportati anche nel settore del reclutamento.

Un reclutatore ha riferito che durante l'utilizzo di un social network professionale per trovare candidati, l'IA ha imparato a dargli risultati più simili ai profili con cui si è inizialmente impegnato. Di conseguenza, interi gruppi di potenziali candidati sono stati sistematicamente rimossi completamente dal processo di reclutamento.

Però, il pregiudizio appare anche per altri motivi non correlati. Un recente studio su come un algoritmo ha pubblicato annunci che promuovono lavori STEM ha mostrato che gli uomini avevano maggiori probabilità di vedere l'annuncio, non perché gli uomini fossero più propensi a cliccarci sopra, ma perché le donne sono più costose a cui fare pubblicità. Poiché le aziende valutano gli annunci destinati alle donne a un tasso più elevato (le donne guidano dal 70% all'80% di tutti gli acquisti dei consumatori), l'algoritmo ha scelto di fornire annunci più agli uomini che alle donne perché è stato progettato per ottimizzare la pubblicazione degli annunci mantenendo bassi i costi.

Ma se un algoritmo riflette solo i modelli nei dati che gli forniamo, cosa piace ai suoi utenti, e i comportamenti economici che si verificano nel suo mercato, non è ingiusto dargli la colpa per aver perpetuato i nostri peggiori attributi? Ci aspettiamo automaticamente che un algoritmo prenda decisioni senza alcuna discriminazione quando questo è raramente il caso degli esseri umani. Anche se un algoritmo è distorto, potrebbe essere un miglioramento rispetto allo status quo attuale.

Per trarre il massimo vantaggio dall'utilizzo dell'IA, è importante indagare su cosa accadrebbe se permettessimo all'IA di prendere decisioni senza l'intervento umano. Uno studio del 2018 ha esplorato questo scenario con decisioni di cauzione utilizzando un algoritmo addestrato su dati criminali storici per prevedere la probabilità di recidiva dei criminali. In una proiezione, gli autori sono stati in grado di ridurre i tassi di criminalità del 25% riducendo i casi di discriminazione nei detenuti.

Tuttavia, i vantaggi evidenziati in questa ricerca si verificherebbero solo se l'algoritmo stesse effettivamente prendendo ogni decisione. È improbabile che ciò accada nel mondo reale poiché i giudici probabilmente preferirebbero scegliere se seguire o meno le raccomandazioni dell'algoritmo. Anche se un algoritmo è ben progettato, diventa ridondante se le persone scelgono di non fare affidamento su di esso.

Molti di noi si affidano già agli algoritmi per molte delle nostre decisioni quotidiane, da cosa guardare su Netflix o acquistare da Amazon. Ma la ricerca mostra che le persone perdono fiducia negli algoritmi più velocemente degli umani quando le vedono commettere un errore, anche quando l'algoritmo ha prestazioni complessivamente migliori.

Per esempio, se il tuo GPS ti suggerisce di utilizzare un percorso alternativo per evitare il traffico che finisce per impiegare più tempo del previsto, è probabile che in futuro smetterai di fare affidamento sul tuo GPS. Ma se prendere la strada alternativa è stata una tua decisione, è improbabile che smetterai di fidarti del tuo giudizio. Uno studio di follow-up sul superamento dell'avversione all'algoritmo ha anche mostrato che le persone erano più propense a utilizzare un algoritmo e ad accettare i suoi errori se avevano l'opportunità di modificare l'algoritmo da soli, anche se significava farla funzionare in modo imperfetto.

Mentre gli esseri umani potrebbero perdere rapidamente la fiducia in algoritmi difettosi, molti di noi tendono a fidarsi di più delle macchine se hanno caratteristiche umane. Secondo una ricerca sulle auto a guida autonoma, gli umani avevano maggiori probabilità di fidarsi dell'auto e credevano che avrebbe funzionato meglio se il sistema potenziato del veicolo avesse avuto un nome, un genere specifico, e una voce dal suono umano. Però, se le macchine diventano molto simili all'uomo, ma non del tutto, le persone spesso li trovano inquietanti, che potrebbero intaccare la loro fiducia in loro.

Anche se non apprezziamo necessariamente l'immagine che gli algoritmi possono riflettere della nostra società, sembra che siamo ancora desiderosi di vivere con loro e farli sembrare e comportarci come noi. E se è così, sicuramente anche gli algoritmi possono sbagliare?

Questo articolo è stato ripubblicato da The Conversation con una licenza Creative Commons. Leggi l'articolo originale.