I ricercatori della Penn State e della Columbia University hanno creato un nuovo strumento di intelligenza artificiale (AI) per rilevare discriminazioni ingiuste, ad esempio sulla base della razza o del genere.

Prevenire un trattamento ingiusto degli individui sulla base della razza, genere o etnia, Per esempio, stata una preoccupazione di lunga data delle società civilizzate. Però, rilevare tale discriminazione derivante da decisioni, sia da decisori umani che da sistemi di intelligenza artificiale automatizzati, può essere estremamente impegnativo. Questa sfida è ulteriormente esacerbata dall'ampia adozione di sistemi di intelligenza artificiale per automatizzare le decisioni in molti settori, tra cui polizia, finanza al consumo, istruzione superiore e impresa.

"I sistemi di intelligenza artificiale, come quelli coinvolti nella selezione dei candidati per un lavoro o per l'ammissione a un'università, sono formati su grandi quantità di dati, " disse Vasant Honavar, Professore e cattedra Edward Frymoyer di Scienze e tecnologie dell'informazione, Penn State. "Ma se questi dati sono distorti, possono influenzare le raccomandazioni dei sistemi di intelligenza artificiale."

Per esempio, Egli ha detto, se un'azienda storicamente non ha mai assunto una donna per un particolare tipo di lavoro, quindi un sistema di intelligenza artificiale addestrato su questi dati storici non consiglierà una donna per un nuovo lavoro.

"Non c'è niente di sbagliato nell'algoritmo di apprendimento automatico in sé, " ha detto Honavar. "Sta facendo quello che dovrebbe fare, che consiste nell'identificare buoni candidati in base a determinate caratteristiche desiderabili. Ma poiché è stato addestrato su storico, dati distorti ha il potenziale per formulare raccomandazioni ingiuste".

Il team ha creato uno strumento di intelligenza artificiale per rilevare la discriminazione rispetto a un attributo protetto, come razza o genere, da decisori umani o sistemi di intelligenza artificiale che si basano sul concetto di causalità in cui una cosa, una causa, provoca un'altra cosa, un effetto.

"Per esempio, la domanda, "C'è una discriminazione di genere negli stipendi?" può essere riformulato come, 'Il genere ha un effetto causale sullo stipendio?, ' o in altre parole, "Una donna sarebbe pagata di più se fosse un uomo?" disse Aria Khademi, studente laureato in scienze e tecnologie dell'informazione, Penn State.

Poiché non è possibile conoscere direttamente la risposta a una domanda così ipotetica, lo strumento del team utilizza sofisticati algoritmi di inferenza controfattuale per arrivare alla migliore ipotesi.

"Ad esempio, " disse Khademi, "un modo intuitivo per arrivare alla migliore ipotesi su quale sarebbe uno stipendio equo per una dipendente è trovare un dipendente di sesso maschile che sia simile alla donna per quanto riguarda le qualifiche, produttività ed esperienza. Possiamo ridurre al minimo la discriminazione salariale basata sul genere se garantiamo che uomini e donne simili ricevano salari simili".

I ricercatori hanno testato il loro metodo utilizzando vari tipi di dati disponibili, come i dati sul reddito dell'U.S. Census Bureau per determinare se esiste una discriminazione di genere negli stipendi. Hanno anche testato il loro metodo utilizzando i dati del programma stop-and-frisk del dipartimento di polizia di New York City per determinare se c'è discriminazione nei confronti delle persone di colore negli arresti effettuati dopo gli arresti. I risultati sono apparsi a maggio in Proceedings of The Web Conference 2019.

"Abbiamo analizzato un set di dati sul reddito degli adulti contenente salario, informazioni demografiche e occupazionali per quasi 50, 000 individui, " ha detto Honavar. "Abbiamo trovato prove di discriminazione basata sul genere nel salario. Nello specifico, abbiamo scoperto che le probabilità che una donna abbia uno stipendio superiore a $ 50, 000 all'anno è solo un terzo di quello per un uomo. Ciò suggerirebbe che i datori di lavoro dovrebbero cercare e correggere, quando appropriato, pregiudizi di genere negli stipendi”.

Sebbene l'analisi del team del set di dati stop-and-frisk di New York, che contiene informazioni demografiche e di altro tipo sui conducenti fermati dalle forze di polizia di New York, abbia rivelato prove di possibili pregiudizi razziali contro gli ispanici e gli individui afroamericani, non ha trovato prove di discriminazione nei loro confronti in media come gruppo.

"Non puoi correggere un problema se non sai che il problema esiste, " ha detto Honavar. "Per evitare discriminazioni sulla base della razza, genere o altri attributi sono necessari strumenti efficaci per rilevare la discriminazione. Il nostro strumento può aiutare in questo".

Honavar ha aggiunto che poiché i sistemi di intelligenza artificiale basati sui dati determinano sempre più il modo in cui le aziende indirizzano gli annunci pubblicitari ai consumatori, come i dipartimenti di polizia controllano individui o gruppi per attività criminali, come le banche decidono chi ottiene un prestito, chi i datori di lavoro decidono di assumere, e come i college e le università decidono chi viene ammesso o riceve aiuti finanziari, c'è un urgente bisogno di strumenti come quello sviluppato da lui e dai suoi colleghi.

"Il nostro strumento, " Egli ha detto, "possono contribuire a garantire che tali sistemi non diventino strumenti di discriminazione, ostacoli all'uguaglianza, minacce alla giustizia sociale e fonti di iniquità”.