Uno studio di Deb Raji, uno studente del quarto anno presso la Facoltà di Scienze Applicate e Ingegneria dell'Università di Toronto, e i ricercatori del Massachusetts Institute of Technology stanno sottolineando i pregiudizi razziali e di genere riscontrati nei servizi di riconoscimento facciale.

Raji ha trascorso l'estate del 2018 come stagista presso il Media Lab del MIT, dove ha verificato le tecnologie commerciali di riconoscimento facciale realizzate da aziende leader come Microsoft, IBM e Amazon. I ricercatori hanno scoperto che tutti avevano la tendenza a scambiare donne dalla pelle più scura per uomini.

Ma un servizio in particolare, Rekognition di Amazon, ha mostrato un livello di parzialità più elevato rispetto agli altri. Sebbene possa identificare il sesso degli uomini dalla pelle chiara con quasi il 100% di precisione, classificava erroneamente le donne come uomini il 29% delle volte, e le donne dalla pelle più scura per gli uomini il 31% delle volte.

Rekognition è stato recentemente pilotato dalla polizia di Orlando, Fla., utilizzando il servizio in scenari di polizia come la scansione di volti sulle telecamere e il loro confronto con quelli nei database criminali.

"Il fatto che la tecnologia non caratterizzi bene i volti neri potrebbe portare a un'identificazione errata dei sospetti, " dice Raji. "Amazon ha bisogno di una certa pressione pubblica, visti gli scenari ad alto rischio in cui stanno usando questa tecnologia".

Con i rapidi progressi e l'implementazione di prodotti di intelligenza artificiale (AI), questo nuovo studio sottolinea la necessità di testare non solo i sistemi per le prestazioni, ma anche per potenziali pregiudizi nei confronti di gruppi sottorappresentati.

Sebbene gli algoritmi dovrebbero essere neutrali, Raji spiega che poiché i set di dati - informazioni utilizzate per "addestrare" un modello di intelligenza artificiale - provengono da una società che è ancora alle prese con i pregiudizi quotidiani, questi pregiudizi vengono incorporati negli algoritmi.

"Diciamo che voglio esempi di come appare la pelle sana. Se lo cerchi su Google ora, vedrai per lo più donne dalla pelle chiara, " dice Raji. "Non vedrai un uomo per pagine, e non vedresti una donna dalla pelle più scura finché non scorri davvero verso il basso. Se lo inserisci in un modello di intelligenza artificiale, adotta questa visione del mondo e adatta le sue decisioni sulla base di quei pregiudizi".

Questi pregiudizi dovrebbero essere chiamati in causa, proprio come si riterrebbe una persona responsabile, dice Raji. "C'è questo pericolo maggiore quando incorpori quel pregiudizio in un algoritmo rispetto a quando un umano prende una decisione prevenuta. Qualcuno ti dirà che è sbagliato, che si tratti del pubblico o del tuo capo, " lei dice.

"Con l'intelligenza artificiale, tendiamo ad assolvere questa responsabilità. Nessuno metterà in galera un algoritmo".

La passione di Raji sul tema del pregiudizio nell'apprendimento automatico deriva dal suo periodo come studentessa di Professional Experience Year Co-op (PEY Co-op) presso la startup di intelligenza artificiale Clarifai, dove il tema dell'intelligenza artificiale e dell'etica è stato regolarmente discusso presso l'azienda orientata alla ricerca.

"È qualcosa che l'azienda ha notato ed è stata molto esplicita nell'affrontare, ed è un argomento che mi ha colpito personalmente perché sono una minoranza visibile, " lei dice.

Deriva anche dalle sue esperienze personali con le tecnologie di parte razziale. "Costruirei qualcosa a un hackathon e mi chiedo perché non possa rilevare la mia faccia, o perché un rubinetto automatico non può rilevare la mia mano, " lei dice.

Raji ha condiviso le sue esperienze con informatici e attivisti digitali, Gioia Buolamwini, al Media Lab del MIT. Ciò ha portato al tirocinio, e a Raji che è diventata l'autrice principale di un documento che ha presentato all'Association for the Advancement of Artificial Intelligence Conference on AI Ethics and Society.

"So che sembra che ho scritto un documento di ricerca in tre mesi, "dice Raji. "Ma questo problema sta percolando dentro di me da molto più tempo."

Raji sta attualmente terminando il suo ultimo mandato in scienze ingegneristiche e sta conducendo un'iniziativa guidata da studenti chiamata Project Include, che forma gli studenti a insegnare programmazione informatica nei quartieri a basso reddito di Toronto e Mississauga. È anche una mentee presso Google AI. Nell'ambito del programma di tutoraggio, sta lavorando a una nuova tesi che si concentra su soluzioni pratiche per responsabilizzare le aziende.

"La gente a volte minimizza l'urgenza dicendo:'Bene, L'intelligenza artificiale è così nuova, '", dice Raji. "Ma se stai costruendo un ponte, l'industria ti permetterebbe di prendere scorciatoie e inventare questo tipo di scuse?"