La tecnologia di riconoscimento facciale si stava già infiltrando nella vita di tutti i giorni, dalle tue foto su Facebook alle scansioni delle foto segnaletiche della polizia, quando Joy Buolamwini ha notato un grave problema tecnico:alcuni software non erano in grado di rilevare i volti dalla pelle scura come il suo.

Quella rivelazione ha spinto il ricercatore del Massachusetts Institute of Technology a lanciare un progetto che sta avendo un'enorme influenza sul dibattito su come l'intelligenza artificiale dovrebbe essere distribuita nel mondo reale.

I suoi test sul software creato da aziende tecnologiche di marca come Amazon hanno scoperto tassi di errore molto più alti nella classificazione del genere delle donne dalla pelle più scura rispetto agli uomini dalla pelle più chiara.

Lungo la strada, Buolamwini ha spronato Microsoft e IBM a migliorare i propri sistemi e ha infastidito Amazon, che ha attaccato pubblicamente i suoi metodi di ricerca. Di mercoledì, un gruppo di studiosi di IA, tra cui un vincitore del primo premio di informatica, ha lanciato una strenua difesa del suo lavoro e ha invitato Amazon a smettere di vendere il suo software di riconoscimento facciale alla polizia.

Il suo lavoro ha anche attirato l'attenzione dei leader politici negli stati e nel Congresso e ha portato alcuni a cercare limiti all'uso degli strumenti di visione artificiale per analizzare i volti umani.

"Ci deve essere una scelta, " disse Buolamwini, uno studente laureato e ricercatore presso il Media Lab del MIT. "Proprio adesso, quello che sta succedendo è che queste tecnologie vengono ampiamente distribuite senza supervisione, spesso di nascosto, così che quando ci svegliamo, è quasi troppo tardi".

Buolamwini non è il solo a esprimere cautela sulla rapida adozione del riconoscimento facciale da parte della polizia, agenzie governative e aziende dai negozi ai complessi di appartamenti. Molti altri ricercatori hanno mostrato come i sistemi di intelligenza artificiale, che cercano modelli in enormi quantità di dati, imiteranno i pregiudizi istituzionali incorporati nei dati da cui stanno imparando. Ad esempio, se i sistemi di intelligenza artificiale vengono sviluppati utilizzando immagini di uomini prevalentemente bianchi, i sistemi funzioneranno meglio nel riconoscere gli uomini bianchi.

Queste disparità a volte possono essere una questione di vita o di morte:uno studio recente sui sistemi di visione artificiale che consentono alle auto a guida autonoma di "vedere" la strada mostra che hanno difficoltà a rilevare i pedoni con tonalità della pelle più scure.

Quello che ha colpito nel segno del lavoro di Boulamwini è il suo metodo di testare i sistemi creati da note aziende. Applica tali sistemi a una scala del tono della pelle utilizzata dai dermatologi, poi nomina e svergogna coloro che mostrano pregiudizi razziali e di genere. Buolamwini, che ha anche fondato una coalizione di studiosi, attivisti e altri chiamati Algorithmic Justice League, ha mescolato le sue indagini accademiche con l'attivismo.

"Si aggiunge a un numero crescente di prove che il riconoscimento facciale colpisce diversi gruppi in modo diverso, " disse Shankar Narayan, dell'American Civil Liberties Union dello stato di Washington, dove il gruppo ha cercato restrizioni sulla tecnologia. "Il lavoro di Joy è stato parte della costruzione di quella consapevolezza".

Amazzonia, il cui amministratore delegato, Jeff Bezos, ha inviato un'e-mail direttamente la scorsa estate, ha risposto prendendo di mira in modo aggressivo i suoi metodi di ricerca.

Uno studio condotto da Buolamwini pubblicato poco più di un anno fa ha rilevato disparità nel modo in cui i sistemi di analisi facciale costruiti da IBM, Microsoft e la società cinese Face Plus Plus hanno classificato le persone per genere. Le donne dalla pelle più scura erano il gruppo più erroneamente classificato, con tassi di errore fino al 34,7%. Al contrario, il tasso di errore massimo per i maschi di pelle più chiara era inferiore all'1%.

Lo studio ha richiesto "un'attenzione urgente" per affrontare il pregiudizio.

"Ho risposto praticamente subito, " disse Ruchir Puri, capo scienziato di IBM Research, descrivendo un'e-mail che ha ricevuto da Buolamwini l'anno scorso.

Da allora, Egli ha detto, "è stata una relazione molto fruttuosa" che ha informato IBM che quest'anno ha presentato un nuovo database da 1 milione di immagini per analizzare meglio la diversità dei volti umani. I sistemi precedenti erano eccessivamente dipendenti da ciò che Buolamwini chiama repository di immagini "maschili".

Microsoft, che aveva i tassi di errore più bassi, commento rifiutato. Messaggi lasciati con Megvii, che possiede Face Plus Plus, non sono stati immediatamente restituiti.

Mesi dopo il suo primo studio, quando Buolamwini ha lavorato con il ricercatore dell'Università di Toronto Inioluwa Deborah Raji su un test di follow-up, tutte e tre le società hanno mostrato importanti miglioramenti.

Ma questa volta hanno aggiunto anche Amazon, che ha venduto il sistema che chiama Rekognition alle forze dell'ordine. I risultati, pubblicato a fine gennaio, ha mostrato che Amazon identificava male le donne di colore più scuro.

"Siamo rimasti sorpresi nel vedere che Amazon era dove erano i suoi concorrenti un anno fa, " disse Buolamwini.

Amazon ha respinto quelle che ha definito "affermazioni errate" di Buolamwini e ha affermato che lo studio ha confuso l'analisi facciale con il riconoscimento facciale, misurare impropriamente il primo con tecniche per valutare il secondo.

"La risposta alle ansie per le nuove tecnologie non è eseguire 'test' incoerenti con il modo in cui il servizio è progettato per essere utilizzato, e per amplificare le conclusioni false e fuorvianti del test attraverso i mezzi di informazione, "Legno opaco, direttore generale dell'intelligenza artificiale per la divisione cloud computing di Amazon, ha scritto in un post sul blog di gennaio. Amazon ha rifiutato le richieste di intervista.

"Non sapevo che la loro reazione sarebbe stata così ostile, "Buolamwini ha detto di recente in un'intervista al suo laboratorio del MIT.

Mercoledì è intervenuta in sua difesa una coalizione di ricercatori, tra cui il pioniere dell'intelligenza artificiale Yoshua Bengio, recente vincitore del Premio Turing, considerata la versione del campo tecnologico del Premio Nobel.

Hanno criticato la risposta di Amazon, in particolare la sua distinzione tra riconoscimento facciale e analisi.

"In contrasto con le affermazioni del dottor Wood, il pregiudizio riscontrato in un sistema è motivo di preoccupazione nell'altro, in particolare nei casi d'uso che potrebbero avere un grave impatto sulla vita delle persone, come le applicazioni delle forze dell'ordine, " scrissero.

I suoi pochi clienti pubblicamente noti hanno difeso il sistema di Amazon.

Chris Adzima, analista senior dei sistemi informativi per l'ufficio dello sceriffo della contea di Washington in Oregon, ha affermato che l'agenzia utilizza Rekognition di Amazon per identificare le corrispondenze più probabili tra la sua collezione di circa 350, 000 foto segnaletiche. Ma poiché un umano prende la decisione finale, "il pregiudizio di quel sistema informatico non viene trasferito in alcun risultato o azione intrapresa, " ha detto Adzima.

Ma sempre più, regolatori e legislatori hanno i loro dubbi. Un disegno di legge bipartisan al Congresso chiede limiti al riconoscimento facciale. I legislatori di Washington e del Massachusetts stanno valutando leggi proprie.

Buolamwini ha affermato che un messaggio importante della sua ricerca è che i sistemi di intelligenza artificiale devono essere attentamente rivisti e monitorati in modo coerente se verranno utilizzati sul pubblico. Non solo per verificare l'accuratezza, lei disse, ma per garantire che il riconoscimento facciale non venga abusato per violare la privacy o causare altri danni.

"Non possiamo semplicemente lasciare alle aziende da sole fare questo tipo di controlli, " lei disse.

© 2019 The Associated Press. Tutti i diritti riservati.