Immagina di camminare per strada e vedere gli schermi pubblicitari cambiare il loro contenuto in base a come cammini, come parli, o anche la forma del tuo petto. Questi schermi si basano su telecamere nascoste, microfoni e computer per indovinare se sei maschio o femmina. Questo potrebbe sembrare futuristico, ma gli avventori di una pizzeria norvegese hanno scoperto che era esattamente quello che stava succedendo:le donne vedevano annunci di insalate e gli uomini vedevano annunci di opzioni di carne. Il software che esegue un tabellone pubblicitario digitale ha rovesciato i fagioli quando si è bloccato e ha visualizzato il codice sottostante. La motivazione dietro l'utilizzo di questa tecnologia potrebbe essere stata quella di migliorare la qualità della pubblicità o l'esperienza dell'utente. Tuttavia, molti clienti ne sono rimasti spiacevolmente sorpresi.

Questo tipo di situazione non è solo inquietante e invasivo. È peggio:gli sforzi per il riconoscimento automatico del genere - utilizzando algoritmi per indovinare il genere di una persona in base alle immagini, video o audio – sollevano importanti preoccupazioni sociali ed etiche che non sono ancora completamente esplorate. La maggior parte delle ricerche attuali sulle tecnologie di riconoscimento automatico del genere si concentra invece sui dettagli tecnologici.

La nostra recente ricerca ha scoperto che le persone con identità di genere diverse, compresi quelli che si identificano come transgender o di genere non binario, sono particolarmente preoccupati che questi sistemi possano classificarli erroneamente. Le persone che esprimono il loro genere in modo diverso dalle norme stereotipate maschili e femminili subiscono già discriminazioni e danni a causa dell'erronea categorizzazione o fraintendimento. Idealmente, i progettisti di tecnologie dovrebbero sviluppare sistemi per rendere questi problemi meno comuni, non di più.

Usare algoritmi per classificare le persone

Man mano che le tecnologie digitali diventano più potenti e sofisticate, i loro designer stanno cercando di usarli per identificare e classificare caratteristiche umane complesse, come l'orientamento sessuale, genere ed etnia. L'idea è che con una formazione sufficiente su dati utente abbondanti, gli algoritmi possono imparare ad analizzare l'aspetto e il comportamento delle persone e forse un giorno caratterizzare le persone così come, o anche meglio di, fanno gli altri umani.

Il genere è un argomento difficile da gestire per le persone. È un concetto complesso con ruoli importanti sia come costrutto culturale che come aspetto centrale dell'identità di un individuo. Ricercatori, studiosi e attivisti stanno rivelando sempre più la diversità, aspetti fluidi e sfaccettati del genere. Nel processo, scoprono che ignorare questa diversità può portare sia a esperienze dannose che a ingiustizie sociali. Per esempio, secondo il National Transgender Survey 2016, Il 47% dei partecipanti transgender ha dichiarato di aver subito una qualche forma di discriminazione sul posto di lavoro a causa della propria identità di genere. Più della metà delle persone transgender che sono state molestate, aggrediti o espulsi a causa della loro identità di genere avevano tentato il suicidio.

Molte persone hanno, prima o poi, stato sorpreso, o confusi o addirittura arrabbiati di trovarsi scambiati per una persona di un altro sesso. Quando ciò accade a qualcuno che è transgender, secondo le stime dello 0,6 percento degli americani, o 1,4 milioni di persone, sono – può causare notevole stress e ansia.

Effetti del riconoscimento automatico del genere

Nella nostra recente ricerca, abbiamo intervistato 13 persone transgender e di genere non conforme, sulle loro impressioni generali sulla tecnologia di riconoscimento automatico del genere. Abbiamo anche chiesto loro di descrivere le loro risposte a scenari futuri immaginari in cui potrebbero incontrarlo. Tutti i 13 partecipanti erano preoccupati per questa tecnologia e dubitavano che potesse offrire vantaggi alla loro comunità.

Di particolare preoccupazione era la prospettiva di esserne frainteso; nella loro esperienza, genere è in gran parte un interno, caratteristica soggettiva, non qualcosa che è necessariamente o interamente espresso esteriormente. Perciò, né gli esseri umani né gli algoritmi possono leggere con precisione il genere attraverso le caratteristiche fisiche, come il viso, corpo o voce.

Hanno descritto come essere scambiati con gli algoritmi potrebbe potenzialmente sentirsi peggio che se lo facessero gli umani. La tecnologia è spesso percepita o ritenuta oggettiva e imparziale, quindi essere erroneamente categorizzato da un algoritmo enfatizzerebbe l'idea sbagliata che un'identità transgender non sia autentica. Un partecipante ha descritto come si sentirebbero feriti se un "software da un milione di dollari sviluppato da un numero qualsiasi di persone" decidesse che non sono chi credono di essere.

Privacy e trasparenza

Le persone che abbiamo intervistato hanno condiviso la comune preoccupazione del pubblico che le telecamere automatizzate possano essere utilizzate per la sorveglianza senza il loro consenso o conoscenza; per anni, ricercatori e attivisti hanno sollevato bandiere rosse sulle crescenti minacce alla privacy in un mondo popolato da sensori e telecamere.

Ma i nostri partecipanti hanno descritto come gli effetti di queste tecnologie potrebbero essere maggiori per le persone transgender. Ad esempio, potrebbero essere individuati come insoliti perché hanno un aspetto o si comportano in modo diverso da ciò che si aspettano gli algoritmi sottostanti. Alcuni partecipanti erano persino preoccupati che i sistemi potessero determinare erroneamente che stanno cercando di essere qualcun altro e ingannare il sistema.

Le loro preoccupazioni si estendono anche alle persone cisgender che potrebbero apparire o agire in modo diverso dalla maggioranza, come persone di razze diverse, persone che gli algoritmi percepiscono come androgine, e persone con strutture facciali uniche. Questo accade già a persone appartenenti a minoranze razziali ed etniche, che vengono regolarmente erroneamente identificati dalla tecnologia di riconoscimento facciale. Per esempio, la tecnologia di riconoscimento facciale esistente in alcune fotocamere non riesce a rilevare correttamente i volti degli utenti asiatici e a inviare messaggi affinché smettano di sbattere le palpebre o aprano gli occhi.

I nostri intervistati volevano saperne di più su come funzionano i sistemi di riconoscimento automatico del genere e per cosa vengono utilizzati. Non volevano conoscere dettagli tecnici profondi, ma voleva assicurarsi che la tecnologia non compromettesse la loro privacy o identità. Volevano anche più persone transgender coinvolte nelle prime fasi di progettazione e sviluppo di questi sistemi, ben prima di essere schierati.

Creare sistemi automatici inclusivi

I nostri risultati dimostrano come i progettisti di tecnologie di categorizzazione automatica possano inavvertitamente causare danni facendo ipotesi sulla semplicità e la prevedibilità delle caratteristiche umane. La nostra ricerca si aggiunge a un corpus crescente di lavori che tenta di incorporare in modo più ponderato il genere nella tecnologia.

Le minoranze sono state storicamente escluse dalle conversazioni sull'implementazione della tecnologia su larga scala, comprese le minoranze etniche e le persone con disabilità. Ancora, scienziati e designer sanno allo stesso modo che includere input da gruppi di minoranza durante il processo di progettazione può portare a innovazioni tecniche a vantaggio di tutte le persone. Sosteniamo un approccio all'automazione più inclusivo di genere e incentrato sull'uomo che incorpori diverse prospettive.

Man mano che le tecnologie digitali si sviluppano e maturano, possono portare a innovazioni impressionanti. Ma mentre gli umani dirigono quel lavoro, dovrebbero evitare di amplificare pregiudizi e pregiudizi umani negativi e limitanti. In caso di riconoscimento automatico del genere, non concludiamo necessariamente che questi algoritmi dovrebbero essere abbandonati. Piuttosto, i progettisti di questi sistemi dovrebbero includere, e sensibile a, la diversità e la complessità dell'identità umana.

Questo articolo è stato originariamente pubblicato su The Conversation. Leggi l'articolo originale.