Se il recente scandalo sui dati di Cambridge Analytica ci ha insegnato qualcosa, è che le culture etiche delle nostre più grandi aziende tecnologiche necessitano di un esame più severo.

Ma le questioni morali su quali dati dovrebbero essere raccolti e come dovrebbero essere usati sono solo l'inizio. Sollevano domande più ampie su chi deve prendere quelle decisioni in primo luogo.

Attualmente disponiamo di un sistema in cui il potere sull'uso giudizioso ed etico dei dati è concentrato in modo schiacciante tra gli uomini bianchi. La ricerca mostra che i pregiudizi inconsci che emergono dall'educazione e dalle esperienze di una persona possono essere incorporati nella tecnologia, con conseguenze negative per i gruppi minoritari.

Questi pregiudizi sono difficili da eliminare, che rende la diversità sul posto di lavoro uno strumento potente e necessario per catturare pregiudizi insospettati prima che abbiano la possibilità di causare danni. Man mano che l'impatto degli algoritmi e delle decisioni basati sui dati diventa più profondo, dobbiamo chiederci:come cambierà questo in futuro?

Sfortunatamente, gli indicatori suggeriscono che la risposta è:non molto.

Di quali conseguenze stiamo parlando?

Il pregiudizio algoritmico è ora un problema ampiamente studiato che si riferisce a come i pregiudizi umani si insinuano nelle decisioni prese dai computer.

Il problema ha portato a traduzioni linguistiche di genere, raccomandazioni di condanna penale tendenziose, e sistemi di riconoscimento facciale distorti dal punto di vista razziale.

Per esempio, quando uno strumento di traduzione automatica come Google Translate è richiesto per tradurre una lingua neutrale rispetto al genere (come il turco) in una specifica per genere (come l'inglese), fa un'ipotesi su quale genere assegnare al testo tradotto.

La gente ha notato che Google Translate ha mostrato una tendenza ad assegnare pronomi di genere femminile a determinati lavori e pronomi maschili ad altri - "lei è una babysitter" o "lui è un dottore" - in un modo che puzzava di sessismo. Google Translate basa la sua decisione su quale genere assegnare a un determinato lavoro sui dati di formazione da cui apprende. In questo caso, è raccogliere i pregiudizi di genere che già esistono nel mondo e restituirceli.

Se vogliamo garantire che gli algoritmi non perpetuino e rafforzino i pregiudizi esistenti, dobbiamo stare attenti ai dati che usiamo per addestrare gli algoritmi. Ma se riteniamo che le donne hanno maggiori probabilità di essere babysitter e gli uomini hanno maggiori probabilità di essere medici, allora potremmo anche non notare - e correggere - dati distorti negli strumenti che creiamo.

Quindi è importante chi sta scrivendo il codice perché il codice definisce l'algoritmo, che emette il giudizio sulla base dei dati.

Chi detiene il potere?

Solo dieci anni fa i primi smartphone stavano lasciando il segno. Oggi alcune delle persone più potenti del pianeta sono quelle che controllano i dati raccolti attraverso le tecnologie mobili.

I dati sono fondamentali per il funzionamento del mondo moderno. E potere sugli affari, la democrazia e l'istruzione probabilmente continueranno a dipendere dai dati e dagli strumenti che dipendono dai dati, come l'apprendimento automatico e l'intelligenza artificiale.

Attualmente, le persone che hanno il potere di prendere decisioni etiche sull'uso dei dati sono tipicamente maschi bianchi di alto reddito, famiglie ben istruite.

Una società di ricerca, MIC aperto, che si descrive come "investire nella diversità razziale nel mondo tecnologico", ha esaminato i dati di alcune delle più grandi aziende tecnologiche e ha trovato un modello coerente:percentuali sproporzionate di dipendenti bianchi rispetto alla popolazione attiva più ampia.

La forza lavoro di Adobe è composta per il 69% da bianchi, La mela è bianca al 56%, Google è bianca al 59% e Microsoft è bianca al 58%. L'elenco continua:"I neri, latini, e i nativi americani sono sottorappresentati nella tecnologia da 16 a 18 punti percentuali rispetto alla loro presenza nella forza lavoro statunitense in generale".

Questo è reso molto peggio da una paralizzante mancanza di diversità di genere.

In un rapporto Microsoft del 2017, un sondaggio tra i leader IT e tecnologici del Regno Unito ha rilevato che in media, il mix di genere tra le loro squadre era per l'80% maschile e per il 20% femminile. Uno sbalorditivo 35% degli intervistati non aveva in programma di modificare questo squilibrio.

I numeri sono simili in Australia, secondo uno studio sui profili professionali australiani sul social network LinkedIn.

Ha rivelato che solo il 14% dei ruoli esecutivi nell'industria tecnologica locale era ricoperto da donne. Dei 435, 000 persone in IT elencate su LinkedIn in Australia, solo il 31% erano donne. Anche questi numeri possono essere ottimisti, secondo il capo scienziato australiano, Alan Finkel, che ha notato che le donne costituiscono meno di un quinto degli australiani qualificati in scienze, tecnologia, ingegneria e matematica.

Questo cambierà?

I probabili responsabili dello sviluppo degli algoritmi del futuro sono coloro che stanno studiando informatica e scienze matematiche in questo momento. Purtroppo, i gruppi che dominano queste materie nelle scuole e nelle università riflettono in gran parte la forza lavoro attuale.

Gli studenti nazionali australiani iscritti alla tecnologia dell'informazione di livello terziario sono scesi da un picco di 46, 945 nel 2002 a 27, 547 nel 2013. Mentre i numeri sono leggermente migliorati secondo AEN University Rankings, le donne in ingegneria e informatica rappresentano ancora meno di uno studente su cinque.

Nel frattempo, il numero di ragazze della scuola media superiore che frequentano le materie avanzate di informatica e matematica necessarie per accedere a questi ruoli rimane decisamente basso.

Questa nave sta impiegando molto tempo per girarsi.

Cosa possiamo fare al riguardo?

Se i programmatori del futuro sono i ragazzi della classe media di oggi, come li stiamo preparando a fare scelte etiche imparziali quando diventeranno gli Zuckerberg di domani? E come possiamo governare la nave in modo che la ricchezza e il potere che continueranno a fluire dalla padronanza di tali abilità tecniche non siano negati a coloro che non sono bianchi e maschi?

Il nostro sistema educativo consente inconsapevolmente ai ragazzi di formarsi come tecnici senza le competenze per inserire il proprio lavoro in un contesto sociale, e permettere alle ragazze di fare il contrario.

Infatti, mentre molte delle giovani donne più intelligenti scelgono di studiare medicina o legge, queste professioni sono vulnerabili al progresso dell'intelligenza artificiale:assistenti legali, radiologi, e coloro che effettuano diagnosi preliminari.

Siamo in una struttura in cui gli stessi vecchi squilibri si stanno rafforzando e cercano di persistere. Ma non è così che dovrebbe essere. A meno che non affrontiamo la cultura attraverso grandi cambiamenti nelle tendenze educative, nulla cambierà.

Questo articolo è stato originariamente pubblicato su The Conversation. Leggi l'articolo originale.