Non solo le aziende, ma le istituzioni statali si affidano sempre più a decisioni automatizzate da sistemi basati su algoritmi. La loro efficienza fa risparmiare tempo e denaro, ma comporta anche molti rischi di discriminazione di individui o gruppi di popolazione. Questo è il risultato di uno studio realizzato dall'Institute for Technology Assessment and Systems Analysis (ITAS) presso il Karlsruhe Institute of Technology (KIT) per conto dell'Agenzia federale antidiscriminazione.

Quando si concede un prestito, selezione di nuovi membri del personale, o prendere decisioni legali, in un numero crescente di settori, gli algoritmi vengono applicati per preparare decisioni umane o per prendere queste decisioni per gli esseri umani. "Sfortunatamente, spesso è un errore pensare che questo porti inevitabilmente a decisioni più obiettive e più giuste, " afferma Carsten Orwat dell'Institute for Technology Assessment and Systems Analysis (ITAS) di KIT. "Le situazioni diventano particolarmente critiche quando gli algoritmi lavorano con dati distorti e si basano su criteri che dovrebbero essere protetti, " dice l'autore. Questi criteri includono, in particolare, età, Genere, origine etnica, religione, orientamento sessuale, e handicap.

A nome dell'Agenzia federale contro la discriminazione, Carsten Orwat ha studiato in dettaglio le cause della discriminazione, il suo impatto sulla società, e opzioni future per ridurre i rischi di discriminazione. Il suo studio intitolato "Diskriminierungsrisiken durch Verwendung von Algorithmen" (rischi di discriminazione mediante l'uso di algoritmi) elenca 47 esempi per illustrare come gli algoritmi possono discriminare le persone in vari modi e come ciò può essere rilevato e dimostrato.

Immobili, prestiti, materia giudiziaria, e altro ancora:vari esempi di rischi di discriminazione

Come esempi, Orwat descrive situazioni sui mercati immobiliari e dei prestiti o nel sistema giudiziario. Negli USA, ad esempio, sono stati documentati diversi casi, in cui gli algoritmi all'interno dei social media hanno permesso agli annunci pubblicitari mirati di essere invisibili alle persone protette dal "Fair Housing Act, "come i migranti, persone con handicap, o con carnagione non bianca, dice l'autore. In Finlandia, una banca è stata condannata a pagare una multa perché il suo algoritmo per la concessione automatica di prestiti online mostrava pregiudizi nei confronti degli uomini rispetto alle donne e del finlandese rispetto ai madrelingua svedesi. Questa disparità di trattamento è vietata dalla legge finlandese contro la discriminazione. Al momento di decidere sull'uscita anticipata dal carcere, I giudici statunitensi utilizzano un sistema molto controverso che calcola i punteggi di rischio. Giornalisti e associazioni per i diritti umani criticano il fatto che questo sistema sovrastimi sistematicamente il rischio di recidiva dei neri.

"I sistemi di apprendimento automatico hanno spesso problemi quando vengono addestrati con dati che riflettono trattamenti o stereotipi diseguali, " Spiega Carsten Orwat. "In questo caso, lo faranno anche gli algoritmi generati. Quando si trattano dati contenenti valutazioni di persone da parte di altre persone, disparità di trattamento e discriminazioni possono addirittura diffondersi o aumentare." Questo è successo negli USA in un sistema di controlli alimentari e sanitari che si basava su valutazioni discriminanti dei ristoranti.

Raccomandazioni di contromisure

Però, la società non deve più accettare queste disparità di trattamento. Lo studio elenca diverse opzioni per contrastare la discriminazione mediante algoritmi. "Le misure preventive sembrano essere le più ragionevoli, " dice Carsten Orwat. Le aziende possono chiedere alle agenzie antidiscriminazione di istruire il proprio personale e gli esperti IT e aumentare la loro consapevolezza. Quindi, queste persone utilizzeranno set di dati che non riflettono pratiche discriminatorie o trattamenti iniqui.

Secondo Orwat, l'obiettivo è rendere i futuri algoritmi "privi di discriminazioni in base alla progettazione". Ciò significa che i programmi devono essere verificati durante il loro sviluppo iniziale.

Alla fine, si tratta della protezione dei valori della società, come l'uguaglianza o il libero sviluppo della personalità. Per garantire ciò nonostante i rapidissimi sviluppi dei "big data" e dell'IA, è necessario migliorare in alcuni punti la legislazione contro la discriminazione e la protezione dei dati, sottolinea Orwat.