La mappa di calore mostra le frequenze relative degli intervistati che hanno valutato uno scenario come "Equo" (ovvero "Abbastanza equo" o "Molto equo"). La scala dei colori è centrata sulla valutazione media dell'equità su tutti gli esperimenti. Credito:Patterns/Gordon e Kern et al.
Oggi, l'apprendimento automatico aiuta a determinare il prestito per cui ci qualifichiamo, il lavoro che otteniamo e persino chi va in prigione. Ma quando si tratta di queste decisioni potenzialmente in grado di alterare la vita, i computer possono fare una scelta equa? In uno studio pubblicato il 29 settembre sulla rivista Patterns , ricercatori tedeschi hanno dimostrato che con la supervisione umana, le persone pensano che la decisione di un computer possa essere equa quanto una decisione presa principalmente da esseri umani.
"Gran parte della discussione sull'equità nell'apprendimento automatico si è concentrata su soluzioni tecniche, come come correggere algoritmi ingiusti e come rendere equi i sistemi", afferma lo scienziato sociale computazionale e coautore Ruben Bach dell'Università di Mannheim, in Germania. "Ma la nostra domanda è:cosa pensano le persone sia giusto? Non si tratta solo di sviluppare algoritmi. Devono essere accettati dalla società e soddisfare le convinzioni normative nel mondo reale".
Il processo decisionale automatizzato, in cui una conclusione viene elaborata esclusivamente da un computer, eccelle nell'analisi di grandi set di dati per rilevare i modelli. I computer sono spesso considerati obiettivi e neutrali rispetto agli esseri umani, i cui pregiudizi possono offuscare i giudizi. Tuttavia, i pregiudizi possono insinuarsi nei sistemi informatici mentre apprendono da dati che riflettono modelli discriminatori nel nostro mondo. Comprendere l'equità nelle decisioni umane e informatiche è fondamentale per costruire una società più equa.
Per capire ciò che le persone considerano equo sul processo decisionale automatizzato, i ricercatori hanno intervistato 3.930 persone in Germania. I ricercatori hanno fornito loro scenari ipotetici relativi alla banca, al lavoro, al carcere e ai sistemi di disoccupazione. All'interno degli scenari, hanno ulteriormente confrontato diverse situazioni, incluso se la decisione porta a un risultato positivo o negativo, da dove provengono i dati per la valutazione e chi prende la decisione finale:umano, computer o entrambi.
"Come previsto, abbiamo visto che il processo decisionale completamente automatizzato non era favorito", afferma lo scienziato sociale computazionale e co-primo autore Christoph Kern dell'Università di Mannheim. "Ma la cosa interessante è che quando si ha la supervisione umana sul processo decisionale automatizzato, il livello di equità percepita diventa simile al processo decisionale incentrato sull'uomo". I risultati hanno mostrato che le persone percepiscono una decisione come più equa quando sono coinvolti gli esseri umani.
Le persone avevano anche più preoccupazioni per l'equità quando le decisioni relative al sistema di giustizia penale o alle prospettive di lavoro, dove la posta in gioco è più alta. Considerando forse il peso delle perdite maggiore del peso dei guadagni, i partecipanti hanno ritenuto le decisioni che possono portare a risultati positivi più eque di quelle negative. Rispetto ai sistemi che si basano solo su dati relativi allo scenario, quelli che attingono da Internet su dati aggiuntivi non correlati sono stati considerati meno equi, a conferma dell'importanza della trasparenza e della privacy dei dati. Insieme, i risultati hanno mostrato che il contesto conta. I sistemi decisionali automatizzati devono essere progettati con attenzione quando sorgono problemi di equità.
Sebbene le situazioni ipotetiche nel sondaggio potrebbero non tradursi completamente nel mondo reale, il team sta già esaminando i passaggi successivi per comprendere meglio l'equità. Hanno in programma di approfondire lo studio per capire come persone diverse definiscono l'equità. Vogliono anche utilizzare sondaggi simili per porre più domande su idee come la giustizia distributiva, l'equità dell'allocazione delle risorse tra la comunità.
"In un certo senso, speriamo che le persone del settore possano prendere questi risultati come spunti di riflessione e come cose che dovrebbero controllare prima di sviluppare e implementare un sistema decisionale automatizzato", afferma Bach. "Dobbiamo anche garantire che le persone comprendano come vengono elaborati i dati e come vengono prese le decisioni sulla base di essi". + Esplora ulteriormente
