Credito:Unsplash/CC0 di dominio pubblico
Uno studio sui tipi di errori che gli esseri umani commettono quando valutano le immagini può abilitare algoritmi informatici che ci aiutano a prendere decisioni migliori sulle informazioni visive, ad esempio durante la lettura di una radiografia o la moderazione dei contenuti online.
I ricercatori della Cornell e delle istituzioni partner hanno analizzato oltre 16 milioni di previsioni umane sul fatto che un quartiere abbia votato per Joe Biden o Donald Trump alle elezioni presidenziali del 2020 sulla base di una singola immagine di Google Street View. Hanno scoperto che gli esseri umani come gruppo si sono comportati bene nel compito, ma un algoritmo informatico è stato migliore nel distinguere tra Trump e il paese di Biden.
Lo studio ha anche classificato i modi comuni in cui le persone sbagliano e ha identificato oggetti, come camioncini e bandiere americane, che hanno portato le persone fuori strada.
"Stiamo cercando di capire, dove un algoritmo ha una previsione più efficace di un essere umano, possiamo usarlo per aiutare l'umano o creare un migliore sistema ibrido uomo-macchina che ti dia il meglio di entrambi i mondi?" ha detto il primo autore J.D. Zamfirescu-Pereira, uno studente laureato presso l'Università della California a Berkeley.
Ha presentato il lavoro, intitolato "Trucks Don't Mean Trump:Diagnosing Human Error in Image Analysis", alla 2022 Association for Computing Machinery (ACM) Conference on Fairness, Accountability, and Transparency (FAccT).
Di recente, i ricercatori hanno prestato molta attenzione alla questione del pregiudizio algoritmico, ovvero quando gli algoritmi commettono errori che svantaggiano sistematicamente le donne, le minoranze razziali e altre popolazioni storicamente emarginate.
"Gli algoritmi possono sbagliare in una miriade di modi e questo è molto importante", ha affermato l'autrice senior Emma Pierson, assistente professore di informatica presso il Jacobs Technion-Cornell Institute presso Cornell Tech e il Technion con la Cornell Ann S. Bowers Facoltà di Informatica e Scienze dell'Informazione. "Ma gli esseri umani stessi sono di parte e inclini agli errori e gli algoritmi possono fornire una diagnostica molto utile su come le persone sbagliano."
I ricercatori hanno utilizzato dati anonimi di un quiz interattivo del New York Times che mostrava ai lettori istantanee da 10.000 località in tutto il paese e chiedeva loro di indovinare come votava il quartiere. Hanno addestrato un algoritmo di apprendimento automatico per fare la stessa previsione fornendogli un sottoinsieme di immagini di Google Street View e fornendogli risultati di votazione nel mondo reale. Quindi hanno confrontato le prestazioni dell'algoritmo sulle immagini rimanenti con quelle dei lettori.
Nel complesso, l'algoritmo di apprendimento automatico ha previsto la risposta corretta circa il 74% delle volte. Se messi insieme per rivelare "la saggezza della folla", gli umani avevano ragione il 71% delle volte, ma i singoli umani hanno ottenuto solo il 63% circa.
Le persone spesso sceglievano erroneamente Trump quando la vista stradale mostrava camioncini o cieli spalancati. In un articolo del New York Times, i partecipanti hanno notato che le bandiere americane li rendevano anche più propensi a prevedere Trump, anche se i quartieri con le bandiere erano equamente divisi tra i candidati.
I ricercatori hanno classificato gli errori umani come risultato di bias, varianza o rumore, tre categorie comunemente utilizzate per valutare gli errori degli algoritmi di apprendimento automatico. Il pregiudizio rappresenta gli errori nella saggezza della folla, ad esempio associare sempre i camioncini a Trump. La varianza comprende i giudizi sbagliati individuali, quando una persona fa una cattiva chiamata, anche se la folla aveva ragione, in media. Il rumore si verifica quando l'immagine non fornisce informazioni utili, come una casa con un'insegna Trump in un quartiere in cui si vota principalmente Biden.
Essere in grado di scomporre gli errori umani in categorie può aiutare a migliorare il processo decisionale umano. Prendi i radiologi che leggono i raggi X per diagnosticare una malattia, per esempio. Se ci sono molti errori dovuti a pregiudizi, i medici potrebbero aver bisogno di una riqualificazione. Se, in media, la diagnosi ha successo ma c'è una divergenza tra i radiologi, allora potrebbe essere giustificato un secondo parere. E se c'è molto rumore fuorviante nei raggi X, potrebbe essere necessario un test diagnostico diverso.
In definitiva, questo lavoro può portare a una migliore comprensione di come combinare il processo decisionale umano e macchina per i sistemi umani nel circuito, in cui gli esseri umani danno input a processi altrimenti automatizzati.
"Vuoi studiare insieme le prestazioni dell'intero sistema, gli esseri umani più l'algoritmo, perché possono interagire in modi inaspettati", ha detto Pierson. + Esplora ulteriormente
