Conoscere l'ABC è essenziale per il successo accademico, ma avere un cognome che inizia con A, B o C potrebbe anche aiutare a raggiungere il voto.
Un'analisi condotta da ricercatori dell'Università del Michigan su oltre 30 milioni di record di valutazione della UM rileva che gli studenti con nomi in ordine alfabetico inferiore ricevono voti inferiori. Ciò è dovuto a distorsioni nella valutazione sequenziale e all'ordine predefinito degli elaborati inviati dagli studenti in Canvas, il sistema di gestione dell'apprendimento online più utilizzato, che si basa sulla classificazione alfabetica dei loro cognomi.
Inoltre, hanno scoperto che gli studenti svantaggiati in ordine alfabetico ricevono commenti notevolmente più negativi e meno educati e mostrano una qualità di valutazione inferiore misurata dai reclami post-laurea degli studenti.
"Passiamo molto tempo a pensare a come rendere la valutazione giusta e accurata, ma anche per me è stato davvero sorprendente", ha affermato Jun Li, professore associato di tecnologia e operazioni presso la Ross School of Business della UM, che ha co- ha scritto lo studio con gli studenti di dottorato Jiaxin Pei della School of Information della UM e Helen (Zhihan) Wang di Ross.
"Non ci è venuto in mente finché non abbiamo esaminato i dati e ci siamo resi conto che la sequenza fa la differenza."
I ricercatori hanno raccolto i dati storici disponibili di tutti i programmi, studenti e compiti su Canvas dal semestre autunnale 2014 al semestre estivo 2022. Hanno integrato i dati Canvas con i dati dell'anagrafe universitaria, che contengono informazioni dettagliate sul background, sui dati demografici e sui percorsi di apprendimento degli studenti all'università.
Sebbene i dati provengano dalla UM, i ricercatori affermano che i risultati possono essere generalizzati a tutti gli istituti e ai corsi. Sono guidati da un problema di progettazione comune dei sistemi di gestione dell'apprendimento:l'impostazione predefinita di classificare i compiti degli studenti in ordine alfabetico in base ai loro nomi.
La loro ricerca ha scoperto un chiaro modello di declino della qualità della valutazione man mano che i valutatori valutano più compiti. Secondo Wang, gli studenti i cui cognomi iniziano con A, B, C, D o E hanno ricevuto un voto più alto di 0,3 punti su 100 punti possibili rispetto a quando venivano valutati in modo casuale. Allo stesso modo, gli studenti con cognomi più avanti nell'alfabeto hanno ricevuto un voto inferiore di 0,3 punti, creando un divario di 0,6 punti.
Wang nota che per un piccolo gruppo di alunni (circa il 5%) che valuta da Z ad A, il divario di voti si ribalta come previsto:gli studenti A-E stanno peggio, mentre gli studenti W-Z ricevono voti più alti rispetto a quelli che riceverebbero se valutati in modo casuale. Tali osservazioni confermano la loro ipotesi secondo cui è l'ordine di valutazione a portare al divario iniziale nei voti.
Una differenza di 0,6 punti potrebbe sembrare piccola, ma tale disparità ha influito sulle medie dei voti dei corsi degli studenti, influenzando negativamente le opportunità nei rispettivi percorsi di carriera.
"La nostra conclusione è che potrebbe trattarsi di qualcosa che è accaduto inconsciamente da parte degli alunni e che sta effettivamente creando un reale impatto sociale", ha detto Wang.
Pei dice che l'idea dello studio è nata durante una discussione avuta con Wang in cui parlavano della loro ricerca:lei studia tecnologia educativa e lui studia intelligenza artificiale. Ha osservato che un compito fondamentale dell'apprendimento automatico è l'etichettatura dei dati, anch'esso un compito sequenziale che può essere lungo e noioso, ma che è randomizzato.
Li ha portati a pensare a sistemi educativi come Canvas e ha portato ad alcuni studi pilota per vedere se c'erano disparità tra i voti in base alla quantità di tempo dedicato al compito di valutazione.
"Sospettiamo che la stanchezza sia uno dei principali fattori che determinano questo effetto, perché quando lavori su qualcosa per un lungo periodo di tempo, ti stanchi e inizi a perdere l'attenzione e le tue capacità cognitive si riducono. cadere", ha detto Pei.
I ricercatori notano che esiste la possibilità di valutare i compiti in ordine casuale, e alcuni educatori lo fanno, ma l’ordine alfabetico è la modalità predefinita in Canvas e altri sistemi di gestione dell’apprendimento online. Una soluzione semplice potrebbe essere quella di rendere l'ordine casuale l'impostazione predefinita.
Suggeriscono inoltre che le istituzioni accademiche potrebbero assumere più valutatori per classi più grandi, distribuire il carico di lavoro tra più persone o addestrarli a essere consapevoli e ridurre i pregiudizi durante la valutazione.
Li, Wang e Pei hanno condiviso le loro ricerche in occasione di conferenze e sono state accolte positivamente:molti sono rimasti colpiti dal loro lavoro, anche se conferma i sospetti che molti nutrono. Una reazione in particolare salta agli occhi di Li:senza dubbio un'espressione tipica dell'era dell'informazione sulla scusa "il cane ha mangiato i miei compiti".
"Uno studente universitario ci ha poi inviato un'e-mail chiedendoci di condividere il documento con lui", ha detto. "Ha detto che il suo cognome inizia con W. Dirà ai suoi genitori che non è a causa sua, ma a causa del suo cognome."
Lo studio è in fase di revisione da parte della rivista Management Science e attualmente disponibile come documento di lavoro.
Ulteriori informazioni: Zhihan (Helen) Wang et al, 30 milioni di documenti di classificazione su tela rivelano diffusi bias sequenziali e disparità iniziale dei cognomi indotta dal sistema (2023). Su SSRN :ssrn.com/abstract=4603146
Informazioni sul giornale: Scienze gestionali
Fornito dall'Università del Michigan
