In effetti, lo studio rileva che molte scuole che ricevono valutazioni relativamente basse ottengono risultati migliori di quanto tali valutazioni implicherebbero. Le valutazioni convenzionali, chiarisce la ricerca, sono altamente correlate alla razza. Nello specifico, molte valutazioni scolastiche pubblicate sono correlate in modo altamente positivo con la percentuale di bianchi nel corpo studentesco.

"I risultati medi di una scuola riflettono, in una certa misura, il mix demografico della popolazione servita", afferma l'economista del MIT Josh Angrist, vincitore del Premio Nobel che ha a lungo analizzato i risultati dell'istruzione. Angrist è coautore di "Race and the Mismeasure of School Quality", pubblicato su American Economic Review:Insights .

Lo studio, che esamina i distretti scolastici di Denver e New York City, ha il potenziale per migliorare significativamente il modo in cui viene misurata la qualità della scuola.

Invece di misure aggregate grezze come i punteggi dei test, lo studio utilizza i cambiamenti nei punteggi dei test e un aggiustamento statistico per la composizione razziale per calcolare misure più accurate degli effetti causali che la frequentazione di una particolare scuola ha sui guadagni di apprendimento degli studenti. Questa ricerca metodologicamente sofisticata si basa sul fatto che Denver e New York City assegnano gli studenti alle scuole in modi che consentono ai ricercatori di imitare le condizioni di uno studio randomizzato.

Nel documentare una forte correlazione tra i sistemi di classificazione attualmente utilizzati e la razza, lo studio rileva che gli studenti bianchi e asiatici tendono a frequentare le scuole con classificazione più alta, mentre gli studenti neri e ispanici tendono a essere raggruppati nelle scuole con classificazione inferiore.

"Semplici misure di qualità scolastica, che si basano sulle statistiche medie della scuola, sono invariabilmente altamente correlate con la razza, e tali misure tendono ad essere una guida fuorviante di ciò che puoi aspettarti mandando tuo figlio a quella scuola," dice Angrist .

Gli autori del documento sono Angrist, il Ford Professor of Economics al MIT; Peter Hull, professore di economia alla Brown University; Parag Pathak, professore di economia del 1922 al MIT; e Christopher Walters Ph.D., professore associato di economia presso l'Università della California a Berkeley. Angrist e Pathak sono entrambi professori del Dipartimento di economia del MIT e cofondatori dei Blueprint Labs del MIT, un gruppo di ricerca che spesso esamina il rendimento scolastico.

Lo studio utilizza i dati forniti dai distretti scolastici pubblici di Denver e New York City, dove gli alunni della sesta elementare fanno domanda per un posto in alcune scuole medie, e i distretti utilizzano un sistema di assegnazione scolastica. In questi distretti, gli studenti possono optare per qualsiasi scuola del distretto, ma alcune scuole hanno un numero eccessivo di iscrizioni. In queste circostanze, il distretto utilizza un numero casuale della lotteria per determinare chi otterrà un posto e dove.

In virtù della lotteria all'interno dell'algoritmo di assegnazione dei posti, gruppi di studenti altrimenti simili frequentano casualmente una serie di scuole diverse. Ciò facilita i confronti che rivelano gli effetti causali della frequenza scolastica sui guadagni di apprendimento, come in uno studio clinico randomizzato del tipo utilizzato nella ricerca medica. Utilizzando i punteggi dei test di matematica e inglese, i ricercatori hanno valutato i progressi degli studenti a Denver dagli anni scolastici dal 2012-2013 al 2018-2019 e a New York City dagli anni scolastici dal 2016-2017 al 2018-2019.

Questi sistemi di assegnazione scolastica, a quanto pare, sono meccanismi che alcuni ricercatori hanno contribuito a costruire, consentendo loro di cogliere e misurare meglio gli effetti dell'assegnazione scolastica.

"Un vantaggio inaspettato del nostro lavoro di progettazione dei sistemi di scelta centralizzati di Denver e New York City è che vediamo come gli studenti vengono razionati dalle scuole [distribuite tra]", afferma Pathak. "Ciò porta a un disegno di ricerca in grado di isolare causa ed effetto."

In definitiva, lo studio mostra che gran parte della variazione da scuola a scuola nei punteggi grezzi dei test aggregati deriva dalla tipologia di studenti di una determinata scuola. Questo è un caso di ciò che i ricercatori chiamano “bias di selezione”. In questo caso, il bias di selezione deriva dal fatto che le famiglie più avvantaggiate tendono a preferire gli stessi gruppi di scuole.

"Il problema fondamentale qui è il pregiudizio della selezione", afferma Angrist. "Nel caso delle scuole, i pregiudizi di selezione sono molto consequenziali e costituiscono una parte importante della vita americana. Molti decisori, siano essi famiglie o politici, vengono fuorviati da una sorta di interpretazione ingenua dei dati."

In effetti, osserva Pathak, la preponderanza di valutazioni scolastiche più semplicistiche oggi (che si trovano su molti siti Web popolari) non solo crea un quadro ingannevole di quanto valore le scuole aggiungono agli studenti, ma ha un effetto auto-rinforzante, poiché ben preparate e meglio- le famiglie fanno offerte per aumentare i costi degli alloggi vicino a scuole di alto livello. Come scrivono gli studiosi nel documento, "Schemi di valutazione distorti indirizzano le famiglie verso scuole appartenenti a minoranze minoritarie piuttosto che a scuole di alta qualità, penalizzando al contempo le scuole che migliorano i risultati dei gruppi svantaggiati."

Il gruppo di ricerca spera che il loro studio porti i distretti a esaminare e migliorare il modo in cui misurano e riferiscono sulla qualità della scuola. A tal fine, Blueprint Labs sta collaborando con il Dipartimento dell’Istruzione della città di New York per sperimentare un nuovo sistema di classificazione entro la fine dell’anno. Hanno inoltre in programma un ulteriore lavoro per esaminare il modo in cui le famiglie rispondono a diversi tipi di informazioni sulla qualità della scuola.

Dato che i ricercatori propongono di migliorare le valutazioni in quello che ritengono sia un modo semplice, tenendo conto della preparazione e del miglioramento degli studenti, ritengono che più funzionari e distretti potrebbero essere interessati ad aggiornare le loro pratiche di misurazione.

"Ci auguriamo che il semplice aggiustamento della regressione da noi proposto renda relativamente semplice per i distretti scolastici l'utilizzo pratico della nostra misura", afferma Pathak.