Quanto dovresti essere sicuro nei sondaggi elettorali? Non così fiducioso come sostengono i sondaggisti, secondo un nuovo studio di Berkeley Haas.

La maggior parte dei sondaggi elettorali riporta un livello di confidenza del 95%. Eppure un'analisi di 1, 400 sondaggi di 11 cicli elettorali hanno rilevato che il risultato rientra nel risultato del sondaggio solo il 60% delle volte. E questo è per i sondaggi appena una settimana prima di un'elezione:la precisione scende ancora di più.

"Se sei sicuro, basato su sondaggi, su come usciranno le elezioni del 2020, pensa di nuovo, " ha affermato il prof. Don Moore di Berkeley Haas, che ha condotto l'analisi con l'ex studente Aditya Kotak, BA 20. "Ci sono molte ragioni per cui il risultato effettivo potrebbe essere diverso dal sondaggio, e il modo in cui i sondaggisti calcolano gli intervalli di confidenza non tiene conto di tali questioni".

Molte persone sono rimaste sorprese quando il presidente Donald Trump ha battuto Hillary Clinton nel 2016 dopo averla seguita nei sondaggi, e ha ipotizzato che i sondaggi stiano diventando meno accurati o che le elezioni siano state così insolite da farli fallire. Ma Moore e Kotak non hanno trovato prove di una diminuzione dell'accuratezza nel loro campione di sondaggi fino al 2008, piuttosto, hanno trovato affermazioni costantemente troppo sicure da parte dei sondaggisti.

"Forse il modo in cui interpretiamo i sondaggi nel loro complesso deve essere modificato, per spiegare l'incertezza che ne deriva, " disse Kotak. Infatti, essere sicuro al 95%, i sondaggi dovrebbero raddoppiare i margini di errore che riportano anche a una settimana dal giorno delle elezioni, l'analisi si è conclusa.

Come studente di statistica e informatica in un apprendistato di ricerca universitaria presso l'Accuracy Lab di Moore durante le primarie presidenziali del 2019, Kotak si è incuriosito riguardo agli intervalli di confidenza inclusi nei sondaggi. Ha notato che il margine di errore dei sondaggi è stato spesso menzionato come nota a piè di pagina negli articoli di notizie e nelle metodologie di previsione delle elezioni, e si chiedeva se fossero accurati come i loro margini di errore implicavano che dovrebbero essere.

Kotak ha portato l'idea a Moore, che studia l'eccesso di fiducia sia da un punto di vista psicologico che statistico. Gran parte della ricerca sull'accuratezza del sondaggio considera solo se il sondaggio ha chiamato correttamente il vincitore. Per misurare la fiducia del sondaggio, hanno deciso di dare un'occhiata retroattiva ai sondaggi in base a quanto tempo prima delle elezioni sono stati condotti, e non considerare se un candidato ha vinto o perso, ma se la quota effettiva del voto rientrasse nel margine di errore riportato dal sondaggio. Per esempio, se un sondaggio mostrasse che il 54% degli elettori è favorevole a un candidato, e aveva un margine di errore del 5%, sarebbe esatto se il candidato ottenesse dal 49% al 59% dei voti, ma sarebbe un errore se il candidato vincesse con più del 59% dei voti (o meno del 49%).

Moore e Kotak hanno ottenuto 1, 400 sondaggi condotti in vista delle elezioni generali del 2008, 2012, e 2016, così come le primarie presidenziali democratiche in Iowa e New Hampshire dal 2008 e 2016 e le primarie repubblicane negli stessi stati dal 2012 e 2016. Poiché alcuni sondaggi hanno chiesto di più candidati, il campione includeva risultati di oltre 5, 000 sondaggi su come le persone hanno detto che avrebbero votato su determinati candidati, nonché i relativi margini di errore.

Analizzando i sondaggi in batch di sette giorni, hanno riscontrato un costante calo della precisione quanto più lontano da un'elezione è stato condotto il sondaggio, con solo circa la metà che si è dimostrata accurata 10 settimane prima delle elezioni. Questo ha senso, da quando si verificano eventi imprevisti, come l'ex direttore dell'FBI James Comey che annuncia un'indagine sulle e-mail di Clinton appena una settimana prima delle elezioni presidenziali del 2016. Eppure la maggior parte dei sondaggi anche settimane fuori, riportato l'intervallo di confidenza standard del settore al 95%.

Errore di campionamento e intervalli di confidenza

L'intervallo di confidenza quantifica quanto si può essere sicuri che il campione di persone intervistate rifletta l'intera popolazione elettorale. Un intervallo di confidenza del 95%, Per esempio, significa che se la stessa procedura di campionamento fosse seguita 100 volte, 95 di questi campioni conterrebbero la vera popolazione di elettori. Qui sta il problema, però.

Il livello di confidenza tiene conto di "errore di campionamento, "un termine statistico che quantifica quanto sia probabile che per puro caso, il campione varia dalla più ampia popolazione di elettori da cui è stato tratto il campione. Per esempio, non sondare un gruppo sufficientemente ampio di elettori aumenterebbe l'errore di campionamento. Ma l'errore di campionamento non include nessun altro tipo di errore, come ad esempio il rilevamento dell'insieme sbagliato di persone per cominciare.

"La gente spesso dimentica che i margini di errore per i sondaggi catturano solo le fonti statistiche di errore, "ha detto David Brookman, professore associato presso il Dipartimento di Scienze Politiche di Berkeley. "Questa analisi mostra quanto siano grandi in pratica le restanti fonti di errore non statistiche".

Aggiunto il prof. Gabriel Lenz, anche di Scienze Politiche di Berkeley, "Questa è un'analisi affascinante, e il lavoro futuro potrebbe risolvere le fonti dell'inesattezza, come sondaggisti di bassa qualità, difficoltà a selezionare i probabili elettori, cambiamenti dell'ultimo minuto nelle intenzioni degli elettori, e altro."

È facile prendere in considerazione l'errore di campionamento nelle statistiche di polling, ma molto più difficile da spiegare per tutte le altre incognite, ha detto Moore. È una lezione che va ben oltre i sondaggi.

"Poiché basiamo le nostre convinzioni su campioni di informazioni imperfetti e distorti, a volte sbaglieremo per ragioni che non avevamo previsto, " Egli ha detto.