Dicono che il senno di poi è 20-20, e forse da nessuna parte ciò è più vero che nella ricerca accademica.

"Abbiamo tutti avuto l'esperienza di alzarci in piedi per presentare una nuova serie di risultati, spesso basandosi su anni di lavoro, e avere qualcuno tra il pubblico che dice 'Ma lo sapevamo già!, '" afferma il Prof. Stefano DellaVigna, un economista comportamentale con incarichi congiunti presso il Dipartimento di Economia e Berkeley Haas. "Ma nella maggior parte di questi casi, qualcuno avrebbe detto la stessa cosa se avessimo trovato il risultato opposto. Siamo tutti 20-20, dopo il fatto."

DellaVigna ha una cura per questo tipo di quarterback accademico del lunedì mattina:una piattaforma di previsione per catturare la saggezza convenzionale prima che gli studi vengano eseguiti.

Insieme ai colleghi Devin Pope della Booth School of Business dell'Università di Chicago ed Eva Vivalt della Research School of Economics dell'Australian National University, ha lanciato un sito Web beta che consentirà ai ricercatori, dottorato di ricerca studenti, e persino membri del pubblico in generale per esaminare i progetti di ricerca proposti e fare previsioni sui risultati.

La loro proposta, esposto in un articolo in Scienza Forum della politica, fa parte di un'ondata di sforzi per migliorare il rigore e la credibilità della ricerca nelle scienze sociali. Queste riforme sono state innescate dalla crisi della replica, il fallimento della riproduzione dei risultati di molti studi pubblicati, e includono sforzi di massa per replicare gli studi, nonché piattaforme per la preregistrazione di progetti e ipotesi di ricerca.

"Pensavamo che ci fosse qualcosa di importante da guadagnare tenendo un registro di ciò che la gente credeva prima che i risultati fossero conosciuti, e gli scienziati sociali non l'hanno mai fatto in modo sistematico, "dice Della Vigna, che co-dirige la Berkeley Initiative for Behavioral Economics and Finance. "Questo non solo ci aiuterà a identificare meglio i risultati che sono davvero sorprendenti, ma contribuirà anche a migliorare la progettazione sperimentale e l'accuratezza delle previsioni".

Perché la scienza si costruisce su se stessa, le persone interpretano i nuovi risultati in base a ciò che già sanno. Un vantaggio della piattaforma di previsione è che aiuterebbe a identificare meglio risultati davvero sorprendenti, anche nei casi in cui è presente un risultato nullo, che raramente viene pubblicato perché in genere non è considerato significativo, sostengono i ricercatori.

"La raccolta di previsioni anticipate dei risultati della ricerca potrebbe combattere questo pregiudizio rendendo più interessanti i risultati nulli, in quanto possono indicare un allontanamento dalla saggezza accettata, "Vivalt ha scritto in un articolo sulla proposta in The Conversation.

Una piattaforma di previsione della ricerca aiuterà anche a valutare l'accuratezza degli esperti in determinate aree. Per esempio, DellaVigna e Pope hanno raccolto previsioni da esperti accademici su 18 diversi esperimenti per determinare l'efficacia delle "spinte" rispetto agli incentivi monetari nel motivare i lavoratori a svolgere un'attività online. Hanno scoperto che gli esperti erano abbastanza precisi, ma non c'era differenza tra facoltà altamente citate e altre facoltà, e quel dottorato gli studenti hanno dato il massimo.

Capire dove c'è un consenso generale può anche aiutare i ricercatori a progettare domande di ricerca migliori, per arrivare a fenomeni meno comprensibili, sottolineano gli autori. La raccolta di una massa critica di previsioni aprirà anche una nuova potenziale area di ricerca sul fatto che le persone aggiornino le loro convinzioni dopo che sono noti nuovi risultati.

Fare una previsione sulla piattaforma richiederebbe un semplice sondaggio di 5-15 minuti, Della Vigna dice. Le previsioni sarebbero distribuite al ricercatore dopo la raccolta dei dati, e i risultati dello studio sarebbero stati inviati ai previsori alla fine dello studio.

Berkeley Haas Prof. Don Moore, che è stato un leader nel sostenere una maggiore trasparenza, metodi di ricerca rigorosi e formazione della prossima generazione di ricercatori, afferma che la piattaforma di previsione "potrebbe apportare un cambiamento potente e costruttivo al modo in cui pensiamo ai risultati della ricerca. Uno dei suoi grandi punti di forza è che sfrutta la saggezza della folla, potenzialmente sfruttando la conoscenza collettiva di un campo per aiutare a stabilire un consenso scientifico su cui costruire nuovi risultati di ricerca".