Chiediamo sempre consigli agli esperti. Un'azienda potrebbe chiedere consiglio a un economista su come motivare i propri dipendenti. Un governo potrebbe chiedersi quale sarà l'effetto di una riforma politica.

Per dare il consiglio, gli esperti spesso vorrebbero attingere ai risultati di un esperimento. Ma non sempre hanno prove sperimentali rilevanti.

La raccolta di previsioni di esperti sui risultati della ricerca potrebbe essere un nuovo potente strumento per aiutare a migliorare la scienza e i consigli che gli scienziati danno.

Scienza migliore

Negli ultimi decenni, rigore accademico e trasparenza, in particolare nelle scienze sociali, sono notevolmente migliorati.

Ancora, come ha recentemente affermato il capo scienziato australiano Alan Finkel, c'è ancora molto da fare per ridurre al minimo la "cattiva scienza".

Raccomanda di modificare il modo in cui la ricerca viene misurata e finanziata. Un altro approccio sempre più comune è quello di condurre studi randomizzati controllati e studi pre-registrazione per evitare distorsioni in cui vengono riportati i risultati.

Le previsioni degli esperti possono essere un altro strumento per rafforzare la ricerca, come i miei coautori Stefano DellaVigna, Devin Pope e io litighiamo in un nuovo articolo pubblicato su Scienza .

Perché le previsioni?

Il modo in cui interpretiamo i risultati della ricerca dipende da ciò in cui già crediamo. Per esempio, se vedessimo uno studio che afferma di dimostrare che il fumo è salutare, probabilmente saremmo piuttosto scettici.

Se un risultato sorprende gli esperti, quel fatto stesso è informativo. Potrebbe suggerire che qualcosa potrebbe essere andato storto nel disegno dello studio.

O, se lo studio è stato ben progettato e i risultati sono stati replicati, potremmo pensare che il risultato abbia cambiato radicalmente la nostra comprensione di come funziona il mondo.

Eppure attualmente i ricercatori raramente raccolgono informazioni che permettano loro di confrontare i loro risultati con ciò che la comunità di ricerca credeva in precedenza. Questo rende difficile interpretare la novità e l'importanza di un risultato.

Il processo di pubblicazione accademica è anche afflitto da pregiudizi contro la pubblicazione insignificante, o "nullo, "risultati.

La raccolta di previsioni anticipate dei risultati della ricerca potrebbe combattere questo pregiudizio rendendo più interessanti i risultati nulli, in quanto possono indicare un allontanamento dalla saggezza accettata.

cambiare idea

Oltre a migliorare direttamente l'interpretazione dei risultati della ricerca, raccogliere previsioni anticipate può aiutarci a capire come le persone cambiano idea.

Per esempio, io e il mio collega Aidan Coville abbiamo raccolto previsioni anticipate dai responsabili delle politiche per studiare l'effetto che i risultati della ricerca accademica hanno avuto sulle loro convinzioni. Abbiamo scoperto che in generale erano più ricettivi alle "buone notizie" rispetto alle "cattive notizie" e ignoravano le incertezze nei risultati.

Le previsioni possono anche informarci su quali potenziali studi potrebbero migliorare maggiormente le decisioni politiche.

Per esempio, supponiamo che un gruppo di ricerca debba scegliere uno dei dieci interventi da studiare. Per alcuni interventi, siamo abbastanza sicuri di cosa troverebbe uno studio, ed è improbabile che un nuovo studio ci faccia cambiare idea. Per gli altri, siamo meno sicuri, ma è improbabile che siano il miglior intervento.

Se le previsioni sono state raccolte in anticipo, potrebbero dirci quale intervento studiare per avere il maggiore impatto politico.

Previsioni di prova

A lungo termine, se si può dimostrare che le previsioni degli esperti sono abbastanza accurate, potrebbero fornire un supporto per le decisioni politiche laddove non è possibile condurre studi rigorosi.

Per esempio, Stefano DellaVigna e Devin Pope hanno raccolto previsioni su come diversi incentivi modificano la quantità di sforzi che le persone mettono nel portare a termine un compito.

Come puoi vedere nel grafico sottostante, le previsioni non erano perfette (un punto sulla linea diagonale tratteggiata rappresenterebbe una perfetta corrispondenza tra previsione e risultato). Ma sembra esserci una qualche correlazione tra le previsioni aggregate ei risultati.

Un posto centrale per le previsioni

Per sfruttare al meglio le previsioni dei risultati della ricerca, dovrebbero essere raccolti sistematicamente.

Col tempo, questo ci aiuterebbe a valutare l'accuratezza dei singoli previsori, insegnaci come aggregare al meglio le previsioni, e dirci quali tipi di risultati tendono ad essere ben previsti.

Abbiamo costruito una piattaforma che i ricercatori possono utilizzare per raccogliere previsioni sui loro esperimenti dai ricercatori, politici, praticanti, e altri pubblici importanti. Il sito beta può essere visualizzato qui.

Mentre ci concentriamo prima sulla nostra disciplina, l'economia, pensiamo che uno strumento del genere dovrebbe essere ampiamente utile. Incoraggiamo i ricercatori in qualsiasi campo accademico a prendere in considerazione la raccolta di previsioni sui risultati della ricerca.

Ci sono molti usi potenziali per le previsioni dei risultati della ricerca oltre a quelli descritti qui. Anche molti altri accademici stanno esplorando quest'area, come i Replication Markets ei progetti repliCATS che fanno parte di una vasta iniziativa di ricerca sulla replica.

I molteplici usi possibili delle previsioni della ricerca ci danno la certezza che un trattamento più rigoroso e sistematico delle credenze precedenti può migliorare notevolmente l'interpretazione dei risultati della ricerca e, in definitiva, migliorare il modo in cui facciamo scienza.

Questo articolo è stato ripubblicato da The Conversation con una licenza Creative Commons. Leggi l'articolo originale.