Oggi, in Natura Comportamento Umano , un team collaborativo di cinque laboratori ha pubblicato i risultati di 21 repliche ad alta potenza di esperimenti di scienze sociali originariamente pubblicati in Scienza e Natura , due delle più prestigiose riviste scientifiche. Non sono riusciti a replicare i risultati di più di un terzo degli studi e hanno mostrato prove significativamente più deboli per il resto rispetto agli studi originali.

Inoltre, prima di eseguire le repliche, il team ha creato mercati di previsione per altri ricercatori per scommettere soldi se pensavano che ciascuno dei risultati si sarebbe replicato. I mercati sono stati molto accurati nel prevedere quali studi avrebbero avuto successo o non sarebbero stati replicati.

"È possibile che errori nella replica o differenze tra gli studi originali e quelli di replica siano responsabili di alcuni errori di replicazione, "dice Gideon Nave, un assistente professore di marketing della Wharton School of Business dell'Università della Pennsylvania e uno dei responsabili del progetto, "ma il fatto che i mercati abbiano previsto con precisione il successo e il fallimento della replica in anticipo riduce la plausibilità di queste spiegazioni".

Il team comprendeva ricercatori di Penn, l'Università di Innsbruck, la Scuola di Economia di Stoccolma, l'Istituto neozelandese per gli studi avanzati, il Centro per la Scienza Aperta, l'Università Nazionale di Singapore, l'Università della Virginia, California Institute of Technology, l'Università di Göteborg, Università di Harvard, Spotify Svezia, LMU Monaco di Baviera, l'Università di Amsterdam, e l'Istituto di tecnologia di Harbin.

I ricercatori hanno cercato di replicare una delle principali scoperte di ogni documento sperimentale di scienze sociali pubblicato tra il 2010 e il 2015 che soddisfaceva i requisiti del team di coinvolgere esperimenti controllati randomizzati condotti con studenti universitari o online. Per estendere e migliorare gli sforzi di replica precedenti, il team ha ottenuto i materiali originali e ha ricevuto la revisione e l'approvazione dei protocolli da quasi tutti gli autori originali prima di condurre gli studi. Gli studi sono stati preregistrati per dichiarare pubblicamente il piano di progettazione e analisi, e il disegno dello studio includeva campioni di grandi dimensioni in modo che le repliche potessero rilevare il supporto per i risultati anche se fossero meno della metà della dimensione del risultato originale.

"Per garantire un'elevata potenza statistica, " dice Felix Holzmeister dell'Università di Innsbruck, un altro dei leader del progetto, "la dimensione media del campione degli studi di replica era circa cinque volte più grande della dimensione media del campione degli studi originali".

Il team ha scoperto che 13 delle 21 repliche, o 62 percento, ha mostrato prove significative coerenti con l'ipotesi originale, e altri metodi per valutare il successo della replica hanno indicato risultati simili, che vanno dal 57 al 67 per cento. Anche, in media, gli studi di replica hanno mostrato dimensioni degli effetti inferiori di circa il 50% rispetto agli studi originali. Insieme questo suggerisce che la riproducibilità è imperfetta anche tra gli studi pubblicati nelle riviste scientifiche più prestigiose.

"Questi risultati mostrano che i risultati scientifici 'statisticamente significativi', " afferma Magnus Johannesson della Stockholm School of Economics, un altro capo progetto, "vanno interpretati con molta cautela fino a quando non saranno replicati anche se pubblicati sulle riviste più prestigiose".

I mercati di previsione stabiliti dal team di ricerca hanno previsto correttamente i risultati per 18 delle 21 repliche. Le convinzioni del mercato sulla replica erano altamente correlate con le dimensioni dell'effetto di replica.

"I risultati dei mercati di previsione suggeriscono che i ricercatori hanno conoscenze avanzate sulla probabilità che alcuni risultati si replichino, " nota Thomas Pfeiffer del New Zealand Institute for Advanced Study, un altro dei capi progetto. L'apparente robustezza di questo fenomeno suggerisce che i mercati di previsione potrebbero essere utilizzati per aiutare a dare priorità agli sforzi di replica per quegli studi che hanno risultati molto importanti ma probabilità relativamente incerte o deboli di successo della replica.

"L'utilizzo dei mercati di previsione potrebbe essere un altro modo per la comunità scientifica di utilizzare le risorse in modo più efficiente e accelerare la scoperta, " aggiunge Anna Dreber della Stockholm School of Economics, un altro capo progetto.

Questo studio fornisce ulteriori prove delle sfide nella riproduzione dei risultati pubblicati, e affronta alcune delle potenziali critiche ai precedenti tentativi di replica. Per esempio, è possibile che i risultati di più alto profilo siano più riproducibili a causa degli standard elevati e del prestigio della testata editoriale. Questo studio ha selezionato articoli dalle riviste scientifiche più prestigiose.

Allo stesso modo, a critique of the Reproducibility Project in Psychology suggested that higher-powered research designs and fidelity to the original studies would result in high reproducibility. This study had very high-powered tests, original materials for all but one study, and the endorsement of protocols for all but two studies, and yet still failed to replicate some findings and found a substantially smaller effect sizes in the replications.

"This shows that increasing power substantially is not sufficient to reproduce all published findings, " says Lily Hummer of the Center for Open Science, one of the co-authors.

That there were replication failures does not mean that those original findings are false. Tuttavia, some original authors provided commentaries with potential reasons for failures to replicate. These productive ideas are worth testing in future research to determine whether the original findings can be reproduced under some conditions.

The replications undertaken in this work follow emerging best practices for improving the rigor and reproducibility of research. "In this project, we led by example, involving a global team of researchers, , " says Teck-Hua Ho of the National University of Singapore, another project lead. "The team followed the highest standards of rigor and transparency to test the reproducibility and robustness of studies in our field."

All of the studies were preregistered on OSF to eliminate reporting bias and to commit to the design and analysis plan. Anche, all project data and materials are publicly accessible with the OSF registrations to facilitate the review and reproduction of the replication studies themselves.

Brian Nosek, executive director of the Center for Open Science, professor at the University of Virginia, and one of the co-authors, Appunti, "Someone observing these failures to replicate might conclude that science is going in the wrong direction. In fact, science's greatest strength is its constant self-scrutiny to identify and correct problems and increase the pace of discovery."

This large-scale replication project is just one part of an ongoing reformation of research practices. Researchers, funders, journals, and societies are changing policies and practices to nudge the research culture toward greater openness, rigor, and reproducibility. Nosek concludes, "With these reforms, we should be able to increase the speed of finding cures, solutions, and new knowledge. Certo, like everything else in science, we have to test whether the reforms actually deliver on that promise. If they don't, then science will try something else to keep improving."