La riproducibilità dei risultati scientifici è stata a lungo un indicatore importante della validità dei dati raccolti dalla ricerca, un processo ritenuto ancora più critico in questa epoca di tecnologie e metodi in continua evoluzione.

Al Sackler Colloquium incentrato su "Riproducibilità della ricerca:problemi e rimedi proposti, " David B. Allison, preside della Scuola di sanità pubblica dell'Università dell'Indiana-Bloomington, e co-organizzatori Richard Shiffrin, Professore IU Distinguished e Luther Dana Waterman Professore di Scienze Psicologiche e Cerebrali; Victoria Stodden dell'Università dell'Illinois e il compianto Stephen Fienberg della Carnegie Mellon University hanno invitato alla discussione sui temi principali della definizione della riproducibilità in vari contesti di ricerca e della fornitura di rimedi che contribuiscono a una maggiore riproducibilità e trasparenza.

Una dozzina di articoli che danno forma al colloquio sono stati pubblicati nel numero speciale di marzo 2018 di Atti dell'Accademia Nazionale delle Scienze e copriva una gamma completa di argomenti, dalla raccolta di dati alla diffusione dei risultati sia della comunità scientifica che di quella non scientifica.

In primo piano c'è "Progresso scientifico nonostante l'irreproducibilità:un apparente paradosso, " di Shiffrin; Katy Börner, IU Distinguished Professor di Ingegneria e Scienze dell'Informazione e Stephen M. Stigler dell'Università di Chicago. In un momento in cui i progressi scientifici avvengono quotidianamente e governano gran parte della società moderna, sembra contraddittorio che il modo in cui viene praticata la scienza renda difficile o impossibile riprodurre alcuni risultati riportati. Però, la pratica scientifica ha continuato ad evolversi e progredire nonostante i problemi elementari, non ultimo il fatto che potrebbero essere necessari alcuni anni prima della validità, l'importanza e la fruibilità dei reperti possono essere adeguatamente accertate.

I ricercatori riconoscono che è spesso possibile riprodurre anche risultati e conclusioni non validi, ma notano che la ripetizione di errori fondamentali e spesso evitabili è solitamente al centro di tale risultato. Perciò, per massimizzare i progressi, raccomandano di trovare un equilibrio tra la condivisione di risultati promettenti nella fase iniziale e il mantenimento di una rigorosa vigilanza per garantire la qualità della rendicontazione. I dati condivisi devono essere non solo affidabili e importanti, ma anche di vero valore scientifico con la capacità di generalizzare a contesti simili.

Gli autori esaminano i nuovi rimedi proposti progettati per ridurre il grado di irriproducibilità, come richiedere la preregistrazione degli studi per prevenire dati "chery-picking" e raccomandano riforme su misura per il tipo e gli obiettivi della ricerca. Questa posizione è rafforzata dalle diverse conseguenze che sono possibili se vengono pubblicati risultati non validi:è improbabile che i risultati raccolti durante il processo di esplorazione causino danni, anche se un'applicazione errata delle conclusioni nella vita reale potrebbe causare gravi danni. mettono in guardia, però, che qualsiasi rimedio e riforma può avere conseguenze indesiderate che possono rallentare piuttosto che accelerare il progresso scientifico.

Evidenziato anche nel PNAS problema è un rapporto di Andrew Brown, assistente professore di scienze della salute applicata presso la IU School of Public Health-Bloomington; Kathryn A. Kaiser, assistente professore in comportamento sanitario presso l'Università dell'Alabama a Birmingham e Allison, intitolato "Problemi con dati e analisi:errori, Temi sottostanti, e potenziali soluzioni, " che si concentra su errori che avrebbero potuto essere evitati con l'applicazione di buone pratiche consolidate.

I ricercatori discutono di influenze come citazioni e bias di pubblicazione, errori di calcolo matematici, errori di interpretazione e lavoro con dati errati ottenuti con metodi discutibili, disegni o tecniche. La gestione e l'archiviazione errate dei dati possono anche influenzare la capacità di confermare i risultati, così come errori di comunicazione e logica. Sottolineano che le conseguenze di interpretazioni e segnalazioni non valide vanno dalla perdita della fiducia del pubblico alla potenziale perdita di vite umane.

Vengono inoltre discussi i meriti e gli svantaggi del processo di revisione tra pari come affidabile sostenitore dell'integrità scientifica nella letteratura. Nonostante tali sfide come ciò che gli autori chiamano "uno sconosciuto sconosciuto" - nel senso che i revisori leggono ciò che è presentato nei manoscritti senza avere informazioni aggiuntive (o forse anche informazioni complete) con cui valutare potenziali errori - essendo inerenti a questo processo, Brown and the team maintain that there are certain actions and methods that well-trained scientists should and could recognize as erroneous and/or lacking in rigor.

Notes Brown, "The entire colloquium focused on research rigor and reproducibility. In particular, we were interested in identifying challenges and limitations to rigor and reproducibility, ma, more importantly we were interested in identifying paths forward to make science more rigorous and reproducible. We need to start from a position that scientific thinking is still our best way of coming to have objective knowledge of the world. I think we as a scientific enterprise have done a thorough job noting that reproducibility is a problem, even if more work needs to be done to determine underlying causes, more rigorously catalog errors and pitfalls, and identify the best interventions for reinforcing scientific rigor. Però, we know that there are incremental and structural changes we can make now to improve the present condition of scientific investigations and publications to fulfill the mantra that science is self-correcting."