Mentre la riproducibilità computazionale nella ricerca scientifica è generalmente prevista quando i dati e il codice originali sono disponibili, la mancanza di capacità di replicare uno studio precedente o di ottenere risultati coerenti guardando la stessa domanda scientifica ma con dati diversi è più sfumata e occasionalmente può aiutare nel processo di scoperta scientifica, afferma un nuovo rapporto commissionato dal Congresso dalle National Academies of Sciences, Ingegneria, e Medicina. Riproducibilità e replicabilità nella scienza raccomanda modi in cui ricercatori, istituzioni accademiche, riviste, ei finanziatori dovrebbero contribuire a rafforzare il rigore e la trasparenza al fine di migliorare la riproducibilità e la replicabilità della ricerca scientifica.

Definizione di riproducibilità e replicabilità

I termini "riproducibilità" e "replicabilità" sono spesso usati in modo intercambiabile, ma il rapporto usa ogni termine per riferirsi a un concetto separato. Riproducibilità significa ottenere risultati computazionali coerenti utilizzando gli stessi dati di input, passi di calcolo, metodi, codice, e condizioni di analisi. Replicabilità significa ottenere risultati coerenti tra studi volti a rispondere alla stessa domanda scientifica, ognuno dei quali ha ottenuto i propri dati.

La riproduzione della ricerca implica l'utilizzo dei dati e del codice originali, mentre replicare la ricerca implica la nuova raccolta di dati e metodi simili utilizzati in studi precedenti, dice il rapporto. Anche quando uno studio è stato condotto rigorosamente secondo le migliori pratiche, correttamente analizzato, e riportato in modo trasparente, potrebbe non essere replicato.

"Essere in grado di riprodurre i risultati computazionali di un altro ricercatore partendo dagli stessi dati e replicando uno studio precedente per testarne i risultati facilita la natura autocorrettiva della scienza, e sono spesso citati come tratti distintivi della buona scienza, " ha detto Harvey Fineberg, presidente della Gordon and Betty Moore Foundation e presidente del comitato che ha condotto lo studio. "Però, fattori quali la mancanza di trasparenza della segnalazione, mancanza di formazione adeguata, e gli errori metodologici possono impedire ai ricercatori di riprodurre o replicare uno studio. finanziatori della ricerca, riviste, istituzioni accademiche, politici, e gli scienziati stessi hanno un ruolo da svolgere nel migliorare la riproducibilità e la replicabilità garantendo che gli scienziati aderiscano ai più alti standard di pratica, comprendere ed esprimere l'incertezza insita nelle loro conclusioni, e continuare a rafforzare la rete interconnessa della conoscenza scientifica, il principale motore del progresso nel mondo moderno."

Riproducibilità

La definizione di riproducibilità del comitato si concentra sul calcolo perché la maggior parte delle discipline di ricerca scientifica e ingegneristica utilizzano il calcolo come strumento, e l'abbondanza di dati e l'uso diffuso del calcolo hanno trasformato molte discipline. Però, questa rivoluzione non si riflette ancora in modo uniforme nel modo in cui gli scienziati utilizzano il software e nel modo in cui i risultati scientifici vengono pubblicati e condivisi, dice il rapporto. Queste carenze hanno implicazioni per la riproducibilità, perché gli scienziati che desiderano riprodurre la ricerca potrebbero non avere le informazioni o la formazione di cui hanno bisogno per farlo.

Quando i risultati sono prodotti da processi computazionali complessi che utilizzano grandi volumi di dati, la sezione dei metodi di un articolo scientifico è insufficiente per trasmettere le informazioni necessarie affinché altri riproducano i risultati, dice il rapporto. Ulteriori informazioni relative ai dati, codice, Modelli, e l'analisi computazionale è necessaria.

Se sono disponibili informazioni aggiuntive sufficienti e un secondo ricercatore segue i metodi descritti dal primo ricercatore, ci si aspetta in molti casi di ottenere gli stessi valori numerici esatti o la riproduzione bit per bit. Per alcune domande di ricerca, la riproduzione bit per bit potrebbe non essere ottenibile e risultati riproducibili potrebbero essere ottenuti entro un intervallo di variazione accettato.

La base di prove per determinare la prevalenza della non riproducibilità nella ricerca è incompleta, e determinare l'estensione dei problemi relativi alla riproducibilità computazionale attraverso o all'interno dei campi della scienza sarebbe un'impresa enorme con una bassa probabilità di successo, trovato il comitato. Però, una serie di sforzi sistematici per riprodurre i risultati computazionali in una varietà di campi sono falliti in più della metà dei tentativi effettuati, principalmente a causa di dettagli insufficienti sui dati, codice, e flusso di lavoro computazionale.

Replicabilità

Un modo importante per confermare o basarsi sui risultati precedenti è seguire gli stessi metodi, ottenere nuovi dati, e vedere se i risultati sono coerenti con l'originale. Una replica riuscita non garantisce che i risultati scientifici originali di uno studio fossero corretti, però, né una singola replica fallita confuta in modo definitivo le affermazioni originali, dice il rapporto.

La non replicabilità può derivare da una serie di fonti. Il comitato ha classificato le fonti di non replicabilità in quelle potenzialmente utili per acquisire conoscenze, e quelli che non sono utili.

Fonti potenzialmente utili di non replicabilità includono incertezze intrinseche ma non caratterizzate nel sistema oggetto di studio. Queste fonti di non replicabilità sono una parte normale del processo scientifico, a causa della variazione intrinseca o complessità in natura, la portata delle attuali conoscenze scientifiche, e i limiti delle attuali tecnologie. In tali casi, una mancata replica può portare alla scoperta di nuovi fenomeni o nuove intuizioni sulla variabilità nel sistema oggetto di studio.

In altri casi, il rapporto dice, la non replicabilità è dovuta a carenze nella progettazione, condotta, e comunicazione di uno studio. Sia che derivi da mancanza di conoscenza, incentivi perversi, sciatteria, o pregiudizio, queste inutili fonti di non replicabilità riducono l'efficienza del progresso scientifico.

Le fonti inutili di non replicabilità possono essere ridotte al minimo attraverso iniziative e pratiche volte a migliorare la progettazione e la metodologia della ricerca attraverso la formazione e il tutoraggio, ripetere gli esperimenti prima della pubblicazione, rigorosa revisione tra pari, utilizzando strumenti per la verifica di analisi e risultati, e una maggiore trasparenza nella rendicontazione. Gli sforzi per ridurre al minimo le fonti evitabili e inutili di non replicabilità richiedono un'attenzione continua, dice il rapporto.

I ricercatori che utilizzano consapevolmente pratiche di ricerca discutibili con l'intento di ingannare stanno commettendo cattiva condotta o frode. In pratica può essere difficile distinguere tra errori onesti e cattiva condotta deliberata, perché l'azione sottostante potrebbe essere la stessa mentre l'intento non lo è. La cattiva condotta scientifica sotto forma di false dichiarazioni e frode è una preoccupazione continua per tutta la scienza, anche se rappresenta una percentuale molto piccola di articoli scientifici pubblicati, trovato il comitato.

Migliorare la riproducibilità e la replicabilità nella ricerca

Il rapporto raccomanda una serie di passaggi che le parti interessate nell'impresa di ricerca dovrebbero intraprendere per migliorare la riproducibilità e la replicabilità, Compreso:

• Tutti i ricercatori dovrebbero includere un chiaro, specifica, e una descrizione completa di come sono stati raggiunti i risultati riportati. Le relazioni dovrebbero includere dettagli appropriati per il tipo di ricerca, come una chiara descrizione di tutti i metodi, strumenti, materiali, procedure, misurazioni, e altre variabili coinvolte nello studio; una chiara descrizione dell'analisi dei dati e delle decisioni per l'esclusione di alcuni dati o l'inclusione di altri; e discussione dell'incertezza delle misure, risultati, e inferenze.
• Le agenzie e le organizzazioni finanziatrici dovrebbero considerare di investire nella ricerca e nello sviluppo di soluzioni open-source, strumenti e infrastrutture utilizzabili che supportano la riproducibilità per un'ampia gamma di studi in diversi domini in modo uniforme. Simultaneamente, gli investimenti sarebbero utili per informare e formare i ricercatori sulle migliori pratiche e su come utilizzare questi strumenti.
• Le riviste dovrebbero prendere in considerazione modi per garantire la riproducibilità computazionale per le pubblicazioni che fanno affermazioni basate su calcoli, nella misura eticamente e legalmente possibile.
• La National Science Foundation dovrebbe adottare misure per facilitare la condivisione trasparente e la disponibilità di artefatti digitali, come dati e codice, per gli studi finanziati dalla NSF, compreso lo sviluppo di una serie di criteri per archivi aperti affidabili che devono essere utilizzati dalla comunità scientifica per gli oggetti della documentazione accademica, e approvando o prendendo in considerazione la creazione di codici e archivi di dati per l'archiviazione a lungo termine e la conservazione di artefatti digitali che supportano le affermazioni fatte nella documentazione accademica sulla base di ricerche finanziate dalla NSF, tra le altre azioni.

Fiducia nella scienza

Replicabilità e riproducibilità, utili in quanto sono utili per rafforzare la fiducia nella conoscenza scientifica, non sono gli unici modi per acquisire fiducia nei risultati scientifici. Sintesi della ricerca e meta-analisi, Per esempio, sono metodi preziosi per valutare l'attendibilità e la validità degli organismi di ricerca, dice il rapporto. Un obiettivo della scienza è comprendere l'effetto complessivo di una serie di studi scientifici, non determinare rigorosamente se uno studio ha replicato un altro.

Tra le altre raccomandazioni correlate, il rapporto afferma che le persone che prendono decisioni personali o politiche basate su prove scientifiche dovrebbero stare attenti a prendere una decisione seria basata sui risultati, non importa quanto promettente, di un unico studio. Per lo stesso motivo, non dovrebbero prendere una nuova, singolo studio contrario come confutazione di conclusioni scientifiche supportate da molteplici linee di prove precedenti.

Lo studio, intrapreso dal Committee on Reproducibility and Replicability in Science, è stato sponsorizzato dalla National Science Foundation e dalla Alfred P. Sloan Foundation. Le Accademie Nazionali sono private, istituzioni senza scopo di lucro che forniscono servizi indipendenti, analisi obiettiva e consulenza alla nazione per risolvere problemi complessi e informare le decisioni di politica pubblica relative alla scienza, tecnologia, e medicina. Operano in base a uno statuto del Congresso del 1863 alla National Academy of Sciences, firmato dal presidente Lincoln. Per maggiori informazioni, visitare nationalacademies.org.