La scienza è nel bel mezzo di una crisi:una sorprendente frazione degli studi pubblicati non riesce a replicarsi quando le procedure vengono ripetute.

Per esempio, prendere lo studio, pubblicato nel 2007, che sosteneva che i problemi matematici complicati che richiedono un'attenta riflessione sono più facili da risolvere se presentati in un carattere sfocato. Quando i ricercatori hanno scoperto in un piccolo studio che l'uso di un carattere fuzzy migliorava la precisione delle prestazioni, ha sostenuto l'affermazione che l'incontro con le sfide percettive potrebbe indurre le persone a riflettere più attentamente.

Però, 16 tentativi di replicare il risultato falliti, dimostrando definitivamente che la pretesa originaria era errata. Tracciati insieme su un grafico, gli studi hanno formato una perfetta curva a campana centrata intorno all'effetto zero. Come spesso accade con la mancata replica, dei 17 tentativi totali, l'originale aveva sia la dimensione del campione più piccola che il risultato più estremo.

Il progetto di riproducibilità, una collaborazione di 270 psicologi, ha tentato di replicare 100 studi di psicologia, mentre un rapporto del 2018 ha esaminato gli studi pubblicati nelle prestigiose riviste accademiche Nature and Science tra il 2010 e il 2015. Questi sforzi rilevano che circa i due terzi degli studi si replicano in una certa misura, ma che la forza dei risultati è spesso più debole di quanto originariamente affermato.

È dannoso per la scienza? È certamente scomodo per molti scienziati il ​​cui lavoro viene sottovalutato, e il tasso di guasti può essere attualmente inaccettabilmente alto. Ma, come psicologo e statistico, Credo che affrontare la crisi della replica sia un bene per la scienza nel suo insieme.

Praticare una buona scienza

Primo, questi tentativi di replica sono esempi di buona scienza che opera come dovrebbe. Sono applicazioni mirate del metodo scientifico, attenta sperimentazione e osservazione alla ricerca di risultati riproducibili.

Molte persone credono erroneamente che, a causa del "p <.05" soglia per significatività statistica, solo il 5% delle scoperte si rivelerà essere un errore. Però, 15 anni fa, il medico John Ioannidis indicò alcuni errori in tale ipotesi, sostenendo che false scoperte costituivano la maggior parte della letteratura pubblicata. Gli sforzi di replica stanno confermando che il tasso di false scoperte è molto più alto del 5%.

La consapevolezza della crisi della replica sembra promuovere un comportamento migliore tra gli scienziati. Venti anni fa, il ciclo per la pubblicazione è stato sostanzialmente completato dopo che uno scienziato ha convinto tre revisori e un editore che il lavoro era valido. Sì, la ricerca pubblicata diventerebbe parte della letteratura, e quindi aperto alla revisione, ma è stato un processo lento.

Oggi, la posta in gioco è stata alzata per i ricercatori. Sanno che esiste la possibilità che il loro studio possa essere recensito da migliaia di commentatori supponenti su Internet o da un gruppo di alto profilo come il Reproducibility Project. Alcune riviste ora richiedono agli scienziati di rendere disponibili i loro dati e il codice del computer, il che rende più probabile che altri colgano errori nel loro lavoro. Cosa c'è di più, alcuni scienziati ora possono "preregistrare" le loro ipotesi prima di iniziare il loro studio, l'equivalente di chiamare il tuo colpo prima di prenderlo.

In combinazione con la condivisione aperta di materiali e dati, la preregistrazione migliora la trasparenza e la riproducibilità della scienza, speriamo di garantire che una frazione più piccola degli studi futuri non possa essere replicata.

Mentre ci sono segni che gli scienziati stanno davvero riformando i loro modi, c'è ancora molta strada da fare. Fuori dall'1, 500 presentazioni accettate al meeting annuale della Society for Behavioral Medicine a marzo, solo 1 su 4 degli autori ha riferito di utilizzare queste tecniche di scienza aperta nel lavoro che hanno presentato.

Migliorare l'intuizione statistica

Finalmente, la crisi della replicazione sta aiutando a migliorare le intuizioni degli scienziati sull'inferenza statistica.

I ricercatori ora comprendono meglio come i progetti deboli con elevata incertezza, in combinazione con la scelta di pubblicare solo quando i risultati sono statisticamente significativi, producono risultati esagerati. Infatti, è uno dei motivi per cui più di 800 scienziati si sono recentemente espressi a favore dell'abbandono dei test di significatività statistica.

Apprezziamo anche meglio come i risultati della ricerca isolati si inseriscano nel modello più ampio di risultati. In un altro studio, Ionnadis e l'oncologo Jonathan Schoenfeld hanno esaminato la letteratura sull'epidemiologia per studi che associano 40 ingredienti alimentari comuni al cancro. Ci sono state alcune tendenze ampie e coerenti – non sorprende che Bacon, sale e zucchero non si sono mai rivelati protettivi contro il cancro.

Ma tracciare gli effetti di 264 studi ha prodotto uno schema confuso. Le grandezze degli effetti riportati erano molto variabili. In altre parole, uno studio potrebbe dire che un determinato ingrediente è stato molto dannoso per te, mentre un altro potrebbe concludere che i danni sono stati piccoli. In molti casi, gli studi erano persino in disaccordo sul fatto che un determinato ingrediente fosse dannoso o benefico.

Ciascuno degli studi a un certo punto era stato riportato isolatamente in un giornale o in un sito web come l'ultima scoperta in materia di salute e nutrizione. Ma preso nel suo insieme, l'evidenza di tutti gli studi non era così definitiva come potrebbe essere apparso ogni singolo studio.

Schoenfeld e Ioannidis hanno anche rappresentato graficamente le 264 dimensioni degli effetti pubblicate. A differenza delle repliche dei caratteri fuzzy, il loro grafico degli effetti pubblicati sembrava la coda di una curva a campana. È stato centrato a zero con tutti i risultati non significativi ritagliati. L'inconfondibile impressione nel vedere tutti i risultati nutrizionali pubblicati presentati contemporaneamente è che molti di loro potrebbero essere come il risultato del carattere sfocato:impressionante da solo, ma anomalo sotto replica.

La possibilità mozzafiato che una gran parte dei risultati della ricerca pubblicata possa essere solo una serendipità è esattamente il motivo per cui le persone parlano della crisi della replica. Ma non è proprio una crisi scientifica, perché la consapevolezza sta portando miglioramenti nella pratica della ricerca, nuove comprensioni sull'inferenza statistica e un apprezzamento che i risultati isolati devono essere interpretati come parte di un modello più ampio.

Piuttosto che minare la scienza, Sento che questo riafferma le migliori pratiche del metodo scientifico.

Questo articolo è stato ripubblicato da The Conversation con una licenza Creative Commons. Leggi l'articolo originale.