Una singola modifica a uno standard statistico secolare migliorerebbe notevolmente la qualità della ricerca in molti campi scientifici, riducendo il numero dei cosiddetti falsi positivi, secondo un commento pubblicato il 1 settembre in Natura Comportamento Umano .

L'argomento, co-autore dell'economista dell'Università di Chicago John List, rappresenta il consenso di 72 studiosi di istituzioni di tutto il mondo e di discipline che vanno dalla neurobiologia alla filosofia. Le loro raccomandazioni potrebbero avere un effetto importante sulla pubblicazione del lavoro accademico e sulla politica pubblica.

"Pubblichiamo gli interventi come funzionanti perché statisticamente pensiamo che funzionino. Ma in realtà non funzionano. Sta diventando una crisi nelle scienze, " disse Lista, il Kenneth C. Griffin Distinguished Service Professor in Economia.

List e i suoi coautori suggeriscono che gli scienziati devono reimpostare un benchmark statistico noto come valore p perché gli standard di prova per affermare nuove scoperte in molti campi sono semplicemente troppo bassi. L'approccio è dannoso per la credibilità delle affermazioni scientifiche, loro hanno detto.

Uno standard di p-value è stato adottato a partire dagli anni '20, quando lo statistico britannico Ronald Fisher propose un valore inferiore a 0,05 come soglia per determinare la validità dei risultati della ricerca. Se il valore p scende al di sotto di tale soglia, il che significa che la probabilità che le conclusioni di uno studio siano dovute a casualità è inferiore al 5%, la ricerca è generalmente considerata statisticamente significativa.

Ma la soglia del p-value è diventata un bersaglio di critiche in risposta a una crisi di replica percepita nelle comunità scientifiche. Le riviste scientifiche usano spesso la significatività statistica, e i valori p, come test per selezionare quali articoli pubblicare. List ha affermato che l'attuale soglia del valore p di 0,05 consente la pubblicazione di molti studi e influenza le decisioni economiche e politiche anche se i risultati potrebbero non essere riproducibili da altri ricercatori.

"Se Ronald Fisher avesse saputo che quasi 100 anni dopo avremmo usato religiosamente lo standard 0,05 per prendere decisioni politiche "informate", Non credo che l'avrebbe anticipato, "Disse Lista.

Studi più riproducibili

Per essere sicuri che una scoperta iniziale funzionerà una volta messa in pratica, i risultati dovrebbero essere replicabili. Studi precedenti hanno dimostrato che solo il 24 percento degli studi di psicologia con un valore p di 0,05 potrebbe essere confermato da ulteriori esperimenti, suggerendo che tre studi su quattro hanno presentato risultati falsi positivi. Allo stesso modo, solo il 44% degli articoli di economia con lo stesso p-value era riproducibile.

Gli autori hanno calcolato che abbassare la soglia del valore p a 0,005 raddoppierebbe all'incirca i tassi di replica in psicologia ed economia, e altri campi vedrebbero risultati simili. "Cambiare la soglia del p-value è semplice, si allinea con la formazione intrapresa da molti ricercatori e potrebbe rapidamente ottenere un'ampia accettazione, " hanno detto gli autori.

L'elenco è d'accordo. "Vuoi creare un mondo in cui hai più persone che cercano di replicare, e vuoi che la società ricompensi quelle persone, " ha detto. "E vuoi anche che più risultati che entrano nella politica siano risultati veri, essere replicabile. Sotto lo 0,005 ce ne sarebbero di più".

Per incoraggiare ulteriormente la pubblicazione e la replica degli studi, gli autori dell'articolo propongono che i nuovi risultati che attualmente verrebbero definiti "significativi" ma che non soddisfano il valore p rivisto di 0,005 dovrebbero essere invece definiti "suggestivi".

List e i suoi coautori sono attenti a sottolineare che una modifica al p-value non è l'unico passo per migliorare la ricerca scientifica. "Abbiamo opinioni diverse sul modo migliore per migliorare la riproducibilità, e molti di noi credono che altri modi di riassumere i dati... siano preferibili ai p-value, " loro hanno detto.