All'inizio di questo autunno il Dr. Scott Solomon ha presentato i risultati di un enorme studio sui farmaci cardiaci a un pubblico di colleghi cardiologi a Parigi.

I risultati che descriveva Solomon sembravano promettenti:i pazienti che assumevano il farmaco avevano un tasso di ospedalizzazione e morte inferiore rispetto ai pazienti che assumevano un farmaco diverso.

Poi ha mostrato al suo pubblico un altro numero.

"Ci sono stati alcuni sussulti, o 'Oooh, '" Salomone, del Brigham and Women's Hospital di Harvard, ricordato di recente. "Molte persone sono rimaste deluse".

Un analista di investimenti ha reagito riducendo le sue previsioni per il picco di vendita del farmaco di 1 miliardo di dollari.

Quello che è successo?

Il numero che ha causato i sussulti era 0,059. Il pubblico cercava qualcosa sotto 0,05.

Ciò significava che i promettenti risultati di Solomon erano in contrasto con un concetto statistico di cui forse non hai mai sentito parlare:la significatività statistica. È una cosa del tutto o niente. I tuoi risultati statistici sono significativi, nel senso che sono affidabili, o non significativo, indicando una probabilità inaccettabilmente alta che fossero solo un colpo di fortuna.

Il concetto è stato utilizzato per decenni. Ha molta influenza sul modo in cui vengono valutati i risultati scientifici, quali studi vengono pubblicati, e quali medicine arrivano in farmacia.

Ma quest'anno ha portato due chiamate di alto profilo da parte della critica, anche dall'interno dell'arcano mondo della statistica, per sbarazzarsene, in parte per la preoccupazione che respinga prematuramente risultati come quello di Salomone.

La significatività si riflette in un calcolo che produce qualcosa chiamato valore p. Generalmente, se questo produce un p-value inferiore a 0,05, i risultati dello studio sono considerati significativi. Altrimenti, lo studio ha fallito il test.

Lo studio di Salomone è mancato per poco. Quindi l'apparente vantaggio che il suo farmaco stava mostrando rispetto all'altro farmaco è stato ritenuto insignificante. Con questo criterio non c'era alcuna differenza "reale".

Solomon ritiene che il farmaco abbia effettivamente prodotto un beneficio reale e che uno studio più ampio o più duraturo avrebbe potuto raggiungere una significatività statistica.

"Non sto piangendo sul latte versato, " ha detto. "Noi stabiliamo le regole. La domanda è, è questo il modo giusto di procedere?"

Non è il solo a fare questa domanda.

"È una scommessa sicura che le persone hanno sofferto o sono morte perché gli scienziati (e gli editori, regolatori, giornalisti e altri) hanno utilizzato test di significatività per interpretare i risultati, "L'epidemiologo Kenneth Rothman di RTI Health Solutions nel Research Triangle Park, NC, e la Boston University ha scritto nel 2016.

Il pericolo è sia che una scoperta medica potenzialmente vantaggiosa possa essere ignorata perché uno studio non raggiunge la significatività statistica, e una pratica medica dannosa o infruttuosa potrebbe essere accettata semplicemente perché lo fa, ha detto in una e-mail.

Il cutoff del p-value per la significatività è "una misura che ha guadagnato lo status di gatekeeper ... non solo per la pubblicazione ma per le persone che prendono sul serio i tuoi risultati, ", afferma lo statistico della Northwestern University Blake McShane.

Non c'è da meravigliarsi che uno statistico, in un recente discorso ai giornalisti sulla questione poco prima di Halloween, ha mostrato una diapositiva di un jack-o'-lantern scolpito con questo spettacolo, ovviamente terrificante per chiunque si occupi di scienza o medicina:"P =.06".

McShane e altri sostengono che l'importanza della soglia del p-value è immeritata. Ha co-autore di un invito ad abolire la nozione di significatività statistica, che è stato pubblicato quest'anno sulla prestigiosa rivista Nature. La proposta ha attirato più di 800 cofirmatari.

Anche l'American Statistical Association, che non aveva mai rilasciato alcuna dichiarazione formale su pratiche statistiche specifiche, è venuto duro nel 2016 sull'utilizzo di qualsiasi tipo di cutoff del p-value in questo modo. E quest'anno è andato oltre, dichiarando in un numero speciale con 43 articoli sull'argomento, "È ora di smettere di usare del tutto il termine "statisticamente significativo".

Qual è il problema? McShane e altri ne elencano diversi:

— Il valore P non misura direttamente la probabilità che l'esito di un esperimento sia solo un caso. Ciò che realmente rappresenta è ampiamente frainteso, anche da scienziati e alcuni statistici, ha detto Nicole Lazar, professore di statistica all'Università della Georgia.

— L'uso di un'etichetta di significatività statistica "dà più certezza che è effettivamente giustificata, " Lazar ha detto. "Dovremmo riconoscere il fatto che c'è incertezza nei nostri risultati."

— Il limite tradizionale di 0,05 è arbitrario.

— Significato statistico non significa necessariamente "significativo" — o che una scoperta è importante dal punto di vista pratico o scientifico, dice Lazzaro. Potrebbe anche non essere vero:Solomon cita un ampio studio sui farmaci cardiaci che ha riscontrato un effetto terapeutico significativo per i pazienti nati ad agosto ma non a luglio, ovviamente solo una fluttuazione casuale.

— Il termine "significatività statistica" definisce una linea di obiettivo per i ricercatori, una chiara misura del successo o del fallimento. Ciò significa che i ricercatori possono sforzarsi un po' troppo per raggiungerlo. Possono deliberatamente ingannare il sistema per ottenere un valore p accettabile, o semplicemente scegliere inconsciamente metodi analitici che aiutano, Dissero McShane e Lazar.

— Ciò può distorcere gli effetti non solo di singoli esperimenti, ma anche i risultati cumulativi di studi su un determinato argomento, in modo che nel complesso un farmaco possa sembrare "molto meglio di quanto non sia in realtà, "Ha detto McShane.

Cosa si dovrebbe fare invece? Abolire la linea luminosa della significatività statistica, e riporta semplicemente il valore p insieme ad altre analisi per dare uno schema più completo di cosa potrebbe significare il risultato del test, McShane e altri dicono.

Potrebbe non essere così chiaro come una semplice dichiarazione di significato o insignificante, ma "avremo un'idea migliore di cosa sta succedendo, " Disse Lazar. "Penso che sarà più facile estirpare il cattivo lavoro."

Non tutti accettano l'idea di eliminare la significatività statistica. Il famoso ricercatore di Stanford, il dott. John Ioannidis, afferma che l'abolizione "potrebbe promuovere pregiudizi. Regnerebbe un'assurdità inconfutabile". Sebbene sia d'accordo sul fatto che uno standard di p-value inferiore a 0,05 è debole e facilmente abusato, ritiene che gli scienziati dovrebbero invece utilizzare un valore p più rigoroso o un'altra misura statistica, specificato prima di eseguire l'esperimento.

McShane ha affermato che sebbene da anni siano state sollevate richieste di abolizione della significatività statistica, sembra esserci più slancio ultimamente.

"Forse, " Egli ha detto, "è ora di mettere il chiodo nella bara su questo per sempre."

© 2019 The Associated Press. Tutti i diritti riservati.