Il significato statistico è un indicatore obiettivo se i risultati di uno studio sono matematicamente "reali" e statisticamente difendibili, piuttosto che un semplice caso. Test di significatività comunemente usati cercano differenze nei mezzi di set di dati o differenze nelle varianze di set di dati. Il tipo di test applicato dipende dal tipo di dati che vengono analizzati. Spetta ai ricercatori determinare quanto significativi richiedano che i risultati siano - in altre parole, quanto sono disposti a rischiare di sbagliare. In genere, i ricercatori sono disposti ad accettare un livello di rischio del 5%.

Errore di tipo I: rifiuto errato dell'ipotesi nulla

Gli esperimenti sono condotti per testare ipotesi specifiche o domande sperimentali con un atteso risultato. Un'ipotesi nulla è quella che non rileva alcuna differenza tra i due insiemi di dati confrontati. In una sperimentazione medica, ad esempio, l'ipotesi nulla potrebbe essere che non vi siano differenze di miglioramento tra i pazienti che ricevono il farmaco in studio e quelli che ricevono il placebo. Se il ricercatore rifiuta erroneamente questa ipotesi nulla quando è effettivamente vera, in altre parole se "rileva" una differenza tra i due gruppi di pazienti quando non c'era davvero alcuna differenza, allora ha commesso un errore di Tipo I. I ricercatori determinano in anticipo il rischio di commettere un errore di tipo I che sono disposti ad accettare. Questo rischio si basa su un valore p massimo che accettano prima di respingere l'ipotesi nulla e si chiama alfa.

Errore di tipo II: rifiuto errato dell'ipotesi alternativa

Un'ipotesi alternativa è uno che rileva una differenza tra i due insiemi di dati confrontati. Nel caso della sperimentazione medica, ci si aspetterebbe di vedere diversi livelli di miglioramento nei pazienti che ricevono il farmaco in studio e nei pazienti che ricevono il placebo. Se i ricercatori non riescono a rifiutare l'ipotesi nulla quando dovrebbero, in altre parole se "non rilevano" alcuna differenza tra i due gruppi di pazienti quando c'era davvero una differenza, allora hanno commesso un errore di Tipo II.

Determinazione del livello di significatività

Quando i ricercatori eseguono un test di significatività statistica e il valore p risultante è inferiore al livello di rischio ritenuto accettabile, il risultato del test è considerato statisticamente significativo. In questo caso, l'ipotesi nulla - l'ipotesi che non c'è differenza tra i due gruppi - viene respinta. In altre parole, i risultati indicano che c'è una differenza di miglioramento tra i pazienti che ricevono il farmaco in studio ei pazienti che ricevono il placebo.

Scegliere un test di significatività

Ci sono diversi test statistici tra cui scegliere a partire dal. Un t-test standard confronta i mezzi di due serie di dati, come i nostri dati sui farmaci dello studio e i nostri dati sul placebo. Un t-test appaiato viene utilizzato per rilevare le differenze nello stesso set di dati, ad esempio uno studio pre-e-dopo. Un'analisi della varianza a una via (ANOVA) può confrontare i mezzi di tre o più insiemi di dati e un ANOVA a due vie confronta i mezzi di due o più insiemi di dati in risposta a due diverse variabili indipendenti, come i diversi punti di forza del studiare droga. Una regressione lineare confronta i mezzi dei set di dati lungo un gradiente di trattamenti o tempo. Ogni test statistico produrrà misure di significato, o alfa, che possono essere utilizzate per interpretare i risultati del test.