Una paleontologa torna nel suo laboratorio da uno scavo estivo e avvia uno studio che confronta la lunghezza dei denti in due specie di dinosauri. Lei e il suo team lavorano meticolosamente per evitare di falsare i risultati. Rimangono ciechi alla specie mentre misurano, le dimensioni del campione sono grandi, e la raccolta e l'analisi dei dati sono rigorose.

Lo scienziato è sorpreso di non trovare differenze significative nella lunghezza dei denti canini tra le due specie. Si rende conto che questi risultati inaspettati sono importanti e invia un articolo alle riviste appropriate. Ma diario dopo diario rifiuta la carta, poiché i risultati non sono significativamente diversi. Infine, lo scienziato si arrende, e la carta con i suoi cosiddetti risultati negativi viene riposta in un cassetto e sepolta sotto anni di altri lavori.

Questo scenario e molti altri simili si sono verificati in tutte le discipline scientifiche, portando a quello che è stato soprannominato "il problema del cassetto dei file". Le riviste di ricerca e le agenzie di finanziamento sono spesso prevenute verso la ricerca che mostra risultati "positivi" o significativamente diversi. Questo sfortunato pregiudizio contribuisce a molti altri problemi nel processo scientifico, come bias di conferma, in cui i dati vengono interpretati in modo errato per supportare un risultato desiderato.

Un nuovo metodo:l'equivalenza

Sfortunatamente, problemi di bias di pubblicazione sono stati prevalenti nella scienza per molto tempo. A causa della struttura del metodo scientifico, gli scienziati spesso si concentrano solo sulle differenze tra i gruppi, come i denti di dinosauro di due specie diverse, o un confronto sulla salute pubblica di due diversi quartieri. Questo lascia completamente nascosti gli studi che si concentrano sulle somiglianze.

Però, sperimentazioni farmaceutiche hanno trovato una soluzione a questo problema. In queste prove, i ricercatori a volte usano un test noto come TOST, due test unilaterali, per cercare l'equivalenza tra i trattamenti.

Per esempio, diciamo che un'azienda sviluppa un farmaco generico che è più economico da produrre rispetto al farmaco di marca. I ricercatori devono dimostrare che il nuovo farmaco funziona in modo statisticamente equivalente al marchio prima di venderlo sul mercato. È qui che entra in gioco il test di equivalenza. Se il test mostra l'equivalenza tra gli effetti dei due farmaci, poi la FDA può approvare l'immissione sul mercato del nuovo farmaco.

Sebbene il test di equivalenza tradizionale sia molto utile per i test farmaceutici pianificati e controllati, non è abbastanza versatile per altri tipi di studi. Il TOST originale non può essere utilizzato per testare l'equivalenza in esperimenti in cui gli stessi individui si trovano in più gruppi di trattamento, né funziona se i due gruppi di test hanno campioni di dimensioni diverse.

Inoltre, il TOST utilizzato nei test farmaceutici in genere non affronta più variabili contemporaneamente. Per esempio, un TOST tradizionale sarebbe in grado di analizzare le somiglianze nella biodiversità in diverse località fluviali prima e dopo un cambiamento di temperatura. Però, il nostro nuovo TOST consentirebbe di testare le somiglianze in più variabili, come la biodiversità, pH dell'acqua, profondità e limpidezza dell'acqua – in tutti i siti fluviali contemporaneamente.

I limiti del TOST tradizionale e la pervasività del "problema del cassetto dei file" hanno portato il nostro team a sviluppare un test di equivalenza multivariato, in grado di affrontare le somiglianze in sistemi con misure ripetute e dimensioni del campione disuguali.

Il nostro nuovo test di equivalenza, pubblicato in ottobre, capovolge la tradizionale struttura dell'ipotesi nulla. Ora, piuttosto che presumere una somiglianza, un ricercatore parte dal presupposto che i due gruppi siano diversi. L'onere della prova spetta ora alla valutazione del grado di somiglianza, piuttosto che il grado di differenza.

Il nostro test consente inoltre ai ricercatori di impostare il proprio margine accettabile per dichiarare la somiglianza. Per esempio, se il margine fosse impostato su 0,2, quindi i risultati ti direbbero se le medie dei due gruppi erano simili entro più o meno 2%.

Un passo nella direzione giusta

La nostra modifica significa che i test di equivalenza possono ora essere applicati in un'ampia gamma di discipline. Per esempio, abbiamo usato questo test per dimostrare una struttura acustica equivalente nei canti degli uccelli azzurri orientali maschi e femmine. Il test di equivalenza è già stato utilizzato anche in alcune aree dell'ingegneria e della psicologia.

Il metodo potrebbe essere applicato in modo ancora più ampio. Immagina un gruppo di ricercatori che vogliono esaminare due diversi metodi di insegnamento. In una classe non c'è tecnologia, e in un altro tutti i compiti degli studenti vengono svolti online. I test di equivalenza potrebbero aiutare un distretto scolastico a decidere se investire di più in tecnologia o se i due metodi di insegnamento sono equivalenti.

Lo sviluppo di un test di equivalenza ampiamente applicabile rappresenta quello che pensiamo sarà un enorme passo avanti nella lunga lotta degli scienziati per presentare risultati reali e imparziali. Questo test fornisce un'altra strada per l'esplorazione e consente ai ricercatori di esaminare e pubblicare i risultati di studi su somiglianze che non sono stati pubblicati o finanziati in passato.

La prevalenza di bias di pubblicazione, compreso il problema del cassetto dei file, bias di conferma e falsi positivi accidentali, è un grosso ostacolo per il progresso scientifico. In alcuni campi di ricerca, fino alla metà dei risultati manca dalla letteratura pubblicata.

Il test di equivalenza fornisce un altro strumento nella cassetta degli attrezzi per gli scienziati per presentare risultati "positivi". Se la comunità scientifica si impossessa di questo test e lo utilizza al massimo delle sue potenzialità, pensiamo che possa aiutare a mitigare uno dei maggiori limiti nel modo in cui la scienza viene attualmente praticata.

Questo articolo è stato ripubblicato da The Conversation con una licenza Creative Commons. Leggi l'articolo originale.