Uno studio dell'Università di Toronto sull'incertezza nella ricerca scientifica potrebbe far luce sulle anomalie emerse nei primi tentativi di scoprire il bosone di Higgs e persino su come i sondaggi non siano riusciti a prevedere l'esito della vittoria di Donald Trump alle elezioni presidenziali statunitensi.

Pubblicato di recente sulla rivista Royal Society Scienza Aperta , lo studio suggerisce che la ricerca in alcune delle discipline scientifiche più complesse, come la medicina o la fisica delle particelle, spesso non elimina le incertezze nella misura in cui ci si potrebbe aspettare.

"Ciò è dovuto alla tendenza a sottovalutare la possibilità di anomalie significative nei risultati". ha detto l'autore dello studio David Bailey, un professore nel Dipartimento di Fisica della U of T.

Guardando 41, 000 misurazioni di 3, 200 quantità - dalla massa di un elettrone alla datazione al carbonio di un campione - Bailey ha scoperto che le osservazioni anomale avvenivano fino a 100, 000 volte più spesso del previsto.

"La possibilità di grandi differenze non diminuisce in modo esponenziale come ci si aspetterebbe in una normale curva a campana, " ha detto Bailey.

Una lunga coda di incertezza

"Lo studio mostra che i ricercatori in molti campi fanno un buon lavoro nel stimare la dimensione degli errori tipici nelle loro misurazioni, ma di solito sottovalutare la possibilità di errori di grandi dimensioni, " ha detto Bailey, osservando che la frequenza maggiore del previsto di grandi differenze può essere una conseguenza quasi inevitabile della natura complessa della ricerca scientifica.

"Man mano che le misurazioni diventano sempre più accurate, le cose più piccole contano sempre di più, " ha detto Bailey.

"Se due misurazioni concordano, sei felice. Altrimenti, vedi che c'è qualcosa che devi indagare, - disse. - Rintracci la causa della variazione e ne riporti la causa oppure dici di non conoscere la causa e questo riduce la fiducia nel tuo risultato.

Ma con tempo e risorse finanziarie limitate, i ricercatori devono spesso fare una scelta tra avere un ampio campione di dati, come decine di migliaia di persone in un sondaggio, e avere un gran numero di variabili che vuoi capire.

"Inizi con un campione molto ampio che raggruppa tutti insieme. Quindi potresti dover chiedere se il tuo risultato è lo stesso sia per gli uomini che per le donne. È lo stesso per background diversi, canadesi contro americani, Per esempio, " dice Bailey. "A quel punto, devi chiedere se i tuoi risultati valgono per il set di dati più piccolo. Il tuo campione si sta riducendo e più può andare storto."

Impossibile non sbagliare un po'?

Gli studi di fisica non sono andati significativamente meglio delle ricerche mediche e di altro tipo osservate. Però, il modo altamente quantificabile in cui sono riportati i valori e le incertezze, può rendere la fisica più utile in termini di grado di riproducibilità dei risultati che i ricercatori dovrebbero ragionevolmente aspettarsi.

"Gli scienziati continueranno a puntare ai risultati più accurati, ma le loro aspettative su quanto questi obiettivi vengano raggiunti possono essere mitigate alla luce di questa ricerca, " ha detto Bailey.

Crede che il suo studio possa aiutare i ricercatori ad analizzare meglio i loro dati, motivare più cure con nuovi risultati, e incoraggiare aspettative più realistiche da parte degli scienziati e del pubblico sull'accuratezza della ricerca scientifica.

"Queste intuizioni possono essere utili data la natura intrinsecamente complessa della ricerca scientifica, " dice Bailey. "Ma la possibilità di evitare di sbagliare in qualche modo a un certo livello è quasi impossibile."