In un recente sondaggio su oltre 1, 500 scienziati, più del 70% di loro ha riferito di non essere stato in grado di riprodurre i risultati di altri scienziati almeno una volta. Circa la metà degli scienziati intervistati ha avuto problemi nel tentativo di riprodurre i propri risultati. Non c'è da stupirsi che si parli di una "crisi di riproducibilità" nella ricerca scientifica, un'epidemia di studi che non resistono quando vengono eseguiti una seconda volta.

La riproducibilità dei risultati è un fondamento fondamentale della scienza. Se i risultati scientifici sono validi solo in alcuni laboratori ma non in altri, allora come possono i ricercatori sentirsi sicuri delle loro scoperte? Come può la società mettere in atto politiche basate sull'evidenza se l'evidenza non è affidabile?

Il riconoscimento di questa "crisi" ha spinto a chiedere riforme. I ricercatori stanno cercando la loro strada, sperimentare pratiche diverse volte a distinguere la scienza solida dai risultati irriproducibili. Alcune persone stanno persino iniziando a rivalutare il modo in cui vengono fatte le scelte su ciò che la ricerca viene effettivamente affrontata. Rompere un nuovo terreno innovativo è più eclatante che rivisitare ricerche già pubblicate. Dare priorità alle novità porta naturalmente a questo punto?

Incentivare la cosa sbagliata?

Una soluzione alla crisi della riproducibilità potrebbe essere semplicemente quella di condurre molti studi di replicazione. Ad esempio, la rivista scientifica eLife partecipa a un'iniziativa per convalidare e riprodurre importanti scoperte recenti nel campo della ricerca sul cancro. La prima serie di questi studi "ripeti" è stata pubblicata di recente e ha prodotto risultati contrastanti. I risultati di 2 studi di ricerca su 5 erano riproducibili, uno non lo era e due ulteriori studi non hanno fornito risposte definitive.

Non è necessario limitare questo tipo di studi ripetuti alla ricerca sul cancro:i problemi di riproducibilità possono essere individuati in vari campi della ricerca scientifica.

Ma c'è almeno un grosso ostacolo all'investimento di tempo e fatica in questa impresa:la ricerca della novità. Il prestigio di una rivista accademica dipende almeno in parte dalla frequenza con cui vengono citati gli articoli di ricerca che pubblica. Così, le riviste di ricerca spesso vogliono pubblicare nuovi risultati scientifici che hanno maggiori probabilità di essere citati, non necessariamente i risultati di ricerche più vecchie appena rieseguite.

Uno studio sugli studi clinici pubblicati su riviste mediche ha rilevato che le riviste più prestigiose preferiscono pubblicare studi considerati altamente innovativi e non necessariamente quelli che hanno i numeri più solidi a sostegno delle affermazioni. Le agenzie di finanziamento come il National Institutes of Health chiedono agli scienziati che esaminano le domande di sovvenzione di ricerca di fornire un punteggio di "innovazione" al fine di dare priorità ai finanziamenti per il lavoro più innovativo. E gli scienziati ovviamente notano queste tendenze:uno studio ha scoperto l'uso di parole positive come "romanzo, " "Stupefacente, "Innovativo" e "senza precedenti" negli abstract e nei titoli cartacei è aumentato di quasi nove volte tra il 1974 e il 2014.

Il ricercatore di genetica Barak Cohen della Washington University di St. Louis ha recentemente pubblicato un commento che analizza questa crescente spinta alla novità. Suggerisce che il progresso della scienza dipende da un delicato equilibrio tra novità e verifica del lavoro di altri scienziati. Quando premi come il finanziamento di sovvenzioni o la pubblicazione su riviste prestigiose enfatizzano la novità a scapito della verifica dei risultati precedentemente pubblicati, la scienza rischia di sviluppare crepe nelle sue fondamenta.

Case di mattoni, palazzi di paglia

Il ricercatore sul cancro William Kaelin Jr., un destinatario del 2016 Albert Lasker Award per la ricerca medica di base, recentemente ha sostenuto nelle pubblicazioni scientifiche un minor numero di "ville di paglia" e più "case di mattoni".

Una delle sue principali preoccupazioni è che gli articoli scientifici ora gonfiano le loro affermazioni per enfatizzare la loro novità e la rilevanza della ricerca biomedica per le applicazioni cliniche. Scambiando la profondità della ricerca con l'ampiezza delle affermazioni, i ricercatori possono essere a rischio di compromettere la robustezza del lavoro. Rivendicando un'eccessiva novità e impatto, i ricercatori possono minare il suo effettivo significato perché potrebbero non fornire prove solide per ogni affermazione.

Kaelin suggerisce anche che alcuni dei suoi lavori degli anni '90, che ha trasformato la ricerca in biologia cellulare scoprendo come le cellule possono percepire l'ossigeno, potrebbe aver faticato a essere pubblicato oggi.

Riviste prestigiose spesso ora richiedono storie scientifiche complete, dai meccanismi molecolari di base alla prova della loro rilevanza in vari modelli animali. Risultati inspiegabili o domande senza risposta sono visti come punti deboli. Invece di pubblicare un romanzo emozionante che sia robusto, e che potrebbe dare vita a una nuova direzione di ricerca condotta da altri gruppi, i ricercatori ora trascorrono anni a raccogliere un'intera serie di risultati con ampie affermazioni sulla novità e l'impatto.

Bilanciamento di nuovi risultati e robustezza

Una sfida per editori e revisori di manoscritti scientifici è valutare la novità e il probabile impatto a lungo termine del lavoro che stanno valutando. L'eventuale importanza di un nuovo, un'idea scientifica unica a volte è difficile da riconoscere anche dai colleghi che sono radicati nella conoscenza esistente. Molti studi di ricerca di base costituiscono la base di future applicazioni pratiche. Uno studio recente ha rilevato che degli articoli di ricerca di base che hanno ricevuto almeno una citazione, L'80% è stato infine citato da una domanda di brevetto. Ma ci vuole tempo perché il significato pratico venga alla luce.

Un team collaborativo di ricercatori economici ha recentemente sviluppato un'insolita misura della novità scientifica studiando attentamente i riferimenti di un articolo. Hanno classificato un articolo scientifico come più nuovo se citava una combinazione diversificata di riviste. Per esempio, un articolo scientifico che cita una rivista di botanica, una rivista di economia e una di fisica sarebbero considerate molto nuove se nessun altro articolo avesse citato prima questa combinazione di riferimenti diversi.

Questa misura di novità ha permesso loro di identificare i documenti che avevano maggiori probabilità di essere citati nel lungo periodo. Ma ci sono voluti circa quattro anni prima che questi nuovi documenti iniziassero a mostrare il loro maggiore impatto. Si può non essere d'accordo con questo particolare indicatore di novità, ma lo studio sottolinea un punto importante:ci vuole tempo per riconoscere il pieno impatto dei nuovi risultati.

Rendendosi conto di quanto sia difficile valutare la novità dovrebbe dare alle agenzie di finanziamento, gli editori di riviste e gli scienziati fanno una pausa. Il progresso della scienza dipende dalle nuove scoperte e dal seguire percorsi inesplorati, ma solidi, la ricerca riproducibile richiede un'eguale enfasi sulla robustezza del lavoro. Ripristinando l'equilibrio tra richieste e premi per novità e robustezza, la scienza otterrà progressi ancora maggiori.

Questo articolo è stato originariamente pubblicato su The Conversation. Leggi l'articolo originale.