Circa un anno dopo essere stata nominata a un ruolo editoriale senior presso una rivista accademica, Il ricercatore di psicologia, il professor Simine Vazire, è stato ammonito per aver turbato eminenti ricercatori "rifiutando la scrivania" i loro documenti.

Era scioccata.

Il rifiuto da tavolino si verifica quando un articolo viene rifiutato dall'editore prima di essere inviato ai revisori:circa il 30 percento degli articoli su questa rivista veniva in genere rifiutato a tavolino.

La professoressa Vazire stava rifiutando le carte perché credeva che avessero gravi difetti. Ma il comitato che l'ha nominata era preoccupato che, sconvolgendo famosi ricercatori, la reputazione della rivista potrebbe essere messa a rischio.

"Ho fatto notare loro che non potevano esercitare questa influenza dietro le quinte senza annunciare una nuova politica o avere una base scientifica per essa, " dice il professor Vazire. "Ma il fatto che fossero così sorpresi dalla mia resistenza mi ha fatto capire quanto questo fosse il modo in cui le cose funzionavano tipicamente".

L'esperienza del professor Vazire fa parte di un problema più ampio e di lunga data nella ricerca, dove ampi studi hanno scoperto che in molte discipline quantità significative di ricerche pubblicate non possono essere convalidate con studi di follow-up, ovvero i risultati non possono essere replicati, mettendo in dubbio i risultati.

Questo ha acceso i riflettori sulle fallibilità dei giornali, le valutazioni di revisione paritaria su cui si basano, e il mondo iper-competitivo del mondo accademico in cui i ricercatori sono spesso interamente giudicati in base a quanto stanno pubblicando e in quali riviste "rispettabili".

Significa che i ricercatori e le loro istituzioni possono essere tentati di promuovere i risultati.

"Come redattore, Ho avuto discussioni con autori in cui ho detto loro che accetterò il loro articolo solo se è stato formulato in modo più cauto e, in un paio di occasioni, gli autori si sono semplicemente rifiutati e sono andati a pubblicare altrove, "dice il professor Vazire.

Recenti ritrattazioni di riviste mediche di grande reputazione la lancetta e il New England Journal of Medicine riguardante la ricerca su potenziali farmaci COVID-19 che si basavano su dati errati, ha solo evidenziato l'urgenza del problema.

Iniziative di scienza aperta come la condivisione dei dati e la definizione di un piano di ricerca prima di effettuare la ricerca (preregistrazione) cercano di affrontare questi problemi.

E accanto a questi sviluppi, è emersa anche una nuova disciplina di ricerca:la metascienza.

"La metascienza è un campo che studia le norme, pratiche e incentivi nella scienza. Fa il punto sulle nuove iniziative di scienza aperta, e monitora e valuta i loro impatti.

"Sfiora la filosofia e la sociologia della scienza, ma lavora al servizio della scienza cercando di garantire che la ricerca sia più solida, "dice la professoressa Fiona Fidler, un esperto di riproducibilità presso l'Università di Melbourne.

Insieme, Il professor Fidler e il professor Vazire hanno istituito un nuovo gruppo di ricerca presso l'Università, MetaMelb. È il più grande gruppo di ricerca sulle metascienze in Australia.

Il gruppo studierà una serie di domande sulla metascienza, in diverse discipline tra cui psicologia, ecologia e medicina, utilizzando un'ampia gamma di approcci quantitativi e qualitativi.

Una di queste domande è se gli incentivi per la condivisione dei dati, come l'assegnazione di badge open data, portare a risultati più riproducibili. Un altro progetto esamina come l'esposizione dei difetti nella scienza possa influenzare la visione del pubblico di, e confida in, scienza.

I timori che sia in gioco la credibilità della scienza sono stati usati in passato come giustificazione per non essere sinceri sui problemi.

Ma, La scienza che è più aperta e trasparente mina davvero la fede pubblica nella scienza o effettivamente aumenta quella fede?

"Sono stato in stanze in cui è stato concordato che dovremmo nascondere i problemi sotto il tappeto a causa del rischio di rendere le persone anti-scienza, ma sospetto che il rischio di gran lunga maggiore sia non essere sinceri con il pubblico, "dice il professor Vazire.

Un altro grande progetto già in corso, finanziato dalla Defense Advanced Research Projects Agency (DARPA) del governo degli Stati Uniti, è uno sforzo per raccogliere in modo efficiente la revisione paritaria di esperti da parte di un gruppo di esperti.

Il progetto RepliCATS (Collaborative Assessment for Trustworthy Science) ha reclutato 500 esperti in tutto il mondo per prevedere la replicabilità di 3000 articoli di ricerca delle scienze sociali in piccoli team che lavorano in modo collaborativo online.

DARPA ha recentemente ampliato il progetto per valutare urgentemente 100 documenti relativi alla ricerca sulle scienze sociali COVID-19.

Un'altra iniziativa di MetaMelb è lo sviluppo di linee guida concrete che i revisori tra pari potrebbero utilizzare per valutare in modo più uniforme metodi e risultati di ricerca, fornendo una sorta di lista di controllo.

Ciò includerebbe incoraggiare i revisori tra pari a valutare se la ricerca è scritta in quello che il professor Vazire chiama un modo "intellettualmente umile". Se un giornale mostra invece arroganza intellettuale, sarebbe un segnale immediato per i revisori paritari di diffidare, lei dice.

"L'umiltà intellettuale consiste nel garantire che tu dia alle persone che criticano il tuo lavoro tutte le munizioni di cui hanno bisogno per trovare eventuali difetti nel tuo lavoro, "dice il professor Vazire.

"Quindi significa che nella loro introduzione scritta, Per esempio, un ricercatore non dovrebbe semplicemente scegliere le informazioni a seconda del lato di un dibattito su cui si trova o, che nella loro sezione metodi e risultati, allo stesso modo non si limitano a menzionare i risultati che meglio si adattano alla loro argomentazione".

La lista di controllo indirizzerà anche i revisori a valutare specificamente alcuni aspetti della ricerca, come se la dimensione del campione giustifichi le conclusioni o se i metodi di ricerca siano rigorosi.

"I revisori tra pari sono noti per non essere d'accordo, ma forse se vengono poste domande specifiche otterremo un accordo maggiore sulla forza di un pezzo di ricerca, "dice il professor Vazire.

Ma perché iniziative come queste funzionino, devono essere messi in atto incentivi per premiare i revisori tra pari, riviste e ricercatori per essere più trasparenti.

Un'idea è quella di rendere più pubbliche le revisioni tra pari, riconoscendo il contributo del revisore.

"La questione della creazione dei giusti incentivi è per noi un'area di ricerca importante, "dice il professor Fidler.

In definitiva, entrambi credono che si possano mettere in atto i giusti incentivi e pratiche per rendere la scienza più trasparente e solida. Ma la chiave sarà cambiare le culture accademiche e istituzionali ei sistemi di ricompensa che stanno contribuendo al problema.

"Uno dei maggiori problemi che abbiamo in questo momento è il modo in cui le istituzioni giudicano le prestazioni e la promozione internamente, "dice il professor Fidler.

Nel Regno Unito, sforzi per garantire una ricerca solida ha portato alla creazione della rete riproducibile del Regno Unito, un consorzio che ha finora attratto 15 università e college.

Il professor Fidler sta lavorando con i colleghi per creare un consorzio simile in Australia.

Per il professor Vazire, sarà cruciale se ricercatori e istituzioni saranno preparati ad abbracciare nuove pratiche e una maggiore trasparenza.

"Certamente le cose stanno cambiando:viene condivisa più ricerca prima della revisione tra pari e della pubblicazione, che offre l'opportunità di un esame più ampio. E, Onestamente, piattaforme di social media come Twitter stanno diventando sempre più importanti per esaminare i documenti e identificare punti di forza e difetti.

"Sono fiducioso che ci saranno opzioni per migliorare le cose, ma abbiamo bisogno che la comunità della ricerca si unisca e sfrutti effettivamente queste nuove opportunità".