Lo scorso mese, Il precedente ministro della Ricerca e della Tecnologia dell'Indonesia si è vantato che nel 2019, L'Indonesia ha superato la Malesia e Singapore nel numero di articoli accademici pubblicati.

Però, gli studiosi sostengono che questa "produttività" è il risultato di un sistema di misurazione delle prestazioni molto criticato per gli accademici basato principalmente su risultati e citazioni, invece della qualità della ricerca.

La revisione delle prestazioni basata sui risultati ha anche portato a pratiche non etiche dilaganti tra la comunità di ricerca indonesiana, tra cui il "dragaggio dei dati" - gonfiando le dimensioni dei campioni o manomettendo i modelli statistici - per produrre ricerche con risultati che dimostrano le loro ipotesi, che sono più apprezzati dai giornali.

Sandersan Onie, un dottorato di ricerca candidato all'Università del New South Wales, ha detto durante un webinar sulla trasparenza della ricerca tenutosi alla fine del mese scorso, che queste pratiche disoneste sono aumentate man mano che i ricercatori mirano alla pubblicabilità rispetto all'accuratezza.

"Gli sperimentatori possono eseguire dieci diversi tipi di procedure statistiche, ma riportano solo quello con maggiori probabilità di essere pubblicato e citato. Eseguono segnalazioni selettive, " Egli ha detto.

più di 1, 000 partecipanti provenienti da circa 30 istituzioni hanno trasmesso in streaming il webinar intitolato " Avanzare la scienza in Indonesia:attuali pratiche di ricerca globale ", il primo del suo genere per l'Indonesia.

Simine Vazire, professore di psicologia all'Università della California-Davis, è stato uno dei principali relatori dell'evento.

Dice che sebbene ci siano molti modi per promuovere la trasparenza, generalmente ci sono tre strategie che possono aumentare direttamente la credibilità della ricerca.

Pre-registrazione del processo di sperimentazione

Il primo metodo suggerito da Vazire era una pratica comunemente nota come pre-registrazione, che è un timestamp, versione di sola lettura di un piano di ricerca creato prima che lo studio sia condotto.

I ricercatori devono elaborare la ricerca che intendono intraprendere prima ancora di raccogliere una scheggia di dati.

Le informazioni possono variare dalle ipotesi proposte, quale metodo statistico verrà utilizzato per analizzare i dati.

Il documento verrà quindi archiviato in un sistema come l'Open Science Framework (OSF), una piattaforma di gestione della ricerca open source.

"Se ottieni una scoperta eccitante con un risultato, non potrai nascondere in seguito il fatto che hai misurato anche altri dodici risultati, " disse Vaziro.

"Ti stai impegnando in anticipo a rendere pubblico quanti risultati e trattamenti hai avuto".

La seconda pratica consiste nell'inviare i cosiddetti rapporti registrati. Essenzialmente sono una forma di pre-registrazione più rigorosa e formale.

Gli autori inviano un manoscritto pre-abbozzato che spiega il passo della ricerca in modo più dettagliato a una rivista per la revisione iniziale.

Se gli editori decidono che lo studio soddisfa tutti i loro criteri per un buon disegno di ricerca, danno agli autori quella che viene chiamata un'accettazione "in linea di principio". Qui, gli editori accettano gli articoli anche prima che l'autore raccolga i dati. La rivista pubblicherà l'articolo indipendentemente dal risultato dello studio, mantenendo quindi l'integrità scientifica.

"La cosa bella dei rapporti registrati è che la decisione di accettare o rifiutare il documento per la pubblicazione non dipende dal fatto che la tua ipotesi fosse giusta, se hai ottenuto un risultato statisticamente significativo, o se i rapporti sono scioccanti o eccitanti o probabilmente verranno citati molto, " disse Vaziro.

Queste pratiche di pre-registrazione scoraggiano gli scienziati dal dragaggio dei dati e "ipotesi dopo che i risultati sono noti" (HARKing) . Questo perché se i ricercatori si discostano dal metodo di ricerca precedentemente concordato, devono giustificare il motivo per cui lo hanno fatto.

A parte quello, i report registrati possono risolvere il problema in cui le ricerche con esito negativo hanno una bassa probabilità di essere pubblicate.

I risultati negativi sono ugualmente importanti per la scienza, ma le riviste li considerano poco attraenti e attirano meno citazioni.

Uno studio del 2019 dell'Università di Cardiff, Per esempio, evidenzia come circa il 60% dei lavori di ricerca pubblicati utilizzando il sistema dei report registrati abbia esito negativo.

Confrontalo con le stime della letteratura attuale, dove solo il 10% circa degli articoli pubblicati su riviste contiene risultati negativi, indicando un estremo bias di pubblicazione.

Attualmente, solo 209 riviste nel mondo offrono un meccanismo di rapporti registrati nel loro processo di pubblicazione, nessuno di loro dall'Indonesia. Ciò equivale a meno dello 0,01% dei 24, 600 titoli di riviste peer-reviewed indicizzati in Scopus.

Rizqy Amelia Zein, docente di psicologia presso Universitas Airlangga che è stato uno degli organizzatori del webinar, ha detto in un'intervista di follow-up che le pubblicazioni indonesiane hanno ancora molta strada da fare.

"La maggior parte delle riviste indonesiane si occupa solo degli aspetti estetici. Raramente si preoccupano della qualità, poiché la loro priorità principale è ovviamente l'indicizzazione in Scopus, " lei disse.

Incoraggiare la condivisione dei dati tramite badge

L'ultimo metodo consigliato da Vazire è l'uso di badge da parte delle riviste per motivare i ricercatori a condividere i dati.

L'esempio migliore è forse l'Associazione per le scienze psicologiche. Tre delle sue prestigiose riviste, Compreso Scienze Psicologiche , offrire distintivi agli autori e ai loro manoscritti accettati in riconoscimento delle pratiche scientifiche aperte.

Sono disponibili tre distintivi. Uno per fornire dati in un archivio pubblico, uno per la fornitura di materiali ad accesso libero, e un altro per l'attuazione delle pratiche di pre-registrazione.

Uno studio americano del 2016 ha confermato che dopo l'implementazione di questi badge, il numero di Scienze Psicologiche articoli che riportavano dati aperti sono saliti alle stelle.

"Ho anche notato un effetto a cascata di questa politica su riviste più piccole. Anche se non avevano alcun badge o avevano politiche sui dati aperti, abbiamo ancora visto molti più autori condividere i loro dati perché capivano che ora le persone si fidavano di più dei documenti quando avevano dati aperti, " disse Vaziro.

Uno studio del 2017 condotto da ricercatori della Queensland University of Technology ha suggerito che i badge di dati aperti sono stati l'unico incentivo testato che ha motivato i ricercatori a condividere i dati.

Sandersan afferma che queste pratiche di trasparenza e responsabilità non sono le soluzioni definitive, ma rappresentano passi verso l'obiettivo finale di produrre una ricerca credibile di alta qualità.

"È molto importante non solo leggere il giornale, ma sappiamo quali decisioni prendono i ricercatori e come ci sono arrivati. Chiedendo trasparenza, i ricercatori possono mostrare il loro intero processo di pensiero, " Egli ha detto.

"Se incentiviamo solo l'h-index e l'output delle pubblicazioni e tutte queste cose, ci aiuterà solo a creare cattive ricerche."

Questo articolo è stato ripubblicato da The Conversation con una licenza Creative Commons. Leggi l'articolo originale.