I risultati negativi sono ancora utili, e non deve essere nascosto. Credito:www.shutterstock.com
Raccolta delle ciliegie o nascondere i risultati, escludere i dati per soddisfare le soglie statistiche e presentare risultati inaspettati come se fossero stati previsti fin dall'inizio:queste sono solo alcune delle "pratiche di ricerca discutibili" implicate nella crisi di replica che la psicologia e la medicina hanno dovuto affrontare nell'ultimo mezzo decennio circa.
Recentemente abbiamo intervistato più di 800 ecologisti e biologi evoluzionisti e abbiamo riscontrato alti tassi di molte di queste pratiche. Riteniamo che questa sia la prima documentazione di questi comportamenti in questi campi della scienza.
I nostri risultati di prestampa hanno un certo valore di shock, e la loro uscita ha attirato molta attenzione sui social media.
Sebbene questi risultati siano molto simili a quelli che sono stati trovati in psicologia, le reazioni suggeriscono che sono sorprendenti, almeno per alcuni ricercatori di ecologia ed evoluzione.
gli autori riferiscono che nel complesso l'uso di pratiche di ricerca discutibili in Ecologia ed Evoluzione è diffuso quanto in Psicologia.
— Andrew MacDonald (@polesasunder) 21 marzo, 2018
Abbiamo tutti guardato Psych, torcendoci le mani sui poveri cari ma anche noi siamo nei guai
Ci sono molte possibili interpretazioni dei nostri risultati. Prevediamo che ci saranno anche molte idee sbagliate su di loro ed estrapolazioni ingiustificate. Parliamo però di alcuni di questi di seguito.
È una frode!
Non è frode. La frode scientifica implica la fabbricazione di dati e comporta pesanti sanzioni penali. Le pratiche di ricerca discutibili su cui ci concentriamo sono per definizione discutibili:si trovano in una zona grigia tra pratiche accettabili e cattiva condotta scientifica.
Abbiamo posto una domanda sulla fabbricazione dei dati e la risposta ha offerto ulteriori prove che è molto raro, coerente con i risultati di altri campi.
Gli scienziati mancano di integrità e non dovremmo fidarci di loro
Ci sono alcuni motivi per cui questo non dovrebbe essere il messaggio da portare a casa del nostro giornale.
Primo, le reazioni ai nostri risultati finora suggeriscono un impegno, comunità scientifica matura, pronto a riconoscere e affrontare questi problemi.
Purtroppo non sono sorpreso da questo - quando sono stato "addestrato" molte di queste pratiche discutibili erano la norma. Dobbiamo iniziare a formare gli studenti prima, ma anche assicurarci che anche i guardiani delle sovvenzioni e delle pubblicazioni siano istruiti su questi temi. Goditi il tuo caffè!
— Matthew Grainger (@Ed_pheasant) 21 marzo, 2018
Se qualcosa, questo tipo di impegno dovrebbe aumentare la nostra fiducia in questi scienziati e il loro impegno per l'integrità della ricerca.
Secondo, i risultati ci dicono molto di più sugli incentivi strutturati e sulle istituzioni che sugli individui e sulla loro integrità personale.
Per esempio, questi risultati ci parlano dell'istituzione dell'editoria scientifica, dove i negativi (risultati non statisticamente significativi) sono quasi banditi dalla maggior parte delle riviste nella maggior parte dei campi della scienza, e dove gli studi di replicazione non sono praticamente mai pubblicati a causa dell'incessante attenzione al romanzo, risultati "rivoluzionari".
I risultati del sondaggio ci parlano di finanziamenti scientifici, di nuovo dove "romanzo" (che significa positivo, significativo) i risultati sono valutati più che attenti, procedure prudenti e replica. Ci parlano anche di università, sulle pratiche di assunzione e promozione all'interno della scienza accademica che si concentrano sulle metriche di pubblicazione e sopravvalutano la quantità a scapito della qualità.
Quindi cosa significano, queste discutibili pratiche di ricerca ammesse dagli scienziati nel nostro sondaggio? Pensiamo che siano meglio compresi come l'inevitabile risultato del bias di pubblicazione, protocolli di finanziamento e una pressione sempre crescente per la pubblicazione.
Non possiamo basare decisioni importanti su prove scientifiche attuali
C'è il rischio che i nostri risultati alimenteranno l'idea che la nostra scienza non sia pronta per la politica. In molte aree, come la salute e l'ambiente, questo potrebbe essere molto dannoso, persino disastroso.
Uno dei motivi per cui è ingiustificato è che la scienza del clima è una scienza basata su modelli, e ci sono state molte repliche indipendenti di questi modelli. Allo stesso modo con le prove di immunizzazione.
Sappiamo che qualsiasi critica alla pratica scientifica corre un rischio nel contesto del sentimento antiscientifico, ma tale critica è fondamentale per il successo della scienza.
Rimanere aperti alle critiche è il meccanismo di autocorrezione più potente della scienza, e in definitiva ciò che rende affidabile la base di prove scientifiche.
Gli scienziati sono umani e abbiamo bisogno di salvaguardie
Questa è un'interpretazione che sosteniamo con tutto il cuore. Gli scienziati sono umani e soggetti alla stessa serie di pregiudizi cognitivi - come il pregiudizio di conferma - del resto di noi.
Man mano che impariamo di più sui pregiudizi cognitivi e sul modo migliore per mitigarli in circostanze diverse, dobbiamo reinserirlo nelle norme della pratica scientifica.
Lo stesso vale per la nostra conoscenza di come le persone funzionano in diverse strutture e condizioni di incentivazione. Questa è la base di molte delle iniziative volte a rendere la scienza più aperta e trasparente.
Il movimento della scienza aperta riguarda lo sviluppo di iniziative per proteggere dall'influenza del pregiudizio cognitivo, e alterare le strutture di incentivazione in modo che la ricerca che utilizza queste pratiche di ricerca discutibili smetta di essere ricompensata.
Alcune di queste iniziative sono state adottate con entusiasmo da molti scienziati ed editori di riviste. Per esempio, molte riviste ora pubblicano codici e dati di analisi insieme ai loro articoli, e molti hanno sottoscritto le linee guida per la promozione della trasparenza e dell'apertura (TOP).
Anche altre iniziative offrono grandi promesse. Per esempio, formati di report registrati sono ora offerti da alcune riviste, principalmente in psicologia e in campo medico. In un verbale registrato, gli articoli sono rivisti sulla base della loro premessa e approccio sottostante, prima che i dati vengano raccolti. Ciò elimina la tentazione di selezionare solo risultati positivi o di applicare diversi standard di rigore ai risultati negativi. In breve, contrasta i pregiudizi di pubblicazione.
Ci auguriamo che, richiamando l'attenzione sulla prevalenza di pratiche di ricerca discutibili, la nostra ricerca incoraggerà il sostegno a queste iniziative, e soprattutto, incoraggiare le istituzioni a sostenere i ricercatori nei loro sforzi per allineare la loro pratica con i loro valori scientifici.
Questo articolo è stato originariamente pubblicato su The Conversation. Leggi l'articolo originale. 
