Venti anni fa, era difficile trovare informazioni sui ristoranti locali, tranne che dai ristoranti stessi. Ora, grazie a Internet, valutazioni indipendenti sono facili da trovare. È passato il tempo che difendiamo la ricerca scientifica, pure.

Alla sua frontiera, la scienza è rozza e irregolare. I risultati provengono da nuove macchine o procedure. Spesso questi non sono completamente compresi, come si dice abbia detto Einstein:"se sapessimo cosa stavamo facendo, non si chiamerebbe ricerca."

L'umiltà è quindi importante, ma non lo troverai sempre nei resoconti popolari che strombazzano nuovi lavori. In una certa misura, che riflette il modo in cui i ricercatori stessi ritraggono il loro lavoro. Noi scienziati a volte preferiamo ignorare ogni possibilità che i nostri risultati riflettano un errore. Tendiamo anche ad essere eccessivamente ottimisti sul fatto che i nostri risultati siano di ampia generalità, piuttosto che dipendere da circostanze molto specifiche.

Negli scienziati, come le persone in genere, i pregiudizi sono inevitabili. Per evitare di essere troppo sicuri nelle conclusioni scientifiche, poi, dobbiamo vedere le opinioni su entrambi i lati di un problema. Sfortunatamente, però, molti disaccordi tra i ricercatori sono sistematicamente nascosti piuttosto che rivelati.

I nuovi risultati vengono sottoposti a qualcosa chiamato "revisione tra pari". Quella revisione tra pari spesso rivela la complessità, incertezza, e il disaccordo inerente al lavoro d'avanguardia, ma non è reso disponibile al pubblico.

Di conseguenza, la scienza vista dall'opinione pubblica è molto più certa, universale, e incontrovertibile di quanto non sia in realtà.

Il processo di revisione tra pari

Gli umani sono creature prevenute. Segretamente o non così segretamente, i ricercatori tiferanno per le loro teorie preferite. Giudizi scientifici individuali, perciò, non ci si dovrebbe fidare ciecamente.

Fortunatamente, noi scienziati siamo spesso in dialogo gli uni con gli altri. Quando presento il mio lavoro, Spesso mi ritrovo spinto a dare uno sguardo più approfondito alle mie idee, e al rigore dei miei metodi. Sono trascinato alla realizzazione che i miei critici hanno effettivamente ragione su alcune cose.

Gran parte di questo avanti e indietro avviene nella revisione tra pari delle riviste. Dopo aver inviato un articolo a una rivista, un editore lo invia ad altri due o tre ricercatori. Questi "revisori tra pari, " che spesso sono tratti dai massimi esperti mondiali sull'argomento dell'articolo, hanno il compito di valutare l'articolo e gli studi che riporta.

I commenti degli esperti possono essere un misto di critiche e lodi, con riflessioni riguardanti l'analisi dei dati, le procedure utilizzate, come esattamente i risultati si confrontano con quelli del lavoro precedente, e la forza delle prove presentate per le conclusioni del mio articolo.

Anche nei casi in cui le revisioni tra pari sono brevi, includono l'approvazione da parte degli esperti di aspetti particolari di un articolo, che sarebbe molto prezioso per alcuni lettori.

A volte le recensioni sono piuttosto lunghe, e la conoscenza al loro interno non può essere trovata da nessun'altra parte. Per esempio, le ultime tre revisioni tra pari che ho scritto erano ciascuna più di mille parole, arrivando a sedici pagine di testo tutto in su. Molti dei singoli commenti sono di scarso interesse per chi non lavora nel campo, ma insieme possono aggiungere implicazioni più ampie per la credibilità delle conclusioni.

Gli autori in genere rispondono alle revisioni tra pari incorporando alcuni dei loro punti, correggere errori evidenti, e spostando parti della loro argomentazione per ridurre qualsiasi affidamento su ipotesi dubbie. Però, i ricercatori a volte evitano di affrontare direttamente eventuali questioni controverse, preferendo invece spazzarli sotto il tappeto. Le preoccupazioni dei revisori tra pari possono quindi non essere rilevabili dai futuri lettori.

Evitare deviazioni narrative per discutere difetti o ipotesi discutibili può essere importante per superare il punto principale di uno studio. Questo è il motivo per cui creo i miei articoli come una storia ordinata, o almeno così mi dico. Voglio che i miei articoli brillino. Devo ammetterlo, anche se, che voglio anche che i lettori trascurino ogni salto sul percorso che porta alla mia conclusione.

Una versione igienizzata della scienza

Le riviste scientifiche considerano riservate le revisioni tra pari, e consenti solo agli autori dell'articolo, i due o tre revisori, e l'editore del giornale per vederli. Ciò che i lettori e il mondo vedono, poi, è una versione igienizzata della scienza. I consumatori della ricerca, siano essi altri ricercatori, ingegneri, decisori politici, giornalisti, o aziende farmaceutiche, sono private delle informazioni nelle revisioni tra pari.

Quando si scrive un articolo su una nuova scoperta, i giornalisti finiscono per doversi organizzare da soli per la valutazione esterna. Chiamano tutti gli esperti che riescono a trovare e chiedono loro di possibili problemi. Così facendo, stanno tentando di ricreare un processo di revisione che è già stato fatto. Raramente riceveranno commenti così estesi come quelli nella revisione formale tra pari, e ottengono questi commenti solo per una piccola parte delle nuove scoperte che vengono pubblicate ogni giorno.

Se la valutazione effettuata nel processo di revisione tra pari originale fosse pubblica, i resoconti giornalistici sarebbero meno creduloni, e la comprensione pubblica della scienza potrebbe essere più sofisticata. Ricercatori, avere il vantaggio di poter leggere i commenti di revisione paritaria insieme a nuovi lavori, sarebbe meno probabile presumere che un risultato sia solido, un atteggiamento che ha contribuito alla crisi della replica.

Post-pandemia, un nuovo mondo di ricerca

Con la diffusione dell'epidemia di coronavirus lo scorso anno, c'era un'ampia consapevolezza che la revisione tra pari della ricerca COVID era troppo importante per essere tenuta a porte chiuse. I ricercatori hanno valutato rapidamente il nuovo lavoro e hanno pubblicato i loro commenti su forum Internet come Twitter e il sito di commenti sulla ricerca PubPeer.

Alcune di queste critiche sono state raccolte dai giornalisti e hanno contribuito alle ritrattazioni di uno studio infondato sull'idrossiclorochina, nonché a correzioni rapide degli studi sui tassi di infezione.

Le discussioni su Twitter possono essere caotiche, e l'algoritmo di Twitter non premia le sfumature. Gli eccessi che ne sono derivati ​​sono un motivo per cui non tutti i ricercatori hanno applaudito l'aumento dei commenti aperti, quindi con il passare della pandemia, c'è il pericolo che la scienza possa ritrarsi nel suo guscio. Fortunatamente, iniziative pubbliche di revisione paritaria ideate da ricercatori, piuttosto che dalle società di social media che cercano di monetizzare l'indignazione, hanno ora attirato un numero considerevole di esperti.

Negli ultimi vent'anni, grazie a qualcosa chiamato movimento "open access", abbiamo visto la proporzione di articoli scientifici che possono essere letti gratuitamente passare da una piccola minoranza a quasi la metà. Nei prossimi vent'anni, raggiungere una reale comprensione pubblica della natura delle nuove scoperte, dobbiamo anche aprire la revisione paritaria.

Questo articolo è stato ripubblicato da The Conversation con una licenza Creative Commons. Leggi l'articolo originale.