Le parole "pubblicato in una rivista con revisione paritaria" sono talvolta considerate il gold standard nella scienza. Ma qualsiasi scienziato professionista ti dirà che il fatto che un articolo sia stato sottoposto a revisione paritaria è molto lontano da una garanzia di qualità ferrea.

Per sapere quale scienza dovresti veramente confido che sia necessario soppesare i sottili indicatori che gli scienziati considerano.

Reputazione del giornale

La posizione della rivista in cui viene pubblicato un articolo è la prima cosa.

Per ogni campo scientifico, ampie riviste (come Nature, Scienza e Atti dell'Accademia Nazionale delle Scienze ) e molte altre riviste specializzate (come il Journal of Biological Chemistry ) sono disponibili. Ma è importante riconoscere che esistono gerarchie.

Alcune riviste sono considerate più prestigiose, o francamente, meglio di altri. Il "fattore di impatto" (che riflette il numero di citazioni che gli articoli della rivista attirano) è un semplice, se misura controversa, dell'importanza di un diario.

In pratica, ogni ricercatore porta nella sua testa un elenco mentale delle riviste più importanti. Quando si sceglie dove pubblicare, ogni scienziato esprime il proprio giudizio su quanto siano interessanti e affidabili i loro nuovi risultati.

Se gli autori puntano troppo in alto con il loro giornale di destinazione, allora l'editor probabilmente rifiuterà subito l'articolo sulla base di "interesse" (prima ancora di considerare la qualità scientifica).

Se un autore punta troppo in basso, allora potrebbero vendersi a breve - questo potrebbe rappresentare un'occasione mancata per un articolo su un trofeo in una rivista importante che tutti riconoscerebbero come significativo (se non altro per il luogo in cui è stato pubblicato).

I ricercatori a volte parlano del loro articolo in una lettera di presentazione all'editore, e mirare a un diario di un grado superiore a quello in cui si aspettano che alla fine il manoscritto finisca. Se la loro carta viene accettata sono felici. Altrimenti, si ripresentano a un livello inferiore, o nell'eufemismo standard, un "giornale più specializzato". Questo spreca tempo e fatica, ma è la realtà della vita nella scienza.

Né gli editori né gli autori amano sbagliare. Stanno soppesando la pressione per rompere una storia con un grande titolo contro la paura di commettere un errore. Un errore in questo contesto significa pubblicare un risultato che viene presto invischiato in polemiche.

Per salvaguardarsi da ciò, tre o quattro revisori tra pari (esperti esperti nel settore) sono nominati dall'editore per aiutare.

Il processo di revisione tra pari

Al momento della presentazione di un documento, gli autori possono suggerire revisori che ritengono adeguatamente qualificati. Ma l'editore farà la scelta finale, in base alla loro comprensione del settore e anche a quanto bene e quanto velocemente i revisori rispondono al compito.

L'identità dei revisori tra pari è solitamente tenuta segreta in modo che possano commentare liberamente (ma a volte questo significa che sono piuttosto severi). I revisori tra pari ripeteranno il lavoro di editore, e consigliare se il documento è di interesse sufficiente per la rivista. È importante sottolineare che valuteranno anche la solidità della scienza e se le conclusioni sono supportate dall'evidenza.

Questo è il passaggio critico della "revisione tra pari". In pratica, anche se, il livello di scrutinio rimane connesso alla posizione della rivista. Se il lavoro viene preso in considerazione per una rivista di spicco, lo scrutinio sarà intenso. Le migliori riviste raramente accettano articoli a meno che non li considerino non solo interessanti ma anche impermeabili e a prova di proiettile - cioè credono che il risultato sia qualcosa che resisterà alla prova del tempo.

Se, d'altra parte, il lavoro sta entrando in un giornale poco letto con un fattore di impatto basso, allora a volte i revisori saranno più indulgenti. Si aspetteranno ancora rigore scientifico, ma è probabile che accetteranno alcuni dati come inconcludenti, a condizione che i ricercatori indichino i limiti del loro lavoro.

Sapendo che questo è come va il processo, ogni volta che un ricercatore legge un articolo, annota mentalmente dove è stato pubblicato il lavoro.

Fattore di impatto del giornale

La maggior parte delle riviste è affidabile. Ma in fondo alla lista in termini di impatto ci sono due tipi di riviste:

1. riviste rispettabili che pubblicano risultati sottoposti a revisione paritaria che sono solidi ma di interesse limitato, poiché possono rappresentare vicoli ciechi o argomenti locali molto specialistici
2. riviste cosiddette "predatrici", che sono più sinistri:in queste riviste il processo di revisione tra pari è superficiale o inesistente, e gli editori essenzialmente addebitano agli autori il privilegio di pubblicare.

Gli scienziati professionisti distingueranno tra i due in parte sulla base della casa editrice, e anche il nome del giornale.

Il Biblioteca Pubblica di Scienze (PLOS) è un editore rispettabile, e offre PLOS ONE per la scienza solida, anche se può interessare solo un pubblico limitato.

Springer Nature ha lanciato un giornale simile chiamato Rapporti scientifici . Altre riviste di buona qualità con fattori di impatto inferiori includono riviste di società accademiche specializzate in paesi con popolazioni più piccole:non raggiungeranno mai un vasto pubblico, ma il lavoro potrebbe essere solido come una roccia.

I giornali predatori d'altra parte sono spesso di ampia scala, pubblicati da editori online che gestiscono molti titoli, e talvolta hanno la parola "internazionale" nel titolo. Stanno cercando di raccogliere un gran numero di documenti per massimizzare i profitti. Quindi nomi come Giornale Internazionale della Scienza vanno trattati con cautela, mentre il Journal of the Australian Bee Society potrebbe essere affidabile (nota, Ho inventato questi nomi solo per illustrare il punto).

Il valore di un diario vs un singolo documento

I fattori di impatto sono diventati controversi perché sono stati abusati come proxy della qualità dei singoli documenti. Però, applicati rigorosamente riflettono solo l'interesse che una rivista attrae, e può dipendere da alcuni giornali "jackpot" che "diventano virali" in termini di accumulo di citazioni.

Inoltre, mentre gli articoli su riviste ad alto impatto potrebbero essere stati sottoposti a un esame più approfondito, c'è più pressione sugli editori e sugli autori di queste riviste di punta. Ciò significa che le scorciatoie possono essere prese più spesso, l'ultimo, l'esperimento di controllo cruciale potrebbe non essere mai fatto, e le riviste finiscono per essere meno affidabili di quanto la loro reputazione implichi. Questa disconnessione a volte genera cecchinaggio su come alcuni diari non siano buoni come affermano di essere, il che in realtà tiene tutti sulle spine.

Sebbene tutte le controversie sui fattori di impatto siano reali, ogni ricercatore conosce e pensa a loro o ad altri sistemi di classificazione delle riviste (SNP – Source Normalized Impact per Paper, SJR – Classifiche riviste scientifiche, e altri) quando scelgono in quale rivista pubblicare, quali documenti leggere, e di quali documenti fidarsi.

Niente è perfetto

Anche se tutto è fatto correttamente, la revisione tra pari non è infallibile. Se gli autori falsificano i loro dati in modo molto intelligente, Per esempio, allora potrebbe essere difficile da rilevare.

I dati deliberatamente falsi sono, però, relativamente raro. Non perché gli scienziati siano santi, ma perché è sciocco falsificare i dati. Se i risultati sono importanti, altri cercheranno rapidamente di riprodurli e costruirli. Se un risultato falso viene pubblicato su una rivista di prim'ordine, è quasi certo che verrà scoperto. Questo succede di tanto in tanto, ed è sempre uno scandalo.

Errori e sciatteria sono molto più comuni. Ciò può essere correlato alla crescente urgenza, pressione per pubblicare e prevalenza di grandi squadre in cui nessuno può comprendere tutta la scienza. Ancora, però, solo gli errori irrilevanti sopravviveranno:gli errori più importanti verranno rapidamente individuati.

Puoi fidarti dell'edificio che è la scienza moderna?

Generalmente, si può avere un'idea di quanto sia probabile che un pezzo di scienza sottoposta a revisione paritaria sia solido. Ciò avviene facendo affidamento sulla combinazione dell'orgoglio e della reputazione degli autori, e dei direttori della rivista, e dei revisori tra pari.

Quindi mi fido della combinazione del sistema di revisione tra pari e del fatto intrinseco che la scienza è costruita su fondamenta precedenti. Se quelli sono traballanti, le crepe appariranno rapidamente e le cose saranno sistemate.

Sono anche rincuorato dalle nuove opportunità per sistemi ancora migliori e più veloci che stanno emergendo come risultato dei progressi della tecnologia dell'informazione. Questi includono modelli per la revisione tra pari post-pubblicazione (piuttosto che pre-pubblicazione). Forse questo crea un modo per formalizzare discussioni che altrimenti avverrebbero su Twitter, e ciò può sollevare dubbi sulla validità dei risultati pubblicati.

La rivista eLife sta capovolgendo la revisione tra pari. Si offre di pubblicare tutto ciò che ritiene di interesse sufficiente, e poi lasciare che gli autori scelgano di rispondere o meno ai punti sollevati nella revisione tra pari dopo l'accettazione del manoscritto. Gli autori possono anche scegliere di astenersi dall'andare avanti se pensano che i punti dei peer reivewers espongano il lavoro come difettoso.

ELife ha anche un sistema in cui i revisori si riuniscono e forniscono un'unica recensione moderata, a cui sono aggiunti i loro nomi e che viene pubblicato. Ciò previene il problema dell'anonimato consentendo un trattamento eccessivamente duro.

Tutto sommato, dovremmo essere fiduciosi che la scienza importante sia solida (e la scienza periferica non convalidata) a causa della revisione paritaria, trasparenza, esame e riproduzione dei risultati nella pubblicazione scientifica. Tuttavia, in alcuni campi in cui la riproduzione è rara o impossibile – studi a lungo termine che dipendono da dati statistici complessi – è probabile che il dibattito scientifico continui.

Ma anche in questi campi, l'esame infinito di altri ricercatori, insieme alla reputazione orgogliosamente custodita di autori e riviste, significa che anche se non sarà mai perfetto, il metodo scientifico rimane più affidabile di tutti gli altri.

Questo articolo è stato originariamente pubblicato su The Conversation. Leggi l'articolo originale.