Articoli in psicologia leader, riviste economiche e scientifiche che non riescono a replicare e quindi hanno meno probabilità di essere vere sono spesso gli articoli più citati nella ricerca accademica, secondo un nuovo studio della Rady School of Management della University of California San Diego.

Pubblicato in Progressi scientifici , il documento esplora la "crisi di replicazione" in corso in cui i ricercatori hanno scoperto che molte scoperte nel campo delle scienze sociali e della medicina non reggono quando altri ricercatori cercano di ripetere gli esperimenti.

Il documento rivela che i risultati di studi che non possono essere verificati quando gli esperimenti vengono ripetuti hanno un'influenza maggiore nel tempo. La ricerca inaffidabile tende a essere citata come se i risultati fossero veri molto tempo dopo che la pubblicazione non è stata replicata.

"Sappiamo anche che gli esperti possono prevedere bene quali documenti verranno replicati, " scrivono gli autori Marta Serra-Garcia, assistente professore di economia e strategia alla Rady School e Uri Gneezy, professore di economia comportamentale anche alla Rady School. "Data questa previsione, chiediamo 'perché i documenti non replicabili sono accettati per la pubblicazione in primo luogo?'"

La loro possibile risposta è che i team di revisione delle riviste accademiche devono affrontare un compromesso. Quando i risultati sono più "interessanti, " applicano standard inferiori per quanto riguarda la loro riproducibilità.

Il legame tra scoperte interessanti e ricerca non replicabile può anche spiegare perché è citato a un tasso molto più alto:gli autori hanno scoperto che gli articoli che si replicano con successo sono citati 153 volte meno di quelli che non hanno avuto successo.

"I risultati interessanti o accattivanti sono anche coperti maggiormente dai media o condivisi su piattaforme come Twitter, generando molta attenzione, ma questo non le rende vere, "Gneez ha detto.

Serra-Garcia e Gneezy hanno analizzato i dati di tre influenti progetti di replica che hanno cercato di replicare sistematicamente i risultati della psicologia di punta, riviste economiche e di scienze generali ( Natura e Scienza ). In psicologia, solo il 39% dei 100 esperimenti è stato replicato con successo. In economia, Il 61 percento dei 18 studi si è replicato così come il 62 percento dei 21 studi pubblicati in Natura / Scienza .

Con i risultati di questi tre progetti di replica, gli autori hanno utilizzato Google Scholar per verificare se i documenti che non sono stati replicati sono citati significativamente più spesso di quelli che sono stati replicati con successo, sia prima che dopo la pubblicazione dei progetti di replica. Il divario maggiore era nei documenti pubblicati in Natura / Scienza :gli articoli non replicabili sono stati citati 300 volte di più di quelli replicabili.

Quando gli autori hanno preso in considerazione diverse caratteristiche degli studi replicati, come il numero di autori, il tasso di autori maschi, i dettagli dell'esperimento (luogo, lingua e implementazione online) e il campo in cui è stato pubblicato il documento:la relazione tra replicabilità e citazioni è rimasta invariata.

Mostrano anche che l'impatto di tali citazioni cresce nel tempo. I conteggi annuali delle citazioni rivelano un marcato divario tra i documenti che si sono replicati e quelli che non lo hanno fatto. In media, i documenti che non sono stati replicati sono citati 16 volte di più all'anno. Questa lacuna rimane anche dopo la pubblicazione del progetto di replica.

"Sorprendentemente, solo il 12% delle citazioni post-replica di risultati non replicabili riconosce il fallimento della replica, " scrivono gli autori.

L'influenza di un articolo impreciso pubblicato su una rivista prestigiosa può avere ripercussioni per decenni. Per esempio, lo studio pubblicato da Andrew Wakefield su la lancetta nel 1998 ha rivolto contro il morbillo decine di migliaia di genitori in tutto il mondo, parotite e rosolia a causa di un legame implicito tra vaccinazioni e autismo. I risultati errati sono stati ritirati da The Lancet 12 anni dopo, ma le affermazioni che l'autismo sia legato ai vaccini continuano.

Gli autori hanno aggiunto che le riviste possono sentirsi sotto pressione per pubblicare risultati interessanti, e così anche gli accademici. Per esempio, nelle decisioni di promozione, la maggior parte delle istituzioni accademiche usa le citazioni come metrica importante nella decisione se promuovere un membro della facoltà.

Questa potrebbe essere la fonte della "crisi della replica, " scoperto per la prima volta all'inizio degli anni 2010.

"Speriamo che la nostra ricerca incoraggi i lettori a essere cauti se leggono qualcosa di interessante e attraente, " ha detto Serra-Garcia. "Ogni volta che i ricercatori citano un lavoro che è più interessante o è stato citato molto, speriamo che controllino se i dati di replica sono disponibili e cosa suggeriscono questi risultati".

Gneezy ha aggiunto, "Ci teniamo al settore e a produrre ricerca di qualità e vogliamo che sia vero."