Una nuova ricerca della Queen Mary University di Londra suggerisce che quando si tratta di valutazioni di ricerca su larga scala come il Research Excellence Framework (REF), le revisioni tra pari sarebbero più convenienti se mirate a pubblicazioni che non compaiono in riviste eccezionali.

La ricerca rivela che le revisioni tra pari e l'analisi bibliometrica dovrebbero essere viste come modalità di valutazione complementari. I ricercatori suggeriscono che indirizzare le revisioni tra pari a pubblicazioni la cui qualità non può essere classificata in modo univoco utilizzando l'analisi bibliometrica sarebbe più efficace per valutare gli standard di ricerca nelle università del Regno Unito e un migliore utilizzo del denaro pubblico.

Valutare la ricerca

I ricercatori hanno utilizzato l'esercizio REF 2014 del Regno Unito per studiare gli attributi delle pubblicazioni con il punteggio più alto (quattro stelle) in Economia ed Econometria. Sebbene i documenti ufficiali contengano punteggi aggregati per ciascuna istituzione, i ricercatori mostrano come questi aggregati possono essere utilizzati per dedurre il punteggio assegnato dai relatori REF a ciascuna pubblicazione.

I risultati dimostrano che questo punteggio risponde al prestigio della rivista misurato dal punteggio di influenza dell'articolo di Thomson Reuters. Sebbene l'uso di questa particolare metrica sia giustificato dalle sue proprietà attraenti, e da ricerche precedenti, tra i ricercatori sono in uso anche diverse misure dell'impatto delle riviste, come il fattore di impatto.

Diverse analisi econometriche confermano il limitato contributo di altri attributi di pubblicazione, come citazioni, al punteggio assegnato dai relatori REF, e che le pubblicazioni nelle principali riviste generaliste e nelle prime cinque riviste di economia ricevono senza ambiguità quattro stelle.

Implicazioni per la valutazione futura

I risultati hanno importanti implicazioni per la progettazione di future valutazioni di ricerca, altro che informare la discussione sul round 2021 di REF che è in corso. L'uso della bibliometria nella valutazione della ricerca è stato oggetto di accesi dibattiti, e il regolamento REF si basa su revisioni di esperti che riflettono le preoccupazioni per l'uso responsabile delle metriche.

I risultati mostrano che almeno in Economia ed Econometria, un indice dell'impatto della rivista approssima accuratamente il giudizio degli esperti, soprattutto per i risultati pubblicati su riviste eccezionali.

Dott. Marco Ovidi, dalla Queen Mary's School of Economics and Finance, chi è coautore dello studio, afferma che la loro "ricerca rivela che, in Economia ed Econometria, la classificazione dei prodotti della ricerca REF 2014 effettuata dagli esperti è molto vicina alla classificazione che si otterrebbe utilizzando un indicatore bibliometrico dell'impatto della rivista."

"Le differenze sono particolarmente piccole per i risultati di ricerca pubblicati su riviste di economia ad alto impatto. I nostri risultati suggeriscono che il costoso processo di revisione tra pari dovrebbe essere focalizzato sulla ricerca di gemme nascoste in riviste con una reputazione relativamente bassa piuttosto che su risultati sopravvalutati in punti vendita con il punteggio più alto. "

"Pensiamo che i nostri risultati dovrebbero essere di interesse per i dipartimenti accademici e i responsabili delle politiche di ricerca come le prossime valutazioni della ricerca, il RIF 2021, è in corso".