I ricercatori sono abituati a essere valutati sulla base di indici come i fattori di impatto delle riviste scientifiche in cui pubblicano articoli e il loro numero di citazioni. Un team di 14 scienziati naturali provenienti da nove paesi si sta ribellando a questa pratica, sostenendo che l'uso ossessivo degli indici sta danneggiando la qualità della scienza.

"Il nostro messaggio è abbastanza chiaro:gli accademici dovrebbero smettere di preoccuparsi troppo degli indici. Invece, dovremmo lavorare di più sulla borsa di studio e sulla qualità della ricerca, ", afferma il professor Colin Chapman del Dipartimento di Antropologia della George Washington University di Washington.

"L'eccessiva dipendenza dagli indici sta distogliendo l'attenzione dalla qualità della scienza. Il sistema funziona perfettamente per ricercatori esperti come Colin Chapman e me, ma i ricercatori più giovani e le loro carriere stanno soffrendo a causa del modo in cui gli indici vengono utilizzati oggi, " aggiunge il professor Nils Chr. Stenseth dell'Università di Oslo.

Gli indici non misurano la qualità

Chapman e Stenseth sono due degli autori dietro un articolo che attira l'attenzione sulla rivista scientifica Atti della Royal Society B , sui "giochi degli accademici" e sulle conseguenze per il futuro del mondo accademico. Uno dei problemi con gli indici è che le persone possono giocare con loro per migliorare i loro punteggi, secondo il nuovo documento.

La base della ribellione è che la ricerca è una professione altamente competitiva in cui la valutazione gioca un ruolo centrale. Quando un team di ricercatori - i ricercatori di solito non lavorano da soli di questi tempi - ha fatto una nuova scoperta, scrivono un articolo accademico dettagliato sul metodo e sui risultati. Il passo successivo è inviare l'articolo a una rivista scientifica, che può accettare o rifiutare la carta.

Gli editori della rivista di solito inviano l'articolo a un piccolo gruppo di esperti scientifici indipendenti. Sulla base delle loro recensioni, gli editori decidono se il lavoro deve essere accettato o rifiutato. I revisori e gli editori possono anche suggerire revisioni prima che il documento venga accettato.

Quando l'articolo scientifico sarà finalmente pubblicato, altri ricercatori in campi correlati potrebbero iniziare a citare il documento nei propri lavori. Un numero elevato di citazioni è spesso percepito come una misura della qualità scientifica.

Il processo non va solo bene

Visto dall'esterno, questo processo sembra a posto. Ma negli ultimi 10 o 15 anni, il processo ha iniziato a disfarsi. La qualità della scienza è diventata meno importante, secondo Chapman, Stente, e i loro coautori. Anziché, l'attenzione generale si concentra troppo su un piccolo insieme di indici facili da misurare:fattori di impatto e indici h individuali, oltre al numero di citazioni.

Ci sono molte riviste scientifiche là fuori, e alcuni di loro sono così prestigiosi che i loro nomi sono noti al grande pubblico. Le riviste Natura , Scienza , e la lancetta sono tra i più famosi. Se un giovane scienziato delle scienze naturali o mediche può pubblicare un articolo su una di queste riviste, la sua carriera può ottenere un enorme impulso.

Le riviste più prestigiose hanno anche fattori di impatto elevati, che sono definiti come numero medio di citazioni per articolo pubblicato nei due anni precedenti. L'h-index di un singolo ricercatore considera i documenti più citati del ricercatore e il numero di citazioni che ha ricevuto.

"I punteggi per questi indici hanno grandi conseguenze. Ad esempio, in alcuni paesi e discipline, la pubblicazione su riviste con fattori di impatto inferiori a 5,0 è ufficialmente considerata priva di valore, " secondo il Atti della Royal Society carta. Gli autori sottolineano inoltre che non è raro sentire che gli unici articoli che contano sono quelli su riviste con un fattore di impatto che è al di sopra di un valore arbitrario. O peggio, che la pubblicazione su riviste di livello inferiore indebolisce i CV.

Anche un difetto può creare citazioni

Un problema generale è che gli indici possono essere manipolati in modi che li rendono quasi inutili come misura dei risultati scientifici o della qualità. Il professor Stenseth faceva parte di un comitato di valutazione per il Consiglio europeo della ricerca circa 10 anni fa, ed è ancora stupito dell'esperienza.

"Abbiamo discusso dell'uso degli indici e presto ci siamo divisi in due gruppi. All'epoca, dovevi fare molto lavoro manuale per calcolare il numero di citazioni. Quelli di noi che non hanno considerato molto importante il numero di citazioni e hanno letto invece gli articoli veri e propri, "racconta il professor Stenseth.

Quello divenne un momento spartiacque per Stenseth, perché i ricercatori scettici sulle citazioni scoprirono presto che alcuni degli articoli più citati erano commenti. Un commento di regola non contiene nuove scoperte, Certo.

"Ma la cosa peggiore è stata che abbiamo scoperto che alcuni articoli erano molto citati perché contenevano un difetto! Molti articoli hanno identificato l'errore nel documento, ma era ancora elencato come una citazione! Questo è uno dei motivi per cui insisto sul fatto che un numero elevato di citazioni non è una prova di eccellente qualità scientifica, "aggiunge Stenseth.

Professor Chapman a Washington, parlando con il professor Stenseth a Oslo via Skype, conferma di aver avuto esperienze simili.

"Questo è il modo in cui funziona il sistema. Osservazioni del genere possono sembrare quasi divertenti, ma sono anche terribili. E triste, "Commenta Chapman.

Indici come misure sostitutive

Gli autori del nuovo Atti della Royal Society carta non sono soli nella loro critica. La Dichiarazione di San Francisco sulla valutazione della ricerca (DORA) è nata da un incontro dell'American Society for Cell Biology nel 2012, e raccomanda che i fattori di impatto della rivista non debbano essere utilizzati come misura surrogata di un singolo articolo di ricerca, valutare il contributo di un singolo scienziato, né nell'assunzione, decisioni di promozione o finanziamento. circa 15, 000 individui e 1, 550 organizzazioni in tutto il mondo hanno firmato questa petizione, ma il cambiamento deve ancora venire.

"Anche se esiste una vasta letteratura che critica questi indici e il loro uso, sono ancora ampiamente utilizzati in modi importanti e determinanti per la carriera. Questo deve finire, "dice Colin Chapman.

La scienza è fondamentale

Colin Chapman e Nils Chr. Stenseth sottolinea che la scienza e l'erudizione sono di primaria importanza in una società moderna.

"Ecco perché siamo entrati in questo business; per scoprire cose nuove. Ma cosa sta succedendo invece, è che continuiamo a essere schiacciati dal sistema. Il sistema dice che non dovremmo preoccuparci di migliorare la nostra scienza, dovremmo invece preoccuparci di aumentare i nostri indici. Questo non è un incentivo per creare una scienza eccellente, "Chapman insiste.

Il documento contiene un elenco dei possibili giochi che gli accademici possono giocare, e potrebbero dover giocare, per migliorare i propri indici.

"Uno dei giochi più comuni è scrivere un documento con una lunga lista di autori, come una sorta di favore. L'idea è che tu possa essere sul mio foglio, anche se non hai dato un vero contributo, quindi forse posso essere sul tuo giornale la prossima volta. Mi gratti la schiena, e gratterò il tuo, "Spiega Chapman.

Un altro gioco è che i ricercatori possono accettare di citare l'un l'altro:"Posso citare il tuo articolo se tu citi il ​​mio". Gli editori hanno persino organizzato "cartelli di citazione" in cui si raccomanda agli autori di citare articoli di altre riviste del cartello.

"Ho inviato un articolo a una rivista di ecologia applicata alcuni anni fa. Il documento è stato accettato, e l'editore ci ha detto che dovremmo citare altri quattro o cinque articoli, tutto da quel diario. Ciò ovviamente aumenta il fattore di impatto delle riviste, perché aumenta le citazioni di articoli in quella rivista. Questo è stato il caso di molte riviste ed è ora considerato una cattiva pratica, "Stenseth spiega.

Colin Chapman e Nils Chr. Stenseth ha ricevuto parecchie reazioni di supporto al loro articolo.

"Uno dei miei colleghi ha scritto un blog, criticandoci per aver scritto qualcosa che potrebbe essere scoraggiante per i giovani scienziati. Ma quello che stavamo veramente cercando di fare, era quello di rendere i giovani ricercatori consapevoli del fatto che questo è un sistema difettoso che dovrebbe essere riparato, "Contro Chapman.

"La mia opinione è che gli indici, e il modo in cui vengono utilizzati, distogliere l'attenzione dalla scienza. In alcuni piccoli campi, che per necessità avrà un indice molto basso, è quasi impossibile ottenere citazioni molto alte anche se la ricerca è ottima e importante, "dice Stente.

"Anziché, l'attenzione è su dove è stato pubblicato il tuo articolo, quante citazioni ha generato, e il fattore di impatto della rivista, " Aggiunge.

Gli autori hanno anche suggerimenti su come migliorare il sistema.

"La risposta breve è che gli accademici dovrebbero smettere di guardare gli indici e tornare a leggere i giornali, " dice Chapman. Ma gli accademici non possono farlo da soli, se i consigli di ricerca e altre agenzie di finanziamento continueranno a utilizzare gli indici come base per le decisioni sui finanziamenti. Un modo semplice per migliorare il sistema è che i consigli di ricerca non dovrebbero chiedere ai ricercatori il numero di citazioni quando presentano una proposta di ricerca.

"Vorremmo vedere cambiamenti nei sistemi di incentivazione, premiare la ricerca di qualità e garantire la trasparenza. La facoltà senior dovrebbe stabilire gli standard etici, pratiche di tutoraggio e criteri di valutazione istituzionale per creare i cambiamenti necessari, " Chapman e Stenseth insistono entrambi.

"Speriamo di innescare una discussione che modellerà il futuro del mondo accademico e lo sposterà in una direzione più positiva. Gli scienziati rappresentano alcune delle menti più creative in grado di affrontare le esigenze della società. È giunto il momento di forgiare il futuro che vogliamo, "concludono i 14 ricercatori che hanno scritto il paper nel Atti della Royal Society .