Un team di scienziati guidati da un astronomo della Michigan State University ha scoperto che un nuovo processo di valutazione dei progetti di ricerca scientifica proposti è altrettanto efficace, se non di più, del tradizionale metodo di revisione tra pari.

Normalmente, quando un ricercatore presenta una proposta, l'agenzia di finanziamento chiede quindi a un certo numero di ricercatori in quel particolare campo di valutare e formulare raccomandazioni di finanziamento. Un sistema che a volte può essere un po' ingombrante e lento, non proprio una scienza esatta.

"Come in tutte le imprese umane, questo ha dei difetti, " disse Wolfgang Kerzendorf, un assistente professore nei dipartimenti di Fisica e Astronomia della MSU, e matematica computazionale, Scienza e ingegneria.

Dettagliato nella pubblicazione Astronomia della natura , Kerzendorf e colleghi hanno testato un nuovo sistema che distribuisce il carico di lavoro di revisione delle proposte di progetto tra i proponenti, noto come approccio di "revisione tra pari distribuita".

Però, il team lo ha migliorato utilizzando altre due nuove funzionalità:l'utilizzo dell'apprendimento automatico per abbinare i revisori alle proposte e l'inclusione di un meccanismo di feedback sulla revisione.

Essenzialmente, questo processo è costituito da tre diverse funzionalità progettate per migliorare il processo di revisione paritaria.

Primo, quando uno scienziato presenta una proposta di valutazione, gli viene chiesto prima di rivedere molti dei documenti dei loro concorrenti, un modo per ridurre la quantità di documenti che si chiede di rivedere.

"Se abbassi il numero di recensioni che ogni persona deve fare, possono dedicare un po' più di tempo a ciascuna delle proposte, "Ha detto Kerzendorf.

Secondo, utilizzando i computer, l'apprendimento automatico, le agenzie di finanziamento possono confrontare il revisore con proposte di campi in cui sono esperti. Questo processo può eliminare i pregiudizi umani dall'equazione, con conseguente revisione più accurata.

"Essenzialmente esaminiamo i documenti che i potenziali lettori hanno scritto e poi diamo a queste persone proposte che probabilmente sono brave a giudicare, " ha detto Kerzendorf. "Invece di un revisore che auto-riferisce la propria esperienza, il computer fa il lavoro."

E terzo, il team ha introdotto un sistema di feedback in cui la persona che ha presentato la proposta può giudicare se il feedback ricevuto è stato utile. In definitiva, questo potrebbe aiutare la comunità a premiare gli scienziati che forniscono costantemente critiche costruttive.

"Questa parte del processo non è irrilevante, " Kerzendorf ha detto. "Un bene, la recensione costruttiva è un po' un vantaggio, una ricompensa per il lavoro che metti nel rivedere altre proposte."

Per fare l'esperimento, Kerzendorf e il suo team hanno preso in considerazione 172 proposte presentate che richiedevano l'uso dei telescopi dell'Osservatorio europeo meridionale, un osservatorio terrestre di 16 nazioni in Germania.

Le proposte sono state riviste sia nel modo tradizionale sia utilizzando la peer review distribuita. I risultati? Dal punto di vista statistico, era apparentemente indistinguibile

Però, Kerzendorf ha affermato che si tratta di un nuovo esperimento che testa un nuovo approccio alla valutazione della ricerca peer-review, uno che potrebbe fare la differenza nel mondo scientifico.

"Mentre pensiamo in modo molto critico alla scienza, a volte non ci prendiamo il tempo per pensare in modo critico al miglioramento del processo di allocazione delle risorse nella scienza, " ha detto. "Questo è un tentativo di fare questo."