Il National Institutes of Health (NIH) ha investito più di 27 miliardi di dollari nella ricerca biomedica attraverso sovvenzioni competitive durante l'anno fiscale 2017. Tali sovvenzioni sono state assegnate in base ai punteggi assegnati da, e conversazione tra, revisori esperti.

Questo processo di revisione tra pari è progettato per determinare le migliori proposte da finanziare ed è una caratteristica fondamentale della distribuzione di dollari per progetti scientifici con un'attenta deliberazione.

Ma le nuove scoperte dei ricercatori dell'Università del Wisconsin-Madison suggeriscono che i revisori non sono in grado di differenziare le grandi proposte da quelle semplicemente buone. In una simulazione dettagliata del processo di revisione tra pari - le registrazioni delle revisioni reali non sono disponibili per lo studio - i ricercatori del Centro per la ricerca sulla salute delle donne dell'UW-Madison e i loro collaboratori hanno scoperto che non c'era accordo tra i diversi revisori che valutavano le stesse proposte.

Il risultato è che, dopo aver eliminato le proposte più deboli, le differenze nel modo in cui i revisori hanno valutato le proposte hanno reso impossibile distinguere le restanti. Lo studio è stato finanziato in parte dal NIH per analizzare e migliorare il modo in cui vengono stanziati miliardi di dollari dall'agenzia.

I risultati sono pubblicati il ​​5 marzo nel Atti dell'Accademia Nazionale delle Scienze . La borsista post-dottorato Elizabeth Pier ha condotto le analisi dei dati raccolti da un gruppo multidisciplinare tra cui Molly Carnes, direttore del Centro per la ricerca sulla salute delle donne, Cecilia Ford, professore emerito di inglese e sociologia, colleghi in psicologia e psicologia dell'educazione presso UW-Madison, e collaboratori della West Chester University in Pennsylvania.

"Come possiamo migliorare il modo in cui le sovvenzioni vengono riviste in modo che ci sia meno soggettività nel finanziamento finale della scienza?" è la domanda al centro di questo lavoro, dice Carnes. "Abbiamo bisogno di più ricerca in questo settore e il NIH sta investendo denaro per indagare su questo processo".

La revisione tra pari inizia con esperti che analizzano e valutano separatamente una serie di proposte. Gruppi di esperti si riuniscono quindi per discutere le proposte e decidere collettivamente quali meritano il finanziamento. Per studiare questo processo, i ricercatori hanno riunito revisori esperti del NIH e li hanno fatti esaminare le proposte reali che erano state finanziate dal NIH. Un lotto aveva ricevuto subito il finanziamento:le proposte eccellenti. L'altro lotto alla fine ha ricevuto finanziamenti dopo essere stato rivisto ed è stato considerato proposte "buone".

Una ricerca pubblicata in precedenza dallo stesso gruppo ha rivelato che le conversazioni che hanno luogo dopo i punteggi iniziali non portano a decisioni di finanziamento migliori, perché amplificano i disaccordi tra i diversi gruppi di revisori.

"La collaborazione può effettivamente peggiorare l'accordo, non meglio, quindi una domanda che ne consegue sarebbe:'Sarebbe meglio che i revisori non si incontrassero?'" dice Pier, che ha ricevuto il suo dottorato in psicologia dell'educazione all'UW-Madison mentre completava il lavoro.

Per rispondere a questa domanda nel nuovo studio, i ricercatori si sono concentrati sulle critiche iniziali dei revisori e hanno identificato il numero e il tipo di punti deboli e punti di forza assegnati a ciascuna proposta, insieme al punteggio assegnato.

"Quando esaminiamo i punti di forza e di debolezza che assegnano ai candidati, quello che abbiamo scoperto è che i revisori sono internamente molto coerenti, " dice Pier. "La cosa che ci ha sorpreso è che anche se le persone sono coerenti internamente, non c'è davvero coerenza nel modo in cui persone diverse traducono il numero di punti deboli in un punteggio".

In media, i ricercatori hanno valutato le stesse proposte in modo così diverso che era come se stessero esaminando proposte completamente diverse. Questo netto disaccordo, e gli effetti polarizzanti della conversazione di gruppo che la ricerca precedente ha dimostrato, ha suggerito ai ricercatori che l'attuale processo di revisione tra pari non è progettato per discriminare tra proposte buone e ottime.

"Non stiamo cercando di suggerire che la revisione tra pari sia imperfetta, ma che potrebbe esserci spazio per essere innovativi per migliorare il processo, "dice Pier.

Un potenziale miglioramento suggerito dal team di ricerca è creare una lotteria modificata. In questo sistema, una revisione iniziale eliminerebbe le proposte più deboli, e i restanti sarebbero stati finanziati in modo casuale. NIH sta anche studiando modi per migliorare l'obiettività e il successo della revisione tra pari.

I ricercatori sottolineano che, con miliardi di dollari in gioco, sono necessarie ulteriori ricerche su questo vitale sistema di finanziamento e su qualsiasi potenziale miglioramento del processo.

"Mi rende orgoglioso di essere uno scienziato, che non solo finanziamo la ricerca dalle cellule alla società, ma che cerchiamo continuamente di migliorare il processo con cui assegniamo questi dollari, "dice Carnes.