L'impatto della ricerca viene misurato in modi diversi. Però, questi indicatori sono spesso basati su calcoli dubbi, dice Ludo Waltman.

I responsabili delle politiche cercano in vari modi di valutare le prestazioni dei ricercatori e degli istituti di ricerca. Quante volte un ricercatore viene citato dai colleghi del settore? Quanto è grande il suo impatto, come misurato nell'h-index? E come si comporta un'università rispetto ad altre istituzioni in patria e all'estero?

Però, questi indicatori e classifiche sono spesso basati su calcoli dubbi, dice Ludo Waltman nella sua conferenza inaugurale. Questo professore di scienze quantitative sostiene che le classifiche universitarie combinano indicatori incompatibili. "Queste classifiche misurano in parte la dimensione delle università e in parte le loro prestazioni relative in relazione alla loro dimensione. Queste prospettive vengono poi gettate in un'unica pila. Allora nessuno capisce davvero cosa ci dicono esattamente le classifiche". Anche altre classifiche destreggiano le cifre.

Secondo Waltman, il pericolo è che indicatori semplicistici abbiano un effetto negativo sulla politica di ricerca, ad esempio se ricercatori o istituti di ricerca vengono valutati sulla base di questi indicatori. Crede che sia necessario un livello più elevato di alfabetizzazione quantitativa per portare il cambiamento. Una migliore comprensione delle analisi quantitative, così come delle conclusioni che vengono raggiunte da queste analisi, farebbe un mondo di differenza.

Waltman ritiene che la ricerca quantitativa dia troppo valore alla significatività statistica, "Il che significa che i risultati della ricerca sono presentati in modo innaturale, binario, in modo significativo o meno." Inoltre, in questi calcoli, la correlazione viene spesso confusa con la causalità. Si potrebbe ottenere molto da una formazione che aumenti i livelli di alfabetizzazione quantitativa, dice Waltman. "L'uso di metodi basati sui dati nel contesto specifico dello sviluppo delle politiche non sembra ricevere l'attenzione sistematica che merita".

"Dovunque, possibile, la politica di ricerca dovrebbe avvalersi dei risultati della scienza quantitativa, " dice Waltman nella sua conferenza inaugurale. "Ma non è realistico pensare che possiamo fornire chiari, risposte quantitative alle tante domande che esistono. Penso che dovremmo allontanarci dall'idea che possiamo rispondere a questo tipo di domande complesse con un semplice sì o no".