All'inizio di quest'anno, Il medico e microbiologo francese Didier Raoult ha suscitato scalpore nei media per la sua controversa promozione dell'idrossiclorochina per il trattamento del COVID-19. Il ricercatore ha a lungo indicato il suo crescente elenco di pubblicazioni e l'elevato numero di citazioni come indicazione del suo contributo alla scienza, il tutto riassunto nel suo "h-index".

La controversia sulla sua recente ricerca offre l'opportunità di esaminare i punti deboli dell'h-index, una metrica che mira a quantificare la produttività e l'impatto di un ricercatore, utilizzato da molte organizzazioni per valutare i ricercatori per promozioni o finanziamento di progetti di ricerca.

Inventato nel 2005 dal fisico americano John Hirsch, l'indice di Hirsch o indice h, è un riferimento essenziale per molti ricercatori e manager del mondo accademico. È particolarmente promosso e utilizzato nelle scienze biomediche, un campo in cui l'enorme numero di pubblicazioni rende quasi impossibile qualsiasi seria valutazione qualitativa del lavoro dei ricercatori. Questo presunto indicatore di qualità è diventato uno specchio davanti al quale i ricercatori si ammirano o sogghignano del pietoso h-index dei loro colleghi e rivali.

Sebbene gli esperti di bibliometria, una branca delle biblioteche e delle scienze dell'informazione che utilizza metodi statistici per analizzare le pubblicazioni, abbiano rapidamente evidenziato la natura dubbia di questo indicatore composito, la maggior parte dei ricercatori non sembra sempre capire che le sue proprietà lo rendono un indice tutt'altro che valido per valutare seriamente ed eticamente la qualità o l'impatto scientifico delle pubblicazioni.

I promotori dell'h-index commettono un errore elementare di logica. Affermano che poiché i vincitori del premio Nobel hanno generalmente un alto indice h, la misura è un valido indicatore della qualità individuale dei ricercatori. Però, se un alto h-index può effettivamente essere associato a un vincitore del premio Nobel, questo non prova in alcun modo che un basso h-index sia necessariamente associato a un ricercatore di scarsa reputazione.

Infatti, un indice h apparentemente basso può nascondere un alto impatto scientifico, almeno se si accetta che la consueta unità di misura della visibilità scientifica si riflette nel numero di citazioni ricevute.

Limiti dell'h-index

Definito come il numero di articoli n da un autore che hanno ricevuto ciascuno almeno n citazioni, l'h-index è limitato dal numero totale di articoli pubblicati. Ad esempio, se una persona ha 20 articoli citati 100 volte ciascuno, il suo h-index è 20, proprio come una persona che ha anche 20 articoli, ma ciascuno citato solo 20 volte. Ma nessun ricercatore serio direbbe che i due sono uguali perché il loro h-index è lo stesso.

La cosa più ironica nella storia dell'h-index è che il suo inventore ha voluto contrastare l'affermazione secondo cui il numero di articoli pubblicati rappresentava l'impatto di un ricercatore. Così, ha incluso il numero di citazioni ricevute dagli articoli.

Ma si scopre che l'h-index di un autore è fortemente correlato (fino a circa 0,9) con il suo numero totale di pubblicazioni. In altre parole, è il numero di pubblicazioni che guida l'indice più del numero di citazioni, un indicatore che resta il miglior indicatore della visibilità delle pubblicazioni scientifiche.

Tutto questo è ben noto agli esperti di bibliometria, ma forse meno ai ricercatori, manager e giornalisti che si lasciano impressionare dagli scienziati che sfoggiano il loro h-index.

Raoult contro Einstein

In una recente inchiesta sulle attività di ricerca di Raoult da parte del quotidiano francese Mediapart , un ricercatore che era stato membro del comitato di valutazione del laboratorio di Raoult ha dichiarato:"Quello che l'ha colpita è stata l'ossessione di Didier Raoult per le sue pubblicazioni. Pochi minuti prima che iniziasse la valutazione della sua unità, la prima cosa che le mostrò sul suo computer fu il suo h-index." Raoult aveva anche detto in Le Point rivista nel 2015 che "era necessario contare il numero e l'impatto delle pubblicazioni dei ricercatori per valutare la qualità del loro lavoro".

Quindi diamo un'occhiata all'h-index di Raoult e vediamo come si confronta con, dire, quella di un ricercatore considerato il più grande scienziato del secolo scorso:Albert Einstein.

Nel database Web of Science, Raoult ne ha 2, 053 articoli pubblicati tra il 1979 e il 2018, avendo ricevuto un totale di 72, 847 citazioni. Il suo h-index calcolato da questi due numeri è 120. Sappiamo, però, che il valore di questo indice può essere gonfiato artificialmente attraverso le autocitazioni dell'autore, quando un autore cita i suoi articoli precedenti. Il database indica che tra le citazioni totali attribuite agli articoli co-autori di Raoult, 18, 145 provengono da articoli di cui è coautore. Queste autocitazioni ammontano in totale al 25 per cento. Sottraendo questi, L'h-index di Raoult scende del 13% a un valore di 104.

Ora, esaminiamo il caso di Einstein, che ha 147 articoli elencati nel database Web of Science tra il 1901 e il 1955, l'anno della sua morte. Per i suoi 147 articoli, Einstein ha ricevuto 1, 564 citazioni durante la sua vita. Di questo numero totale di citazioni, solo 27, o un misero 1,7 percento, sono autocitazioni. Ora, se aggiungiamo le citazioni fatte ai suoi articoli dopo la sua morte, Einstein ha ricevuto un totale di 28, 404 citazioni tra il 1901 e il 2019, che gli fa guadagnare un h-index di 56.

Se dobbiamo fare affidamento sulla cosiddetta misurazione "oggettiva" fornita dall'h-index, siamo quindi costretti a concludere che il lavoro di Raoult ha il doppio dell'impatto scientifico di quello di Einstein, il padre del fotone, relatività ristretta e generale, la condensazione di Bose-Einstein e del fenomeno dell'emissione stimolata all'origine dei laser.

O forse è più semplice (e migliore) concludere, come già suggerito, che questo indicatore è falso?

Da notare la significativa differenza nel numero di citazioni totali ricevute da ciascuno di questi ricercatori nel corso della propria carriera. Ovviamente sono stati attivi in ​​tempi molto diversi, e la dimensione delle comunità scientifiche, e quindi il numero di potenziali autori citati, sono notevolmente cresciuti nell'ultimo mezzo secolo.

Devono essere prese in considerazione anche le differenze disciplinari e i modelli di collaborazione. Per esempio, la fisica teorica ha molti meno contributori della microbiologia, e il numero di coautori per articolo è inferiore, che influenza la misura della produttività e dell'impatto dei ricercatori.

Finalmente, è importante notare che l'affermazione:"L'h-index della persona P è X, "non ha significato, perché il valore dell'indice dipende dal contenuto del database utilizzato per il suo calcolo. Si dovrebbe piuttosto dire:"L'h-index della persona P è X, nel database Z." Quindi, secondo il database Web of Science, che contiene solo riviste considerate serie e abbastanza visibili in campo scientifico, l'h-index di Raoult è 120. D'altra parte, nel database gratuito e quindi facilmente accessibile di Google Scholar, il suo h-index, quello più ripetuto dai media, arriva fino a 179.

Feticismo dei numeri

Molte comunità scientifiche adorano l'h-index e questo feticismo può avere conseguenze dannose per la ricerca scientifica. Francia, ad esempio, utilizza un Système d'interrogation, de gestion et d'analyse des Publications scientifiques per concedere fondi di ricerca ai propri laboratori di scienze biomediche. Si basa sul numero di articoli che pubblicano nelle cosiddette riviste ad alto impatto. Come riportato dal quotidiano Le Parisien , il ritmo frenetico delle pubblicazioni di Raoult consente al suo istituto di origine di guadagnare tra 3, 600 e 14, 400 euro all'anno per ogni articolo pubblicato dal suo team.

Il buon senso dovrebbe insegnarci a diffidare degli indicatori semplicistici e unidimensionali. Rallentare il ritmo esasperante delle pubblicazioni scientifiche porterebbe sicuramente i ricercatori a perdere interesse per l'h-index. Ma ancora più importante, abbandonarlo contribuirebbe a produrre articoli scientifici che saranno meno numerosi, ma sicuramente più robusto.

Questo articolo è stato ripubblicato da The Conversation con una licenza Creative Commons. Leggi l'articolo originale.