Un nuovo studio condotto dall'Università di Tel Aviv pubblicato il 20 maggio in Natura offre nuove prove che la complessità dei metodi analitici contemporanei nella scienza contribuisce alla variabilità dei risultati della ricerca.

Precedenti studi nel campo della psicologia, la biologia del cancro e l'economia comportamentale hanno rivelato molti fallimenti nel tentativo di riprodurre metodologie e rispecchiare i risultati. I ricercatori della TAU hanno utilizzato un approccio noto come "Molti analisti, " in cui molti ricercatori hanno analizzato lo stesso set di dati per testare la variabilità nei risultati dell'analisi, spiega il co-autore principale dello studio, il dott. Tom Schonberg del Dipartimento di Neurobiologia della Facoltà di scienze della vita George S. Wise della TAU e della Sagol School of Neuroscience della TAU.

"La variabilità dei risultati dimostrata in questo studio è parte integrante del complesso processo di ottenimento di risultati scientifici, e dobbiamo capirlo per sapere come affrontarlo, " aggiunge. "La scienza è condotta da esseri umani, e non c'è modo di sfuggire alla variabilità. Ma dobbiamo riconoscerlo per autocorreggerci e ottenere le risposte più affidabili".

L'analisi di neuroimaging, Anche lo studio di replica e previsione (NARPS) è stato condotto dall'ex dottorato di ricerca del Dr. Schonberg. studente Dr. Rotem Botvinik-Nezer, oggi ricercatore post-dottorato al Dartmouth College, insieme ai co-investigatori Prof. Russel Poldrack dell'Università di Stanford e Prof. Thomas Nichols dell'Università di Oxford.

Globale, 180 ricercatori di 70 team di scienziati in tutto il mondo hanno analizzato lo stesso set di dati di imaging cerebrale di 108 soggetti. Questi soggetti hanno partecipato a un compito che ha testato il loro processo decisionale in merito a scommesse di potenziali guadagni e perdite. Ogni gruppo ha scelto un metodo di analisi distinto, e i diversi metodi portavano a conclusioni diverse.

"La scienza è spesso criticata, " dice il dottor Schonberg. "Ma non è una credenza come una religione, come alcuni hanno sostenuto. Ha regole e un metodo:il metodo scientifico. Cerchiamo costantemente di migliorare questo metodo in un processo di auto-interrogazione. Riteniamo che il nostro studio porti avanti questo processo".

Ai team di ricerca sono stati presentati gli stessi dati - scansioni fMRI di soggetti che svolgono un compito decisionale basato sul valore - e gli è stato detto di testare le stesse nove diverse ipotesi di set.

L'ampio set di dati di neuroimaging è stato raccolto nel corso di un anno presso l'Alfredo Federico Strauss Center for Computational Neuroimaging della TAU da Roni Iwanir, un ex studente della Sagol School MSc del laboratorio di Schonberg. Mentre i partecipanti allo studio erano impegnati nel compito decisionale monetario, Le scansioni fMRI sono state utilizzate per verificare se l'attività di specifiche regioni cerebrali coinvolte nell'elaborazione del valore è cambiata in relazione alla quantità di denaro vinto o perso in una scommessa. Circa 70 team internazionali hanno analizzato in modo indipendente questi set di dati nel corso di tre mesi.

"L'elaborazione che devi eseguire dai dati grezzi a un risultato con fMRI è davvero complicata, " aggiunge il Prof. Poldrack. "Ci sono molte scelte che devi fare in ogni punto del flusso di lavoro di analisi."

Ogni team di ricercatori è arrivato alle proprie conclusioni finali riguardo ai dati, con risultati che variano in modo significativo tra i team in cinque ipotesi su nove.

"Il nostro nuovo studio ha dimostrato un'elevata flessibilità analitica come avviene "in natura, '", afferma il dott. Schonberg. "I ricercatori partecipanti hanno modellato le ipotesi in modo diverso e hanno utilizzato software diversi per l'analisi. Hanno anche usato tecniche e definizioni diverse in diversi aspetti dell'analisi".

Un'altra parte dello studio ha coinvolto esperti del settore e ricercatori dei team di analisi che commerciavano con altri ricercatori in quelli che vengono chiamati "mercati di previsione" su quelli che pensavano sarebbero stati i risultati della ricerca. Questa parte dello studio è stata condotta da economisti ed esperti di finanza comportamentale, che ha fornito l'idea iniziale per lo studio, e ha rivelato un marcato eccesso di ottimismo circa la capacità di replicare i risultati precedenti, anche dai ricercatori che hanno analizzato i dati stessi.

"Mentre i risultati finali riportati variavano sostanzialmente, i risultati dell'analisi della fase precedente hanno effettivamente mostrato un consenso tra la maggior parte dei team di ricerca, " dice il dottor Schonberg. "Questo è molto incoraggiante, ed è stato in effetti un risultato alquanto sorprendente. Nonostante la grande variabilità nei risultati finali riportati, l'analisi sottostante era simile, il che significa che dobbiamo trovare metodi per esprimere questa convergenza.

"Per esempio, lo studio suggerisce che i ricercatori potrebbero eseguire e riportare più analisi con gli stessi dati, per trovare i risultati a cui convergono diversi metodi affidabili."

Il Dr. Schonberg crede che i risultati possano aiutare gli scienziati a far avanzare la loro metodologia e migliorare la qualità delle loro analisi in futuro.

"Vorrei che le nostre scoperte fossero utilizzate per portare avanti la scienza, verso una condivisione ancora maggiore di tutte le informazioni relative allo studio, di trasparenza dei metodi, codici e dati di analisi, " afferma il Dr. Schonberg. Questo è l'unico modo in cui tutti possono testare e "giocare" con i risultati per vedere cosa tiene. Abbiamo visto l'importanza e la grande necessità di condividere i dati nella recente pandemia di COVID-19 per comprendere il corso ottimale di azione.

"Naturalmente, la novità delle scoperte è molto importante per gli scienziati. Ma altrettanto importante è il rigore della nostra metodologia, " conclude il Dr. Schonberg. "Il nostro studio riflette l'ambizione di una vasta comunità di scienziati di spendere migliaia di ore per migliorare le nostre metodologie al fine di trarre le conclusioni giuste e raggiungere risultati affidabili".