Una nuova ricerca cerca di capire cosa guida le decisioni nelle analisi dei dati e il processo attraverso il quale gli accademici testano un'ipotesi confrontando le analisi di diversi ricercatori che hanno testato le stesse ipotesi sullo stesso set di dati. Gli analisti hanno riportato analisi radicalmente diverse e risultati empirici dispersi, Compreso, in alcuni casi, effetti significativi in ​​direzioni opposte tra loro. Le decisioni sulle operazionalizzazioni variabili spiegavano la mancanza di coerenza nei risultati al di là delle scelte statistiche (cioè, quale analisi o covariate utilizzare).

"I nostri risultati illustrano l'importanza delle scelte analitiche e come diversi metodi statistici possono portare a conclusioni diverse, " dice Martin Schweinsberg. "A volte una domanda di ricerca accademica può essere investigata in modi diversi, anche se le risposte derivano dallo stesso set di dati e da analisti senza alcun incentivo a trovare un particolare risultato, e questa ricerca lo evidenzia".

Per condurre la ricerca, Il professor Schweinsberg ha reclutato una folla di analisti da tutto il mondo per testare due ipotesi sugli effetti del genere e dello status professionale degli scienziati sulla partecipazione attiva alle conversazioni di gruppo. Utilizzando il forum accademico online Edge, i ricercatori hanno analizzato i dati di discussione di gruppo di discussioni scientifiche da più di due decenni (1996-2014). Il set di dati conteneva più di 3 milioni di parole da 728 contributori e 150 variabili relative alla conversazione, i suoi collaboratori, o il livello testuale della trascrizione. Quindi, utilizzando la nuova piattaforma DataExplained, sviluppato dai coautori Michael Feldman, Nicola Staub, e Abraham Bernstein, i ricercatori hanno analizzato i dati in R per identificare se esistesse un collegamento tra il genere o lo stato professionale di uno scienziato con i loro livelli di verbosità.

Gli analisti hanno utilizzato vari set di dimensioni del campione, approcci statistici, e covariate, che ha portato a diversi risultati in relazione alle ipotesi. Questo, perciò, ha portato a vari, risultati ancora difendibili dai vari analisti. Utilizzando DataExplained, Il professor Schweinsberg e colleghi sono stati in grado di comprendere con precisione come differissero queste scelte analitiche, nonostante i dati e le ipotesi siano gli stessi. Uno studio qualitativo del codice R utilizzato dagli analisti ha rivelato un modello di processo per la psicologia alla base dell'analisi dei dati.

Il professor Schweinsberg afferma che il loro "studio illustra i vantaggi di pratiche scientifiche trasparenti e aperte. Le scelte analitiche soggettive sono inevitabili, e dovremmo abbracciarli perché una raccolta di diversi background e approcci analitici può rivelare la vera consistenza di un'affermazione empirica".

Questa ricerca mostra il ruolo fondamentale che le decisioni soggettive dei ricercatori svolgono nell'influenzare i risultati empirici riportati. Secondo i ricercatori, questi risultati sottolineano l'importanza dei dati aperti, che è pubblicamente disponibile, controlli sistematici di robustezza nella ricerca accademica, e la massima trasparenza possibile sia sui percorsi analitici intrapresi sia su quelli non intrapresi, al fine di garantire che la ricerca sia il più accurata possibile. Suggeriscono anche umiltà quando comunicano i risultati della ricerca e cautela nell'applicarli al processo decisionale organizzativo.