Lorena Barba, professore associato di ingegneria meccanica e aerospaziale presso la School of Engineering and Applied Science, ha recentemente presentato un rapporto su mandato del Congresso a legislatori ed esperti federali che guideranno la futura politica nazionale sulla ricerca scientifica e ingegneristica.

Il Dr. Barba è membro del comitato di studio sulla riproducibilità e replicabilità nelle scienze della National Academies of Sciences Engineering and Medicine (NASEM), che è stato formato nel 2017. Il comitato ha tenuto una serie di briefing che hanno portato alla pubblicazione del loro rapporto il 7 maggio con l'Ufficio per la politica scientifica e tecnologica della Casa Bianca, la National Science Foundation (NSF) e altre parti interessate.

Il comitato mirava a identificare eventuali problemi di replicazione e riproducibilità nella ricerca scientifica e ingegneristica. Il rapporto ha formulato raccomandazioni per migliorare il rigore e la trasparenza nella ricerca scientifica e ingegneristica, e individuate ed evidenziate buone pratiche.

GW Today ha recentemente parlato con il Dr. Barba del rapporto:

D:Perché pensi che fosse importante avere un comitato per studiare le questioni relative alla replica e alla riproducibilità della ricerca?

R:Lo studio è stato commissionato dalla National Science Foundation, in risposta al mandato del Congresso. La legge pubblica 114-329 cita "la crescente preoccupazione che alcuni risultati della ricerca pubblicati non possano essere riprodotti o replicati ..." e ordina alla NSF di produrre un rapporto con una valutazione e raccomandazioni in merito. Non so cosa abbia spinto questa direttiva legale, ma so che negli ultimi anni, vari resoconti dei media hanno pubblicizzato importanti fallimenti nel replicare i risultati. Allo stesso tempo, un movimento per la scienza aperta e la riproducibilità è cresciuto in tutti i campi di ricerca. Era quindi opportuno fare uno studio approfondito che esaminasse tutta la scienza.

D:Come sei stato coinvolto in questo comitato?

R:Sono stato nominato da membri anonimi della comunità scientifica, come un'autorità riconosciuta nella riproducibilità. Le Accademie Nazionali mi hanno contattato in merito al comitato di studio a settembre 2017, e dopo un colloquio telefonico e l'invio di ulteriori informazioni sul mio lavoro, Sono stato ufficialmente invitato a novembre 2017. Abbiamo lavorato a questo studio per quasi un anno e mezzo.

D:Quali sono i principali risultati del rapporto?

R:Il risultato complessivo può essere riassunto in quattro parole:nessuna crisi, nessun compiacimento. Il messaggio è duplice:la narrativa della crisi che si è dispiegata negli ultimi anni è per lo più retorica:riproducibilità e replicabilità fanno parte dei modi in cui la scienza si autocorregge, ma non sono l'unica preoccupazione. D'altra parte, sono necessari miglioramenti:maggiore trasparenza dei flussi di lavoro computazionali, codice e dati, Per esempio, e adeguare la struttura degli incentivi per valorizzare la ricerca riproducibile. Altri risultati includono la necessità di una maggiore fluidità con le statistiche, e la formazione di ricercatori all'inizio della carriera su strumenti e metodi computazionali.

D:Perché il comitato ha cercato di definire cosa significano i termini replica e riproducibilità?

R:La mancanza di un utilizzo standard per questi termini ostacola il progresso, spesso non è chiaro cosa intendano i ricercatori e quindi come affrontare le preoccupazioni. Sia la riproducibilità che la replicabilità sono parole usate in relazione alle preoccupazioni generali di un ricercatore o di uno studio che conferma i risultati di uno studio precedentemente pubblicato. A volte le parole sono usate come un termine generico per tutte le preoccupazioni correlate. Ma alcuni campi hanno fatto una distinzione tra i due termini, ed è importante essere d'accordo su quale sia questa distinzione per far avanzare la conversazione. Lo studio definisce la riproducibilità come l'ottenimento di risultati computazionali coerenti utilizzando gli stessi dati di input, passi di calcolo, metodi, codice e condizioni di analisi. Uno studio di replica, d'altra parte, raccoglie nuovi dati e conduce nuove analisi nel perseguimento di confermare i risultati di uno studio precedente.

D:Cosa dovrebbero ricavare da questo rapporto gli studenti interessati a fare ricerca in futuro?

R:Il rapporto sottolinea il ruolo onnipresente e importante dell'informatica nella scienza moderna, e la necessità di una maggiore formazione sui metodi statistici. Gli studenti interessati alla ricerca trarrebbero vantaggio dalla ricerca di formazione in abilità computazionali, inclusi strumenti open source, sviluppo software, gestione dei dati e come automatizzare le attività ripetitive. Condurre la ricerca in modo riproducibile diventa meno impegnativo se si utilizzano gli strumenti giusti.

D:Ora che il rapporto è stato pubblicato, che tipo di ulteriore lavoro pensi che debba essere fatto in relazione a questi problemi?

R:Il rapporto formula una serie di raccomandazioni che implicheranno un lavoro continuato, da diverse persone e istituzioni. L'istruzione e la formazione sia in statistica che in metodi computazionali necessitano di un rafforzamento. Le riviste e le società professionali devono lavorare su iniziative per promuovere la riproducibilità computazionale e la pubblicazione delle repliche. Il rapporto raccomanda inoltre che le agenzie di finanziamento includano la riproducibilità e la replicabilità nei loro criteri di valutazione del merito per le nuove proposte.