Se c'è un principio centrale che unisce tutte le scienze, è probabilmente che gli scienziati dovrebbero avvicinarsi alla scoperta senza pregiudizi e con una sana dose di scetticismo. L'idea è che il modo migliore per raggiungere la verità è lasciare che i fatti conducano dove vogliono, anche se non è dove intendevi andare.

Ma questo può essere più facile a dirsi che a farsi. Gli umani hanno pregiudizi inconsci che sono difficili da scuotere, e alla maggior parte delle persone non piace sbagliare. Negli ultimi anni, gli scienziati hanno scoperto prove preoccupanti che tali pregiudizi possono influenzare l'integrità del processo di ricerca in molti campi.

L'evidenza suggerisce anche che anche quando gli scienziati operano con le migliori intenzioni, errori gravi sono più comuni del previsto perché anche sottili differenze nel modo in cui viene condotta una procedura sperimentale possono annullare i risultati.

Quando pregiudizi ed errori si riversano nella ricerca, altri scienziati che tentano lo stesso esperimento potrebbero scoprire di non poter replicare i risultati del ricercatore originale. Questo ha dato il nome alla questione più ampia:la crisi della replica.

Colin Camerer, Robert Kirby Professor di economia comportamentale del Caltech e presidente del T&C Chen Center for Social and Decision Neuroscience Leadership, funzionario esecutivo per le scienze sociali e direttore del T&C Chen Center for Social and Decision Neuroscience, è stato in prima linea nella ricerca sulla crisi della replica. Ha scritto una serie di studi sull'argomento ed è un ardente sostenitore della riforma. Abbiamo parlato con Camerer di quanto sia grave il problema e cosa si può fare per correggerlo; e il movimento "scienza aperta", che incoraggia la condivisione dei dati, informazione, e materiali tra i ricercatori.

Che cos'è esattamente la crisi della replica?

Ciò che ha istigato tutto questo è la scoperta che molte scoperte, originariamente in medicina ma in seguito in aree della psicologia, in economia, e probabilmente in ogni campo, semplicemente non replicare o riprodurre come vorremmo. Riproducendo, Intendo prendere i dati raccolti da qualcuno per uno studio e fare la stessa analisi solo per vedere se ottieni gli stessi risultati. Le persone possono ottenere differenze sostanziali, Per esempio, se utilizzano statistiche più recenti di quelle disponibili per i ricercatori originali.

I primi studi sulla riproducibilità hanno anche scoperto che a volte è difficile persino convincere le persone a condividere i propri dati in modo tempestivo e chiaro. C'era una norma che la condivisione dei dati è una sorta di bonus, ma non è assolutamente una parte necessaria del lavoro di essere uno scienziato.

Quanto è grande questo problema?

Direi che è abbastanza grande da essere molto preoccupante. Faccio un esempio tratto dalla psicologia sociale, che è stata una delle aree più problematiche. Nella psicologia sociale, c'è un'idea chiamata priming, il che significa che se ti faccio pensare a una cosa inconsciamente, quei pensieri possono attivare associazioni correlate e cambiare il tuo comportamento in qualche modo sorprendente.

Molti studi sul priming sono stati fatti da John Bargh, che è un noto psicologo a Yale. Bargh e i suoi colleghi hanno fatto pensare ai giovani di essere vecchi e poi li hanno fatti sedere a un tavolo e hanno fatto un test. Ma il test era solo un riempitivo, perché i ricercatori non erano interessati ai risultati del test. Erano interessati a come il pensiero di essere vecchi influenzasse il comportamento dei giovani. Quando i giovani hanno finito con il test di riempimento, il team di ricerca ha cronometrato il tempo impiegato per alzarsi dal tavolo e raggiungere un ascensore. Hanno scoperto che le persone che erano state preparate a pensare di essere vecchie camminavano più lentamente rispetto al gruppo di controllo che non aveva ricevuto quel priming.

Stavano cercando di ottenere un risultato drammatico che mostrasse che le associazioni mentali sugli anziani influenzano il comportamento fisico. Il problema era che quando altri cercavano di replicare lo studio, i risultati originali non si sono replicati molto bene. In una replica, è successo qualcosa di anche peggio. Ad alcuni degli assistenti in quell'esperimento è stato detto che il priming avrebbe fatto camminare più lentamente i giovani soggetti, e ad altri è stato detto che il priming li avrebbe fatti camminare più velocemente:questo è ciò che chiamiamo reattanza o effetto boomerang. E ciò che è stato detto agli assistenti di aspettarsi ha influenzato le loro misurazioni di quanto velocemente camminavano i soggetti, anche se stavano cronometrando con i cronometri. Le misure del cronometro degli assistenti erano distorte rispetto a un timer automatico. Cito questo esempio perché è il tipo di studio che riteniamo troppo carino per essere vero. Quando è venuta fuori la mancata replica, c'era un grande clamore su quanta abilità uno sperimentatore ha bisogno di fare una corretta replica.

Di recente hai esplorato questo problema in un paio di articoli. Cosa hai trovato?

Nel nostro primo articolo, abbiamo esaminato l'economia sperimentale, che è qualcosa che è stato sperimentato qui a Caltech. Abbiamo preso 18 articoli da più istituzioni che sono stati pubblicati in due delle principali riviste di economia. Questi sono i documenti che spereresti replicassero al meglio. Quello che abbiamo scoperto è che 14 su 18 si sono replicati abbastanza bene, ma quattro di loro no.

È importante notare che in due di questi quattro casi, abbiamo fatto lievi deviazioni nel modo in cui è stato condotto l'esperimento. Questo è un promemoria che piccoli cambiamenti possono fare una grande differenza nella replica. Per esempio, se stai studiando psicologia politica e faziosità e replichi un articolo del 2010, i risultati oggi potrebbero essere molto diversi perché il clima politico è cambiato. Non è che gli autori del documento originale abbiano commesso un errore, è che il fenomeno nel loro studio è cambiato.

Nel nostro secondo articolo, abbiamo esaminato i documenti di scienze sociali pubblicati tra il 2010 e il 2015 in Scienza e Natura , che sono le riviste di scienze generali di punta. Eravamo interessati a loro perché erano documenti molto citati ed erano considerati molto influenti.

Abbiamo scelto quelli che non sarebbero stati eccessivamente laboriosi da replicare, e abbiamo finito con 21 documenti. Quello che abbiamo scoperto è che solo il 60% circa si replica, e quelli che non si replicavano tendevano a concentrarsi su cose come il priming, che ho citato prima. Il priming si è rivelato il fenomeno meno replicabile. È un peccato perché il concetto di fondo - che pensare a una cosa eleva le associazioni a cose correlate - è senza dubbio vero.

Come accade una cosa del genere?

Una delle cause dei risultati che non si replicano è ciò che chiamiamo "p-hacking". Il valore P è una misura della probabilità statistica che la tua ipotesi sia vera. Se il p-value è basso, è altamente improbabile che un effetto sia un colpo di fortuna dovuto al caso. Nelle scienze sociali e nella medicina, Per esempio, di solito stai verificando se la modifica delle condizioni dell'esperimento cambia il comportamento. Vuoi davvero ottenere un valore p basso perché significa che la condizione che hai modificato ha avuto un effetto. P-hacking è quando continui a provare diverse analisi con i tuoi dati fino a quando non ottieni un valore p basso.

Un buon esempio di p-hacking è l'eliminazione di punti dati che non si adattano alla tua ipotesi - valori anomali - dal tuo set di dati. Esistono metodi statistici per gestire gli outlier, ma a volte le persone si aspettano di vedere una correlazione e non ne trovano molto, Per esempio. Quindi pensano a una ragione plausibile per scartare alcuni punti anomali, perché così facendo possono aumentare la correlazione. Questa pratica può essere abusata, ma allo stesso tempo, a volte ci sono valori anomali che dovrebbero essere scartati. Per esempio, se i soggetti lampeggiano troppo quando stai cercando di misurare la percezione visiva, è ragionevole eliminare i lampeggi o non utilizzare alcuni soggetti.

Un'altra spiegazione è che a volte gli scienziati sono semplicemente aiutati dalla fortuna. Quando qualcun altro prova a replicare quell'esperimento originale ma non ottiene la stessa fortuna, non otterranno gli stessi risultati.

Nelle scienze, dovresti essere imparziale e dire, "Ecco la mia ipotesi, e dimostrerò che è giusto o sbagliato." Quindi, perché le persone modificano i risultati per ottenere la risposta che desiderano?

In cima alla piramide c'è la frode vera e propria e, felicemente, è piuttosto raro. Tipicamente, se fai un'autopsia o un confessionale in caso di frode, trovi uno scienziato che sente una pressione tremenda. A volte è personale—"Volevo solo essere rispettato"—e a volte è concedere soldi o vergognarsi troppo per confessare.

Nei casi fraudolenti, gli scienziati la fanno franca con una piccola quantità di inganni, e si impegnano molto perché stanno davvero scommettendo la loro carriera su di esso. La scoperta che hanno falsificato potrebbe essere ciò che li fa invitare alle conferenze e fa guadagnare loro molti finanziamenti. Allora è troppo imbarazzante fermarsi e confessare quello che hanno fatto fin dall'inizio.

Ci sono anche pratiche scientifiche errate meno eclatanti delle vere e proprie frodi, Giusto?

Sicuro. È lo scienziato che pensa, "So di aver ragione, e anche se questi dati non lo provavano, Sono sicuro che potrei eseguire molti più esperimenti e dimostrarlo. Quindi aiuterò il processo creando la migliore versione dei dati." È come la chirurgia estetica per i dati.

E di nuovo, ci sono incentivi che guidano questo. Spesso nella Grande Scienza e nella Grande Medicina, stai sostenendo molte persone con la tua borsa di studio. Se qualcosa va davvero storto con la tua grande teoria o il tuo metodo rivoluzionario, quelle persone vengono licenziate e le loro carriere vengono danneggiate.

Un'altra forza che contribuisce alla replicabilità debole è che, nella scienza, ci affidiamo in larga misura alle norme d'onore e all'idea che le persone si preoccupano del processo e vogliono arrivare alla verità. C'è un'enorme quantità di fiducia coinvolta. Se ricevo un articolo da recensire da una rivista importante, Non sto necessariamente pensando come un detective della polizia sul fatto che sia fabbricato.

Molte delle frodi sono state scoperte solo perché c'era uno schema su molti giornali diversi. Un articolo era troppo bello per essere vero, e il prossimo era troppo bello per essere vero, e così via. Nessuno è abbastanza bravo da ottenere 10 "troppo belli per essere veri" di fila.

Così, spesso, è una specie di colpo di fortuna. Qualcuno scivola o una persona se ne accorge e poi chiede i dati e scava ancora un po'.

Quali buone pratiche dovrebbero seguire gli scienziati per evitare di cadere in queste trappole?

Ci sono molte cose che possiamo fare:io lo chiamo aggiornamento della riproducibilità. Uno è la preregistrazione, il che significa che prima di raccogliere i tuoi dati, spieghi pubblicamente e pubblichi online esattamente quali dati raccoglierai, perché hai scelto la dimensione del campione, ed esattamente quale analisi eseguirai. Quindi se fai analisi molto diverse e ottieni un buon risultato, le persone possono chiedersi perché ti sei allontanato da ciò che hai preregistrato e se le analisi non pianificate sono state hackerate.

La rubrica più generale si chiama scienza aperta, in cui ti comporti come se praticamente tutto ciò che fai dovrebbe essere disponibile per altre persone tranne che per alcune cose come la privacy del paziente. Ciò include i dati originali, codice, Istruzioni, e materiali sperimentali come registrazioni video—tutto.

La meta-analisi è un altro metodo che penso vedremo sempre di più. È lì che combini i risultati degli studi che cercano tutti di misurare lo stesso effetto generale. Puoi usare queste informazioni per trovare prove di cose come bias di pubblicazione, che è una sorta di pensiero di gruppo. Per esempio, ci sono forti prove sperimentali che dare alle persone piatti più piccoli fa sì che mangino di meno. Quindi forse stai studiando piatti piccoli e grandi, e non trovi alcun effetto sulla dimensione della porzione. Potresti pensare a te stesso, "Probabilmente ho commesso un errore. Non cercherò di pubblicarlo." O potresti dire, "Wow! È davvero interessante. Non ho ottenuto un effetto piatto piccolo. Lo manderò a un diario." E gli editori o gli arbitri dicono, "Probabilmente hai commesso un errore. Non lo pubblicheremo." Questi sono bias di pubblicazione. Possono essere causati da scienziati che nascondono risultati o da riviste che non li pubblicano perché ottengono un risultato non convenzionale.

Se un gruppo di scienziati arriva a credere che qualcosa sia vero e le prove contrarie vengono ignorate o nascoste sotto il tappeto, ciò significa che molte persone stanno cercando di giungere a una conclusione collettiva su qualcosa che non è vero. Il grande danno è che è una colossale perdita di tempo, e può danneggiare la percezione pubblica di quanto sia solida la scienza in generale.

Le persone sono ricettive ai cambiamenti che suggerisci?

Direi che il 90% delle persone è stato molto favorevole. Un'ottima notizia è che l'Open Science Framework è stato supportato dalla Laura and John Arnold Foundation, che è una grande fondazione privata, e da altri donatori. Le fondazioni private sono in una posizione unica per spendere molti soldi in cose come questa. La nostra prima sovvenzione per fare repliche in economia sperimentale è arrivata quando ho incontrato il responsabile del programma della Alfred P. Sloan Foundation. Gli ho detto che stavamo pilotando un grande progetto che replicava esperimenti di economia. Si è emozionato, ed era figurativamente come se avesse tirato fuori un sacco di soldi dalla sua valigetta proprio lì. I miei collaboratori in Svezia e Austria in seguito hanno ottenuto una sovvenzione particolarmente grande di 1,5 milioni di dollari per lavorare sulla replica. Ora che c'è un po' di slancio, le agenzie di finanziamento sono state ragionevolmente generose, che è grandioso.

Un'altra cosa interessante è che mentre i giornali non sono entusiasti di pubblicare una replica di un articolo, a loro piace davvero quello che abbiamo fatto, che è un batch di repliche. Pochi mesi dopo aver lavorato al primo documento di replica in economia sperimentale finanziato da Sloan, Ho ricevuto un'e-mail da un editore di Scienza chi ha detto, "Ho sentito che stai lavorando a questa cosa della replica. Hai pensato a dove pubblicarla?" Questo è un occhiolino, modo timido di dire "Per favore inviacelo" senza che venga fatta alcuna promessa. Alla fine lo pubblicarono.

Quali sfide vedi in futuro?

Penso che la sfida principale sia determinare dove risieda la responsabilità. Fino al 2000 circa, la saggezza convenzionale era, "Nessuno pagherà per la tua replica e nessuno pubblicherà la tua replica. E se non esce bene, ti farai solo un nemico. Non preoccuparti di replicare." Agli studenti è stato spesso detto di non fare la replica perché sarebbe stato un male per la loro carriera. Penso che sia falso, ma è vero che nessuno vincerà un grande premio per aver replicato il lavoro di qualcun altro. Il miglior percorso di carriera nella scienza deriva dal dimostrare che puoi fare qualcosa di originale, importante, e creativo. La replica è esattamente l'opposto. È importante che qualcuno lo faccia, ma non è creativo. È qualcosa che la maggior parte degli scienziati vuole che qualcun altro faccia.

Quello che serve sono le istituzioni per generare costante, repliche in corso, piuttosto che fare affidamento su scienziati che stanno cercando di essere creativi e fare scoperte per farlo. Potrebbero essere alcuni centri che si dedicano solo alla replica. Potrebbero scegliere un articolo su cinque pubblicato in una determinata rivista, replicalo, e pubblica i loro risultati online. Sarebbe come fare un audit, o una sorta di Consumer Reports per la scienza. Penso che emergeranno istituzioni del genere. O forse agenzie di concessione, come il National Institutes of Health o la National Science Foundation, dovrebbe essere responsabile della costruzione di salvaguardie. Potrebbero avere un processo di audit che metta da parte i soldi per fare una replica e controllare il tuo lavoro.

Per me questo è come un hobby. Ora spero che qualche altro gruppo di persone attente, molto appassionate e intelligenti, prenda il testimone e cominci a fare repliche in modo molto regolare.