Avvertenza. Non essere così sicuro di poterti fidare di ogni cosiddetto studio scientifico che compare nelle notizie, anche se lo scrittore indossa gli occhiali. shironosov/iStock/Thinkstock Mangia cioccolato, perdere peso! Nel marzo 2015 i risultati di un nuovo studio condotto da ricercatori in Germania hanno fatto scalpore con l'affermazione che il cioccolato potrebbe far parte di un regime dimagrante. Lo studio, condotto da un certo Johannes Bohannon, direttore della ricerca dell'Istituto no-profit per la dieta e la salute, ha dimostrato che l'aggiunta di cioccolato a una dieta a basso contenuto di carboidrati ha effettivamente aumentato la perdita di peso.
L'unico problema era che lo studio era completamente falso. Johannes Bohannon era in realtà un giornalista scientifico di nome John Bohannon. Bohannon ha inventato lo studio per dimostrare quanto poco si impegnano i media nel controllo dei fatti quando si tratta di riferire sulla scienza [fonte:Hiltzik].
Mentre lo "studio" ha fatto colpo sui media scandalistici, pochi o nessun punto vendita rispettabile lo copriva. Forse è perché hanno riconosciuto i segni rivelatori di uno studio fasullo. Scopriamo quali sono.
Contenuti
non farlo, bambino. Non far cadere quella tazza. Non - lo farai assolutamente, non sei tu? Alliance/iStock/Thinkstock Tutti conducono studi. Quando vedi i bambini che lasciano cadere le tazze dai seggioloni più e più volte, sono impegnati in uno degli esperimenti più consequenziali della loro vita. L'oggetto della loro indagine? Gravità.
Non importa quante volte lasciamo cadere le tazze, cadono sempre a terra. Il fatto che questo esperimento possa essere ripetuto all'infinito e da chiunque abbia lo stesso risultato è uno dei principi base di qualsiasi studio. Non importa quanto convincenti possano essere i risultati di uno studio, se non può essere ripetuto dai ricercatori tra pari, ciò significa che non può essere convalidato.
Per evidenziare questo problema, il Center for Open Science ha coordinato 270 ricercatori in un enorme progetto per riprodurre i risultati di 100 studi pubblicati nel campo della psicologia. Nel 2015, dopo anni di lavoro, il Centro ha riferito che più della metà degli studi non poteva essere ripetuta perché le prove raccolte per loro non erano così forti come originariamente affermato.
Uno degli studi che hanno testato, ad esempio, è stato progettato per determinare se gli uomini hanno difficoltà a distinguere i segnali sessuali dalla cordialità. Seguendo la struttura dello studio originale, il Center for Open Science ha mostrato ai soggetti del test una serie di foto di donne che mostravano diverse espressioni facciali.
Mentre lo studio originale ha rilevato che, infatti, gli uomini erano imbecilli nell'inchiodare le stecche, il test di follow-up dello studio non ha potuto replicare quei risultati. Non è chiaro se ciò fosse dovuto a differenze culturali tra il primo e il secondo studio (uno studio è stato condotto nel Regno Unito, l'altro negli USA) o il tempo trascorso tra gli studi [fonte:Firger]. In entrambi i casi, un reperto che non può essere riprodotto non è uno per i secoli.
Jim ha preso l'intera faccenda della ricerca osservativa un po' troppo alla lettera. Immagini daltoniche/Getty Persone molto serie in camice bianco che si piegano pensierose sulle provette:questa è l'immagine che spesso ci viene in mente quando pensiamo a uno studio scientifico. Ma questo è solo un tipo di studio:un esperimento di laboratorio.
Un altro tipo di studio è chiamato "osservazionale". È allora che i ricercatori trovano un gruppo di soggetti di prova, fare loro molte domande, registra le risposte e poi "dati in miniera" i risultati per vedere cosa trovano.
C'era una volta, studi osservazionali hanno suggerito che avere una personalità di "Tipo A" ti espone a un rischio maggiore di avere un infarto. Ma gli studi clinici randomizzati di follow-up non hanno potuto ripetere questi risultati, ed è ora noto che la scoperta originale era completamente falsa. Come è successo?
Gli studi osservazionali possono Certo, essere enormemente utile e illuminante. Ma c'è la possibilità di risultati fuorvianti. Un problema è che puoi ottenere risultati statisticamente significativi per caso circa il 5% delle volte. Quindi, se fai abbastanza domande (e talvolta questi studi possono includere migliaia di domande), i dati potrebbero sembrare rendere qualcosa di importante. Ma alla successiva revisione, o tentativi di ripetere lo studio, i risultati potrebbero non essere gli stessi [fonte:Miller e Young].
Non diciamo loro che lo studio sulla verginità era ancora fasullo. Fusibile/Thinkstock Ultime notizie:un nuovo studio rivela che il modo in cui hai perso la verginità avrà un impatto importante su come sperimenterai il sesso per sempre.
I risultati sorprendenti di strani studi di ricerca sono una caratteristica regolare del ciclo di notizie in questi giorni. Ma se riesci a mettere le mani sul vero studio di ricerca, il design del progetto potrebbe sorprenderti ancora di più dei risultati.
La cosa su quello studio sulla verginità del 2013 è che i suoi soggetti erano estremamente omogenei. Infatti, si scopre, di solito lo sono quando si tratta di studi in psicologia e scienze sociali.
Poiché molti di questi studi sono condotti da accademici, la popolazione campione tipica per tale ricerca è — sorpresa, sorpresa - studenti universitari. Questo li rende WEIRD, acronimo di Western, Istruito e da industrializzato, Paesi ricchi e democratici. In altre parole, non esattamente rappresentativo della società globale nel suo insieme.
A peggiorare le cose, nello studio della verginità, i ricercatori hanno escluso le persone che avevano sperimentato i primi incontri violenti e chiunque avesse sperimentato qualcosa di diverso dal rapporto eterosessuale [fonte:Brookshire].
Quindi la prossima volta che ascolterai le ultime notizie di un'altra sorprendente scoperta sul comportamento e sull'esperienza umana, prendilo con le pinze mentre ti chiedi chi è stato esattamente studiato.
No, starai benissimo, topo! Prendi questa medicina e fai un pisolino! WUNCHANA_SEUBWAI/iStock/Thinkstock Supponiamo che tu stia conducendo una sperimentazione su un nuovo farmaco per aiutare a prevenire l'ictus. Hai 20 topi:10 che ricevono il farmaco e i restanti 10 nel tuo gruppo di controllo. È un piccolo gruppo di studio, davvero piccolo, ma poi il tuo budget è piccolo, e, bene, tutti lo stanno facendo in questo modo in questi giorni.
Sette dei tuoi topi di prova stanno andando molto bene, ma purtroppo tre di loro muoiono di gravi ictus. cosa fai? Semplice. Lasciali fuori dai risultati. Sì, giusto, quando crei grafici e tabelle, basta non menzionare i roditori deceduti. Tutti lo fanno in questo modo in questi giorni.
È successo davvero. In realtà, si scopre che succede davvero tutto il tempo nella ricerca sugli animali. Per fortuna, in questo caso particolare, lo scienziato a cui è stato chiesto di rivedere lo studio non lo ha lasciato passare. I tre topi morti, ha sottolineato, erano elementi di vitale importanza dello studio. Infatti, hanno dimostrato che il nuovo farmaco potrebbe essere dannoso piuttosto che utile.
Quello scienziato, Ulrich Dirnagl, e un collega di nome Malcolm MacLeod hanno lanciato l'allarme sugli standard lassisti trovati in molti studi di ricerca sugli animali [fonte:Couzin-Frankel]. Speriamo che il loro messaggio passi.
Ha appena scoperto che l'International Journal of Overly Large Fignernails non è effettivamente legittimo e che si aspettano che paghi per la pubblicazione. Bart Sadowski/Getty Images Eccoti, un giovane medico che fa decollare la tua carriera quando ricevi un'e-mail da "The Journal of Clinical Case Reports" che ti chiede di inviare alcuni articoli. Come succede, hai alcuni casi interessanti da segnalare, quindi li scrivi e li spedisci. Per la tua gioia, sono accettati. Una bella aggiunta al tuo curriculum.
Poi arriva il conto:il giornale dice che devi loro $ 2, 900! Scioccato, rispondi per dire che non hai mai sentito di essere accusato di pubblicare e non hai intenzione di pagare. Pubblicano comunque i tuoi articoli, offrendo di ridurre la bolletta a $ 2, 600. Dopo un anno di litigi, il giornale finalmente accetta di "perdonare" il tuo cosiddetto debito.
Benvenuti nel nuovo mondo dell'editoria predatoria, una conseguenza inaspettata del movimento di accesso aperto per rendere più ampiamente disponibili le scoperte scientifiche. Jeffrey Beall, un bibliotecario di ricerca, ha tenuto un registro delle pubblicazioni che considera predatorie. Pensa che potrebbero essere fino a 4, 000 di loro là fuori - sarebbe il 25 percento di tutte le riviste ad accesso aperto.
Basti dire che gli editori predatori sono più preoccupati del loro margine di profitto che del rigore scientifico. Se i ricercatori possono pagare, possono essere pubblicati, indipendentemente dalla qualità del loro lavoro. Di conseguenza, il numero di studi discutibili pubblicati si è moltiplicato. A meno che tu non sia un esperto in un determinato campo, potrebbe essere difficile dire quale scienza sia affidabile e quale sia spazzatura [fonte:Kolata].
notoriamente, per andare avanti nel mondo accademico, gli studiosi devono pubblicare o perire. Non c'è da stupirsi che l'editoria predatoria fiorisca in un'atmosfera del genere. Acquirente (e lettore) attenzione!
Fai attenzione alla potente lobby di gomma da masticare. Chissà che tipo di influenza hanno sui ricercatori delle gengive? belchonock/iStock/Thinkstock Un giorno decidi di provare una nuova marca di gomme da masticare, ma poco tempo dopo averlo messo in bocca ti vengono gli alveari. Al pronto soccorso il medico ti dice che gli esami del sangue rivelano un'allergia a qualche ingrediente della nuova gomma da masticare. Ma diciamo che sei stranamente testardo, e diciamo che ti è piaciuta molto quella gomma, pure. Oh, e decidi di visitare altri nove dottori.
Otto su nove di loro sono d'accordo con il primo. Ma un dottore solitario dice di no, non è la gomma, è solo una coincidenza. Infatti, pensa che tu possa essere allergico alla masticazione, o camminare, o camminare e masticare allo stesso tempo. Ti piace la sua risposta, e ti piace il suo ufficio elegante, ma inizi a chiederti come ha pagato per questo.
Quando si cerca di capire se uno studio è fasullo, un po' di buon senso è utile. Se il 99,9 per cento degli esperti in un dato campo dice una cosa e pochi altri non sono d'accordo, dai un'occhiata alla provenienza dei finanziamenti degli scettici. In altre parole, segui i soldi.
Willie Soon è uno dei pochi ricercatori che negano che l'attività umana abbia qualcosa a che fare con il cambiamento climatico. Il fatto che lavori all'Harvard-Smithsonian Center for Astrophysics conferisce un certo prestigio alle sue opinioni. Però, il Centro per l'Astrofisica ha un rapporto di braccio con Harvard, e i ricercatori non hanno stipendio e non ricevono fondi dall'università.
Infatti, si scopre che la maggior parte dei finanziamenti di Soon proviene da fonti come Exxon Mobil e l'American Petroleum Institute, tra gli altri nel settore energetico. In altre parole, le persone che pagano per la ricerca di Soon sono proprio le persone che hanno investito di più nel confutare la responsabilità umana per il cambiamento climatico. Mentre Soon insiste che la fonte del suo finanziamento non ha alcuna influenza sulla sua ricerca, l'ottica non è a suo favore [fonte:Goldberg].
"Ti esaminerò più tardi di persona." mediaphotos/Getty Images Revisione tra pari:è la base di una pubblicazione scientifica affidabile. L'idea è che se uno studio è stato attentamente esaminato e approvato da un altro ricercatore nello stesso campo, allora è abbastanza valido da pubblicare in una rivista rispettata. Ma questa idea vale solo se il sistema di revisione paritaria stesso è affidabile.
Hynung-In Luna, un ricercatore di piante medicinali presso un'università della Corea del Sud, stava avendo fortuna con le recensioni degli studi che stava pubblicando su "The Journal of Enzyme Inhibition and Medicinal Chemistry". A parte alcuni suggerimenti su come migliorare i suoi lavori, sono stati rapidamente approvati. Molto velocemente. Infatti, le revisioni tra pari a volte tornavano all'editore della rivista entro 24 ore dal suo invio.
Crescendo sospettoso, l'editore ha chiesto a Moon cosa stesse succedendo. Il ricercatore ha confessato:quelli veloci, le recensioni di approvazione provenivano nientemeno che da lui stesso. Seguendo la pratica comune, la rivista aveva chiesto a Moon di suggerire alcuni potenziali revisori. Quando lo fece, ha dato loro una combinazione di nomi reali e fittizi con informazioni di contatto false, inclusi gli indirizzi e-mail che sono arrivati nella casella di posta di Moon [fonte:Ferguson et al].
Si scopre che alcuni dei sistemi impostati per la revisione hanno scappatoie come questa, e l'istanza di autovalutazione di Moon non è un'anomalia isolata. Questo ci lascia con la possibilità che alcuni degli studi sottoposti a revisione paritaria di cui sentiamo parlare potrebbero effettivamente essere senza pari.
"Comunque. Quello studio sul cancro ai polmoni probabilmente aveva un basso potere statistico." iStock/Thinkstock Il campo delle neuroscienze è in una fase entusiasmante con una nuova potente tecnologia in grado di analizzare il cervello con sempre maggiore esattezza. Usando le scansioni, ad esempio, una serie di studi diversi ha esaminato la relazione tra salute mentale e volume anormale del cervello. Molti, infatti la maggior parte di loro, trovato una correlazione.
Ma la velocità schiacciante con cui questi studi continuavano a confermarsi a vicenda ha suscitato la curiosità del ricercatore John Ioannidis. Dopo aver analizzato i dati ha scoperto che, presi insieme, tutti questi studi avevano un potere statistico medio di 8. Sembra basso, e questo è. Ma cosa significa?
Il potere statistico di uno studio si riferisce alla dimensione dei campioni utilizzati e quanto grandi o piccoli erano i risultati. Per semplificare enormemente, se studi 10, 000 fumatori e 10, 000 non fumatori e scoprono che il 50 percento dei fumatori ha sviluppato il cancro ai polmoni mentre solo il 5 percento dei non fumatori lo ha fatto, allora il tuo studio ha un potere molto alto. Avevi un enorme campione di popolazione, e anche i risultati sono stati enormi.
Ma se studi 10 fumatori e 10 non fumatori e scopri che due dei fumatori hanno sviluppato il cancro ai polmoni e anche uno dei non fumatori, allora hai uno studio estremamente sottodimensionato. La dimensione del campione è così piccola che la differenza tra i due gruppi è insignificante [fonte:Yong].
Ad essere onesti, la maggior parte degli studi accusati di avere un basso potere non sono così ridicolmente bassi come quell'esempio immaginario. Ma negli ultimi anni, ricercatori preoccupati hanno denunciato la prevalenza di studi sottodimensionati. Il loro messaggio? È ora di accendersi!
Magari aspetta un po' prima di precipitarti a provare l'ultima presunta cura antitumorale propagandata da uno studio nuovo di zecca. Immagini Thinkstock/byte di scorta A giorni alterni sentiamo di un nuovo studio che ha trovato la vitamina X, Y o Z previene il cancro o l'Alzheimer o le malattie autoimmuni, e ci precipitiamo a comprare grandi quantità di roba. Prima di presentare l'ennesimo integratore di tendenza, potrebbe essere saggio sedersi e aspettare un po' per vedere se la ricerca successiva rafforza o sminuisce il suo valore.
I media prosperano sugli ultimi e sui più recenti. Ma quando si tratta di scienza, la novità non è necessariamente una buona cosa. Spesso significa solo che i risultati entusiasmanti di un nuovo sorprendente studio sono troppo nuovi per essere stati ancora smentiti. Ricontrolla tra un paio d'anni e scopri quanti di quei risultati della ricerca headliner hanno resistito alla prova del tempo.
In termini di ricerca, gran parte di ciò che i media riportano sono "risultati iniziali". I primi risultati sono proprio questo, iniziale. Devono essere verificati da più studi per vedere se i risultati possono essere riprodotti. Spesso non possono esserlo, ma è raro che i media riportino risultati di ricerca negativi [fonte:Crowe]. Questo perché non sono mai così popolari come una nuova eccitante scoperta.
Sembra che la Natura avesse ragione. Speriamo che tu abbia degli indumenti ignifughi a portata di mano. Don Arnold/WireImage/Getty Images L'edizione di aprile 2015 di "Natura, " una delle riviste scientifiche più prestigiose e rinomate al mondo, ha sorpreso i suoi lettori con gli straordinari risultati di un nuovo studio. draghi, ha detto, non sono prodotti mitici dell'immaginazione premoderna, ma creature reali che sussistono in una fase dormiente fin dal Medioevo. Una delle scoperte più preoccupanti è stata la prova che queste antiche bestie erano sul punto di svegliarsi.
La data di pubblicazione è l'ovvia soffiata che questo articolo era un elaborato scherzo del primo di aprile. Ma nonostante la natura farsesca del pezzo, indica una caratteristica importante del giornalismo scientifico:alla gente piacciono le belle storie. Gli scienziati lo sanno. Anche ottenere un articolo pubblicato su una rivista scientifica può richiedere la creazione di una "bella storia" per spiegare i risultati. E migliore è la storia, più è probabile che i media mainstream lo coprano [fonte:Figer].
Ma l'indagine scientifica non sempre sfocia in buone storie. Infatti, più spesso che non, non lo fa. La ricerca molto importante è altamente inconcludente. Nella migliore delle ipotesi, potrebbe darci una finestra provvisoria su una possibile verità. Il più delle volte, ci dice poco o niente. Quindi, quando si tratta di scienza, attenti alle belle storie, draghi o no.
Sono cinico come la prossima persona, ma la ricerca richiesta per questo articolo mi ha scioccato più di una volta. Come la maggior parte delle persone, associo la scienza al rigore, quindi ero scoraggiato nell'apprendere qualcosa di scadente, slapdash e lavoro compromesso in corso. Ma suppongo che non dovrei esserlo. Gli scienziati non sono robot che operano in ambienti ermeticamente sigillati. Sono soggetti alla venalità e alle tendenze culturali come chiunque altro. E alla fine ne sono uscito con un rispetto forse ancora maggiore per una modalità di indagine che si autoregola nella misura in cui lo fa la scienza. C'è un sacco di cattiva scienza là fuori, ma le persone che fischiano sono... scienziati!
