Un paziente compila un questionario e un diario del sonno prima di sottoporsi a una polisonnografia in un centro del sonno in Svizzera. Quali sono alcuni pregiudizi di cui gli scienziati devono essere consapevoli quando conducono studi? AMELIE-BENOIST /BSIP/Getty Images aritmia, un ritmo irregolare del cuore, è comune durante e subito dopo un attacco di cuore e può portare alla morte prematura. Ecco perché quando i farmaci antiaritmici sono diventati disponibili all'inizio degli anni '80, sembravano una grande svolta salvavita [fonte:Freedman].
Il problema, anche se, era che sebbene studi su piccola scala mostrassero che i farmaci bloccavano l'aritmia, i farmaci in realtà non hanno salvato vite. Anziché, come hanno dimostrato studi su larga scala, i pazienti che hanno ricevuto tali trattamenti erano un terzo meno probabile che sopravviva. I ricercatori si erano concentrati sull'arresto dell'aritmia come misura dell'efficacia piuttosto che sul problema che stavano cercando di risolvere, che stava prevenendo le morti [fonti:Freedman, Hampton].
Perché i ricercatori hanno sbagliato? Come ha spiegato lo scrittore della rivista Discover David H. Freedman in un articolo del 2010, le conclusioni errate sui farmaci antiaritmici sono un esempio di qualcosa chiamato il effetto lampione . L'effetto prende il nome dal proverbiale ubriacone che spiega di aver perso il portafoglio dall'altra parte della strada, ma lo sta cercando sotto il lampione perché lì la luce è migliore. Allo stesso modo, nella scienza, c'è una tendenza a guardare e dare più peso a fenomeni che sono più facili da misurare, il che a volte può portare a conclusioni errate.
Ma l'effetto lampione è solo uno dei numerosi tipi di pregiudizi che possono infettare gli studi scientifici e portarli fuori strada. Gli scienziati considerano il pregiudizio un problema così grave che negli ultimi anni, è diventato esso stesso oggetto di ricerca, in cui gli studiosi utilizzano l'analisi statistica e altri metodi per capire quanto spesso si verifica e perché.
In questo articolo, esamineremo 10 dei molti tipi di pregiudizi che possono influenzare i risultati degli studi scientifici e delle scienze sociali, a cominciare da una nota.
Contenuti
Il bias di conferma si verifica quando un ricercatore assume l'ipotesi con cui inizia ("la marijuana è benefica/dannosa") e modella la metodologia di studio o i risultati per confermare tale premessa, indipendentemente dal fatto che sia effettivamente giustificato. krisanapong detraphiphat/Getty Images Già nel 1903, pochi anni dopo la scoperta dei raggi X da parte di ricercatori tedeschi, uno scienziato francese di nome René Blondlot ha annunciato di aver scoperto un'altra forma di radiazione precedentemente sconosciuta:i raggi N. Potrebbero essere osservati solo usando la visione periferica, e visto come una corona quando l'elettricità veniva scaricata dai cristalli. Infine, La ricerca di Blondlot è stata confutata da uno scienziato americano, Roberto Legno, che visitò il laboratorio del francese e scoprì che Blondot osservava ancora i raggi N, anche dopo che Wood ha segretamente rimosso il cristallo durante uno degli esperimenti.
Ma dopo, è successo qualcosa di strano. Per anni, altri scienziati francesi hanno continuato a pubblicare articoli che descrivono le loro osservazioni dei raggi N, come se esistessero davvero. Forse per orgoglio nazionalista, Gli scienziati francesi volevano vedere i raggi N, e così hanno fatto [fonti:Lee, Simone].
Quei risultati dei raggi N erano un esempio estremo di una delle ragioni più semplici e ampiamente riconosciute per cui gli studi possono andare storto: bias di conferma . Questo è quando un ricercatore prende l'ipotesi con cui inizia ("la marijuana è benefica/dannosa") e modella la metodologia di studio o l'analisi dei dati in un modo che conferma la premessa originale, indipendentemente dal fatto che sia effettivamente giustificato [fonte:Sarniak]. Anche i laici sono preda di pregiudizi di conferma. Se supportano (o disprezzano) un presidente in carica degli Stati Uniti, ad esempio, tendono a cercare informazioni che confermino il loro punto di vista e ignorano tutto ciò che lo confuta.
Grazie a un bias di campionamento, il Literary Digest predisse erroneamente che Alf Landon (a destra) avrebbe sconfitto Franklin D. Roosevelt (a sinistra) nelle elezioni presidenziali del 1936. Keystone Visualizza azienda/FPG/Archivia foto/Getty Images I ricercatori che hanno fatto meta-analisi della ricerca scientifica hanno scoperto che presto, studi su piccola scala - quelli che finiscono per essere spesso citati in altri lavori - spesso sopravvalutano i loro risultati [fonte:Fanelli, et al.].
Ciò può accadere a causa di bias di campionamento , in cui i ricercatori che conducono piccoli studi basano le loro scoperte su un gruppo che non è necessariamente rappresentativo della popolazione più ampia. Le università spesso usano gli studenti per i loro studi, ma i risultati di questo gruppo non si proiettano necessariamente sulla popolazione più ampia.
È un problema riscontrato sia negli studi medici che nella ricerca nelle scienze sociali. Per esempio, se un ricercatore di scienze politiche che sta studiando gli atteggiamenti sul controllo delle armi fa sondaggi in un'area in cui la maggior parte delle persone è sostenitrice del Secondo Emendamento, ciò distorcerà i risultati in un modo che non riflette necessariamente le opinioni della più ampia popolazione degli Stati Uniti.
Ma il bias di campionamento può verificarsi anche in studi più grandi. Un famoso esempio di bias di campionamento si è verificato durante la campagna presidenziale degli Stati Uniti del 1936, quando Literary Digest ha condotto un sondaggio per posta su 2,4 milioni di persone e ha predetto, erroneamente, che il repubblicano Alf Landon avrebbe facilmente battuto il democratico in carica Franklin Roosevelt. Il problema era che la rivista usava elenchi telefonici, le registrazioni dei conducenti e le iscrizioni ai country club per trovare persone da votare - un metodo che tendeva a raggiungere elettori relativamente benestanti (auto e telefoni erano allora articoli di lusso), piuttosto che i più poveri tra i quali Roosevelt era popolare. I risultati errati hanno accelerato la fine della pubblicazione [fonte:Oxford Math Center].
Puoi avere un bias di selezione se non controlli per tutte le variabili nel tuo studio. Immagini Morsa/Immagini Getty In che modo gli scienziati determinano se un nuovo farmaco curerà o aiuterà una particolare malattia? Di solito con uno studio che coinvolge due gruppi di persone. Ad esempio, se gli scienziati stanno studiando l'efficacia di un nuovo antistaminico su chi soffre di allergie, darebbero il farmaco di prova a un gruppo di pazienti e un placebo (pillola di zucchero) all'altro gruppo, chiamato il gruppo di controllo . Nessuno dei due gruppi dovrebbe sapere se gli è stato somministrato il farmaco e i partecipanti allo studio sono assegnati in modo casuale a ciascun gruppo.
Questo è indicato come a studio randomizzato in doppio cieco di controllo con placebo ed è considerato il gold standard degli studi clinici. "Doppio cieco" si riferisce al fatto che né gli scienziati né i partecipanti sanno quali pazienti allergici sono in quale gruppo fino alla fine dell'esperimento.
Ci sono diversi motivi per farlo, ma uno è da evitare bias di selezione . Supponiamo che tu voglia studiare se le persone che lavorano di notte hanno maggiori probabilità di sviluppare mal di testa. Così, recluti un gruppo di persone che lavorano di notte, e un altro gruppo che lavora durante il giorno, e poi confrontarli. I tuoi risultati mostrano che le persone che lavorano di notte hanno maggiori probabilità di avere le tempie doloranti.
Ma questo non significa necessariamente che il lavoro notturno sia la causa, perché potrebbe essere che le persone che lavorano di notte tendano ad essere più povere, hanno diete più malsane o più stress. Tali fattori potrebbero influenzare i risultati, a meno che tu non possa assicurarti che i due gruppi siano simili in ogni altro modo tranne che per i loro orari [fonti:Institute for Work and Health, CIRT].
In uno studio, un chirurgo della mano potrebbe essere più propenso a scegliere il più giovane, pazienti più sani per sottoporsi a un'operazione e lasciare fuori i pazienti più anziani, che potrebbe distorcere i risultati del successo dell'intervento chirurgico per tutti. Questo è chiamato bias di canalizzazione. Cultura RM Exclusive/KaPe Schmidt/Getty Images bias di canalizzazione si verifica quando la prognosi o il grado di malattia di un paziente influenza il gruppo in cui viene inserito in uno studio. È un problema particolare negli studi medici non randomizzati, quelli in cui i medici selezionano quali pazienti riceveranno il farmaco o la procedura chirurgica da valutare.
Non è difficile capire perché succede, perché i medici, Dopotutto, generalmente vogliono aiutare le persone che trattano, e sono addestrati a valutare i rischi rispetto ai benefici di un trattamento.
Vediamo un ipotetico esempio di uno studio volto a valutare l'efficacia di un determinato intervento chirurgico sulla mano. I chirurghi potrebbero essere più inclini a scegliere giovani, pazienti più sani per ottenere l'operazione, perché hanno minori rischi di complicanze in seguito, e più di una necessità di avere la piena funzionalità della mano.
A sua volta, potrebbero essere meno propensi a eseguirlo su pazienti più anziani che affrontano maggiori rischi postoperatori e non hanno bisogno di avere lo stesso grado di funzionalità della mano perché non funzionano più. Se i ricercatori non stanno attenti, il gruppo che ottiene l'intervento chirurgico nello studio sarà composto da pazienti più giovani, e il gruppo che non lo farà sarà per lo più più vecchio. Ciò potrebbe produrre un risultato molto diverso rispetto a se i due gruppi fossero altrimenti identici [fonte:Pannucci e Wilkins].
Un ricercatore chiede a due donne il loro punto di vista sulla creazione di un servizio sanitario statale in Inghilterra negli anni '40. Le domande sull'ordine che vengono poste possono influenzare le risposte ricevute. Collezione Hulton-Deutsch/CORBIS/Corbis tramite Getty Images L'ordine in cui vengono poste le domande in un sondaggio o in uno studio può influenzare le risposte fornite. Questo perché il cervello umano ha la tendenza a organizzare le informazioni in schemi. Le domande precedenti, in particolare, quelli che precedono una particolare query — possono fornire informazioni che i soggetti utilizzano come contesto nella formulazione delle loro risposte successive, o influenzare i loro pensieri, sentimenti e atteggiamenti. Quell'effetto si chiama adescamento [fonti:Pew, Sarnico].
Pew Research ha fornito questo esempio da un sondaggio del dicembre 2008:"Quando alle persone è stato chiesto 'Tutto sommato, sei soddisfatto o insoddisfatto di come stanno andando le cose oggi in questo paese?' subito dopo che gli è stato chiesto 'Approvi o disapprovi il modo in cui George W. Bush sta gestendo il suo incarico di presidente?'; L'88% si è dichiarato insoddisfatto, rispetto al solo 78 percento senza il contesto della domanda precedente".
Un altro esempio dell'effetto di distorsione dell'ordine delle domande viene dal General Social Survey, un importante studio a lungo termine sugli atteggiamenti americani. Nel 1984, Ai partecipanti al GSS è stato chiesto di identificare le tre qualità più importanti che un bambino deve avere, e dato una carta con un elenco di qualità. Quando "onesto" era in cima alla lista, è stato scelto dal 66 percento degli intervistati. Ma quando si avvicinò alla fine, solo il 48% delle persone lo ha scelto come uno dei primi tre. Un modello simile è stato visto con altre qualità [fonte:Henning].
Il pregiudizio dell'intervistatore potrebbe verificarsi negli studi medici quando l'intervistatore conosce lo stato di salute del soggetto di ricerca prima di interrogarlo. GARO/Getty Images Non solo i ricercatori devono stare attenti a chi scelgono di essere in gruppi negli studi, ma devono anche preoccuparsi di come sollecitano, registrare e interpretare i dati che ottengono da questi soggetti. Pregiudizio dell'intervistatore , come si chiama questo problema, è più un problema negli studi medici quando l'intervistatore conosce lo stato di salute del soggetto di ricerca prima di interrogarlo.
Un articolo di una rivista medica del 2010 su come identificare ed evitare i pregiudizi cita l'esempio ipotetico di uno studio che sta tentando di identificare i fattori di rischio per la malattia di Buerger, una malattia rara in cui le arterie e le vene delle braccia e delle gambe si gonfiano e si infiammano. Se l'intervistatore sa già che un soggetto di ricerca ha la malattia, è probabile che esplori più intensamente i fattori di rischio noti, come fumare. Così, l'intervistatore può chiedere alle persone del gruppo a rischio, "Sei sicuro di non aver mai fumato? Mai? Nemmeno una volta?", pur non sottoponendo i pazienti del gruppo di controllo a questo tipo di domande [fonte:Pannucci e Wilkins].
Un intervistatore può anche causare risultati errati in uno studio dando ai soggetti segnali non verbali quando fanno domande, come con gesti o espressioni facciali, o tono di voce [fonte:Delgado, et al.].
Un uomo aiuta un bambino autistico a dipingere ad Abidjan, Costa d'Avorio. È più probabile che i genitori di bambini con autismo ricordino che il loro bambino è stato immunizzato prima di mostrare segni di autismo e tracciano una connessione, anche se non corretto - un esempio di bias di richiamo SIA KAMBOU/AFP/Getty Images Negli studi in cui le persone vengono interrogate su qualcosa che è accaduto in passato, i loro ricordi possono essere influenzati dalle realtà attuali. Distorsioni della memoria , come è noto questo fenomeno, può essere un grosso problema quando i ricercatori stanno studiando quali fattori potrebbero aver portato a una condizione di salute, e le interviste sono la prima fonte di informazioni. Per esempio, poiché c'è una convinzione diffusa, anche se infondata, che l'autismo sia in qualche modo causato dal vaccino contro morbillo-parotite-rosolia (MMR), i genitori di bambini nello spettro autistico hanno maggiori probabilità di ricordare che il loro bambino è stato immunizzato prima di mostrare segni di autismo, e tracciare una connessione tra i due eventi [fonte:Pannucci e Wilkins].
Allo stesso modo, è più probabile che le madri di bambini con difetti alla nascita ricordino i farmaci che hanno assunto durante la gravidanza rispetto alle madri di bambini pienamente abili. Uno studio ha anche scoperto che i piloti che sapevano di essere stati esposti all'erbicida Agent Orange avevano una maggiore tendenza a ricordare le eruzioni cutanee che avevano sperimentato nell'anno successivo all'esposizione [fonte:Boston College].
La gente vuole essere considerata simpatica, quindi se stai chiedendo informazioni su un argomento controverso, le domande devono essere formulate in modo tale da suggerire che tutte le risposte siano accettabili. asiseeit/Getty Images Questo è un altro pregiudizio che può verificarsi con le indagini sulle scienze sociali. Le persone vogliono essere piacevoli, quindi è più probabile che rispondano affermativamente a una domanda "sì/no" o "d'accordo/non sono d'accordo", in particolare se sono meno istruiti o hanno meno informazioni. Un modo per aggirare questo pregiudizio è chiedere ai partecipanti di scegliere tra due affermazioni ( il formato a scelta forzata ) piuttosto che far sì che siano d'accordo o in disaccordo su una dichiarazione. Le due affermazioni darebbero due punti di vista diversi su un argomento.
E oltre ad essere simpatico, anche gli intervistati vogliono essere visti come simpatici. "La ricerca ha dimostrato che gli intervistati sottovalutano l'uso di alcol e droghe, evasione fiscale e pregiudizi razziali; possono anche sopravvalutare la frequenza in chiesa, contributi di beneficenza e la probabilità che voteranno alle elezioni, " nota Pew Research. Pertanto, le domande devono essere formulate in un modo che dia ai partecipanti un "fuori" per ammettere un comportamento tutt'altro che desiderabile. Così, una domanda sul voto potrebbe essere formulata come:"Nelle elezioni presidenziali del 2012 tra Barack Obama e Mitt Romney, sono successe cose che ti hanno impedito di votare, o per caso hai votato?"
Le riviste prediligono i risultati positivi negli studi, che può ostacolare la pubblicazione di altri tipi di studi. Immagini epossidiche/Getty Un tipo comune di pregiudizio deriva da una realtà scomoda nella cultura scientifica. I ricercatori hanno una continua necessità di pubblicare articoli su riviste, al fine di sostenere la loro reputazione e crescere nel mondo accademico. Quella mentalità "pubblica o perisci" potrebbe esercitare un'influenza sui risultati delle ipotesi, perché come nota un critico, il mondo accademico tende a orientarsi verso valori statisticamente significativi, risultati "positivi" [fonte:van Hilten].
Infatti, le meta-analisi mostrano che è molto più probabile che le riviste pubblichino studi che riportano un risultato positivo statisticamente significativo rispetto a quelli che non lo fanno. bias di pubblicazione è più forte in alcuni campi rispetto ad altri; uno studio del 2010 ha rilevato che i documenti nelle scienze sociali hanno 2,3 volte più probabilità di mostrare risultati positivi rispetto ai documenti nelle scienze fisiche [fonte:Fanelli].
Come Ian Roberts, professore di epidemiologia e sanità pubblica presso la London School of Hygiene and Tropical Medicine, annotato in un saggio del 2015, gli studi clinici che dimostrano che un trattamento funziona hanno molte più probabilità di essere pubblicati rispetto a quelli che dimostrano che non ha alcun beneficio o addirittura dannoso.
Il rovescio della medaglia, gli scienziati possono relegare i risultati negativi o neutri degli studi clinici in un cassetto dei file. nerorosso/Getty Images In alcuni modi, questo è il rovescio della medaglia del bias di pubblicazione. I risultati negativi di uno studio vengono inseriti in un cassetto di file metaforico invece di essere pubblicati. I critici lo vedono come un problema particolare quando si tratta di studi su nuovi farmaci, che in questi giorni spesso sono sponsorizzati dalle aziende che li hanno sviluppati [fonte:Pannucci e Wilkins].
Pregiudizio da raccoglitore di file può essere significativo. Uno studio pubblicato nel New England Journal of Medicine nel 2008 ha confrontato i risultati di studi pubblicati sugli antidepressivi con i dati di un registro di ricerca della Food and Drug Administration statunitense che includeva informazioni non pubblicate. Ha scoperto che il 94 percento degli studi pubblicati ha riferito che i farmaci hanno effetti positivi. Ma quando sono stati inclusi gli studi non pubblicati, il numero con risultati positivi è sceso al 51 percento [fonte:Turner, et al.].
Nel tentativo di ottenere maggiori informazioni di dominio pubblico, Il Congresso nel 2007 ha approvato una legge che richiede ai ricercatori di riportare i risultati di molti studi sull'uomo sui trattamenti sperimentali a ClinicalTrials.gov. Nel 2016, la Food and Drug Administration degli Stati Uniti ha rafforzato le regole, che richiedono un resoconto più approfondito delle sperimentazioni cliniche, compresi farmaci e dispositivi che sono stati studiati ma mai immessi sul mercato [fonte:Piller].
Ma alcuni critici temono che le leggi non avranno molti denti poiché non vi è alcun aumento del personale di controllo.
Questo incarico è stato interessante per me, poiché negli anni ho spesso dovuto scrivere articoli basati sulla ricerca scientifica. Giornalisti, Penso, dobbiamo evitare la tentazione di presumere che l'ultimo studio pubblicato debba essere la parola definitiva su qualsiasi argomento.
