All'inizio di questo autunno, I ricercatori del Dartmouth College hanno pubblicato uno studio che afferma di collegare i videogiochi violenti all'aggressività nei bambini. La logica di uno studio meta-analitico come questo è che combinando molti studi individuali, gli scienziati possono cercare tendenze o effetti comuni identificati nei lavori precedenti. Soltanto, come ricercatore di psicologia che si è concentrato a lungo su quest'area, Sostengo che questa meta-analisi non abbia fatto nulla del genere. Infatti, l'entità dell'effetto che hanno trovato è più o meno la stessa di quella del consumo di patate sul suicidio di adolescenti. Se qualcosa, suggerisce che i videogiochi non prevedono l'aggressione giovanile.

Questo studio, e ad altri piace, sono sintomatici di un grosso problema all'interno delle scienze sociali:l'eccessiva pubblicità di loschi, risultati di ricerca inaffidabili che hanno poca applicazione nel mondo reale. Spesso tali risultati modellano la percezione pubblica della condizione umana e guidano la politica pubblica, nonostante siano in gran parte spazzatura. Ecco come succede.

Gli ultimi anni hanno visto la psicologia, in particolare, coinvolto in quella che alcuni chiamano una crisi di riproducibilità. Molte scoperte a lungo accarezzate nelle scienze sociali più in generale si sono dimostrate difficili da replicare in condizioni rigorose. Quando uno studio viene eseguito di nuovo, non dà gli stessi risultati di quelli originariamente pubblicati. La pressione a pubblicare risultati positivi e la tendenza dei ricercatori a iniettare i propri pregiudizi nelle analisi intensificano il problema. Gran parte di questa incapacità di replicare può essere affrontata con metodi più trasparenti e rigorosi nelle scienze sociali.

Ma l'eccessiva pubblicità dei risultati deboli è diversa. Non può essere fissato metodologicamente; una soluzione dovrebbe venire da un cambiamento culturale all'interno del campo. Ma gli incentivi per essere sinceri sulle carenze sono pochi, in particolare per un campo come la psicologia, che preoccupa la percezione pubblica.

Un esempio è il test di associazione implicita (IAT). Questa tecnica è più famosa per sondare i pregiudizi razziali inconsci. Data l'attenzione che esso e le teorie basate su di esso hanno ricevuto, si è sviluppata una sorta di industria a domicilio per formare i dipendenti sui loro pregiudizi impliciti e su come superarli. Sfortunatamente, un certo numero di studi suggerisce che lo IAT è inaffidabile e non prevede il comportamento nel mondo reale. Combattere i pregiudizi razziali è elogiativo, ma il considerevole investimento pubblico nello IAT e il concetto di pregiudizi impliciti è probabilmente meno produttivo di quanto pubblicizzato.

Parte del problema è qualcosa che chiamo "morte per comunicato stampa". Questo fenomeno si verifica quando i ricercatori o la loro università, o un'organizzazione di pubblicazione di riviste come l'American Psychological Association, rilascia un comunicato stampa che pubblicizza i risultati di uno studio senza dettagliare i suoi limiti. Le affermazioni sensazionalistiche tendono a ricevere più attenzione da parte delle notizie.

Ad esempio, un ora famigerato laboratorio alimentare alla Cornell ha subito più ritrattazioni dopo che è emerso che hanno torturato i loro dati per ottenere conclusioni favorevoli ai titoli. La loro ricerca ha suggerito che le persone mangiavano di più quando venivano servite porzioni più grandi, la televisione d'azione mostra un aumento del consumo di cibo, e il consumo di verdure dei bambini aumenterebbe se i prodotti venissero rinominati con temi adatti ai bambini come "carote con vista a raggi X". Principalmente, il capo del laboratorio Brian Wansink sembra essere diventato un esperto nel marketing delle scienze sociali, anche se la maggior parte delle conclusioni erano inconsistenti.

Un'altra preoccupazione è un processo che chiamo "riciclaggio della scienza" - la pulizia di sporco, disordinato, scienza inconcludente per il consumo pubblico. Nella mia area di competenza, la meta-analisi di Dartmouth sui videogiochi è un buon esempio. Prove simili a quelle che erano state inserite nella meta-analisi erano disponibili da anni e in realtà hanno costituito la base per cui la maggior parte degli studiosi non collega più i giochi violenti alle aggressioni dei giovani.

La rivista Science ha recentemente discusso di come le meta-analisi possono essere utilizzate in modo improprio per cercare di porre fine prematuramente ai dibattiti scientifici. Le meta-analisi possono essere utili quando illuminano pratiche scientifiche che possono causare effetti spuri, per orientare la ricerca futura. Ma possono appianare artificialmente importanti disaccordi tra gli studi.

Diciamo che ipotizziamo che mangiare mirtilli curi la depressione. Eseguiamo 100 studi per verificare questa ipotesi. Immagina che circa il 25 percento dei nostri esperimenti trovi piccoli collegamenti tra mirtilli e depressione ridotta, mentre l'altro 75% non mostra nulla. La maggior parte delle persone sarebbe d'accordo che questo è un risultato piuttosto scadente per l'ipotesi del mirtillo. La maggior parte delle nostre prove non ha riscontrato alcun miglioramento nella depressione dopo aver mangiato le bacche. Ma, a causa di un capriccio di meta-analisi, combinare tutti e 100 i nostri studi insieme mostrerebbe quello che gli scienziati chiamano un effetto "statisticamente significativo", ovvero qualcosa che è improbabile che accada per caso, anche se la maggior parte dei singoli studi da soli non erano statisticamente significativi.

Unendo insieme anche pochi studi che mostrano un effetto con un gruppo più ampio di studi che non possono finire con un risultato di meta-analisi che sembra statisticamente significativo, anche se i singoli studi variano parecchio. Questi tipi di risultati costituiscono quello che alcuni psicologi hanno chiamato il "fattore crud" della ricerca psicologica:risultati statisticamente significativi che sono rumore, non effetti reali che riflettono qualcosa nel mondo reale. O, mettere senza mezzi termini, le meta-analisi sono un ottimo strumento con cui gli studiosi possono ingannare se stessi.

Le organizzazioni corporative professionali per campi come la psicologia e la pediatria dovrebbero assumersi gran parte della colpa per la diffusione dell'eccessiva pubblicità della ricerca. Tali organizzazioni rilasciano numerosi, spesso profondamente imperfetto, dichiarazioni politiche che strombazzano i risultati della ricerca in un campo. Il pubblico spesso non si rende conto che tali organizzazioni funzionano per commercializzare e promuovere una professione; non sono neutri, osservatori oggettivi della ricerca scientifica – che spesso viene pubblicata, per reddito, nei propri giornali.

Sfortunatamente, tale riciclaggio di scienza può tornare a perseguitare un campo quando affermazioni esagerate si rivelano fuorvianti. Un'eccessiva promozione disonesta delle scienze sociali può far sì che il pubblico e i tribunali diventino più scettici nei suoi confronti. Perché i contribuenti dovrebbero finanziare la ricerca che è spazzatura ipervenduta? Perché i consumatori dei media dovrebbero fidarsi di ciò che la ricerca dice oggi se sono rimasti scottati da ciò che ha detto ieri?

I singoli studiosi e le corporazioni professionali che li rappresentano possono fare molto per risolvere questi problemi riconsiderando standard di prova lassisti, l'overselling di effetti deboli, e l'attuale mancanza di onestà in anticipo sui limiti metodologici. Intanto, il pubblico farà bene a continuare ad applicare una sana dose di pensiero critico alle elevate affermazioni provenienti dai comunicati stampa delle scienze sociali. Chiedi se l'entità dell'effetto è significativamente maggiore rispetto alle patate sul suicidio. Se la risposta è no, è ora di andare avanti.

Questo articolo è stato ripubblicato da The Conversation con una licenza Creative Commons. Leggi l'articolo originale.