Fin dagli albori dei social media, c'è stata eccitazione su come le tracce di dati lasciate dagli utenti possano essere sfruttate per lo studio del comportamento umano. Oggi, i ricercatori che una volta erano limitati a sondaggi o esperimenti in ambienti di laboratorio hanno accesso a enormi quantità di dati "reali" dai social media.

Le opportunità di ricerca consentite dai dati dei social media sono innegabili. Però, i ricercatori spesso analizzano questi dati con strumenti che non sono stati progettati per gestire il tipo di grandi rumorosi set di dati osservativi che trovi sui social media.

Abbiamo esplorato i problemi che i ricercatori potrebbero incontrare a causa di questa discrepanza tra dati e metodi.

Quello che abbiamo scoperto è che i metodi e le statistiche comunemente usati per fornire prove di scoperte scientifiche apparentemente significative possono anche sembrare supportare affermazioni senza senso.

Scienza assurda

La motivazione del nostro articolo deriva da una serie di studi di ricerca che presentano deliberatamente risultati scientifici assurdi.

Uno studio di imaging cerebrale sembrava mostrare l'attività neurale di un salmone morto incaricato di identificare le emozioni nelle foto. Un'analisi delle statistiche longitudinali dei registri della sanità pubblica ha suggerito che l'acne, altezza, e il mal di testa è contagioso. E un'analisi del processo decisionale umano apparentemente indica che le persone possono giudicare con precisione la dimensione della popolazione di diverse città classificandole in ordine alfabetico.

Perché un ricercatore dovrebbe fare di tutto per esplorare idee così ridicole? Il valore di questi studi non sta nel presentare un nuovo risultato sostanziale. Nessun ricercatore serio sosterrebbe, Per esempio, che un salmone morto ha una prospettiva sulle emozioni nelle foto.

Piuttosto, i risultati senza senso evidenziano problemi con i metodi utilizzati per raggiungerli. La nostra ricerca esplora se gli stessi problemi possono affliggere studi che utilizzano i dati dei social media. E abbiamo scoperto che in effetti lo fanno.

Risultati positivi e negativi

Quando un ricercatore cerca di rispondere a una domanda di ricerca, il metodo che usano dovrebbe essere in grado di fare due cose:

• rivelare un effetto quando c'è un effetto significativo
• non mostra alcun effetto quando non vi è alcun effetto significativo.

Per esempio, immagina di avere un mal di schiena cronico e di fare un test medico per trovarne la causa. Il test identifica un disco disallineato nella colonna vertebrale. Questa scoperta potrebbe essere importante e informare un piano di trattamento.

Però, se poi scopri che lo stesso test identifica questo disco disallineato in una larga parte della popolazione che non ha mal di schiena cronico, la scoperta diventa molto meno informativa per te.

Il fatto che il test non riesca a identificare un caratteristica distintiva dei casi negativi (nessun mal di schiena) dai casi positivi (mal di schiena) non significa che il disco disallineato nella colonna vertebrale sia inesistente. Questa parte della scoperta è "reale" come qualsiasi altra scoperta. Eppure il fallimento significa che il risultato non è utile:"prova" che è altrettanto probabile che si trovi quando c'è un effetto significativo (in questo caso, mal di schiena) come quando non ce n'è semplicemente non è diagnostico, e, come risultato, tali prove non sono informative.

Contagio XYZ

Usando la stessa logica, abbiamo valutato i metodi comunemente usati per analizzare i dati dei social media, chiamati "test di significatività dell'ipotesi nulla" e "statistiche correlazionali", ponendo una domanda di ricerca assurda.

Gli studi passati e attuali hanno cercato di identificare quali fattori influenzano le decisioni degli utenti di Twitter di ritwittare altri tweet. Questo è interessante sia come finestra sul pensiero umano sia perché la ricondivisione dei post è un meccanismo chiave attraverso il quale i messaggi vengono amplificati o diffusi sui social media.

Quindi abbiamo deciso di analizzare i dati di Twitter utilizzando i metodi standard di cui sopra per vedere se un effetto senza senso che chiamiamo "contagio XYZ" influenza i retweet. Nello specifico, noi abbiamo chiesto, "Il numero di X, Sì, e le Z in un tweet aumentano la probabilità che venga diffuso?"

Dopo aver analizzato sei set di dati contenenti centinaia di migliaia di tweet, la "risposta" che abbiamo trovato è stata sì. Per esempio, in un set di dati di 172, 697 tweet su COVID-19, la presenza di una X, si, o Z in un tweet sembrava aumentare la portata del messaggio di un fattore dell'8%.

Inutile dire, non crediamo alla presenza di Xs, Sì, e Zs è un fattore centrale nel decidere se le persone scelgono di ritwittare un messaggio su Twitter.

Però, come il test medico per diagnosticare il mal di schiena, la nostra scoperta mostra che a volte, i metodi per l'analisi dei dati dei social media possono "rivelare" effetti dove non dovrebbero essercene. Ciò solleva interrogativi su quanto siano realmente significativi e informativi i risultati ottenuti applicando gli attuali metodi delle scienze sociali ai dati dei social media.

Mentre i ricercatori continuano ad analizzare i dati dei social media e identificare i fattori che modellano l'evoluzione dell'opinione pubblica, dirottare la nostra attenzione, o spiegare in altro modo il nostro comportamento, dovremmo pensare in modo critico ai metodi alla base di tali risultati e riconsiderare ciò che possiamo imparare da essi.

Che cos'è una scoperta "significativa"?

Le questioni sollevate nel nostro documento non sono nuove, e ci sono davvero molte pratiche di ricerca che sono state sviluppate per garantire che i risultati siano significativi e robusti.

Per esempio, i ricercatori sono incoraggiati a pre-registrare le loro ipotesi e piani di analisi prima di iniziare uno studio per prevenire una sorta di cherry-picking dei dati chiamato "p-hacking". Un'altra pratica utile consiste nel verificare se i risultati sono stabili dopo aver rimosso i valori anomali e aver controllato le covariate. Importanti sono anche gli studi di replicazione, che valutano se i risultati ottenuti in un esperimento possono essere ritrovati quando l'esperimento viene ripetuto in condizioni simili.

Queste pratiche sono importanti, ma da soli non sono sufficienti per affrontare il problema che identifichiamo. Mentre è necessario sviluppare pratiche di ricerca standardizzate, la comunità di ricerca deve prima pensare in modo critico a ciò che rende significativa una scoperta nei dati dei social media.

Questo articolo è stato ripubblicato da The Conversation con una licenza Creative Commons. Leggi l'articolo originale.