Statcheck:quando i bot "correggono" gli accademici Jason Stang/Getty Images

Hai presente quel collega che va sempre alla tua scrivania e ti dice a voce alta che ha trovato un errore nel rapporto che stai consegnando? Da una parte, va bene - non c'è bisogno che il capo ti veda ancora confondere "loro/là". D'altra parte... che dolore.

Negli ultimi mesi, gli scienziati hanno provato le stesse emozioni contrastanti di statcheck, una nuova applicazione che analizza gli studi psicologici alla ricerca di errori, è stato svelato. E proprio come il collega "utile", è il modo di svelare che ha colpito alcuni nervi.

Cominciamo con cosa fa esattamente statcheck. Sam Schwarzkopf, un neuroscienziato dell'University College di Londra che scrive il blog scientifico NeuroNeurotic, lo paragona a un correttore ortografico per le statistiche. "La maggior parte degli errori segnalati da statcheck sono molto probabilmente irrilevanti, " spiega via email. "Quindi è un po' doloroso vedere l'errore, ma in realtà non fa molto male." Un errore di battitura, ad esempio. Ottimo da catturare, ma non terribile.

Però, quando statcheck contrassegna gli errori come "potenzialmente modificando le conclusioni, " è come trovare un errore di battitura che "cambierebbe il significato della frase, " dice Schwarzkopf. Ma ciò non significa che questi errori statistici stiano sicuramente cambiando i risultati, o.

"Scommetto che la maggior parte di questi errori sono probabilmente errori di battitura e in realtà non cambiano le conclusioni, " dice Schwarzkopf. "In molti casi si può dire dai risultati, o i numeri o i grafici, che le conclusioni sono corrette e il test statistico è semplicemente travisato".

Certo, ci saranno casi in cui c'è un errore effettivo, il che significherebbe che c'è stato un errore con un calcolo effettivo, o che i numeri sono fraudolenti. In entrambi i casi, comporterebbe un manuale vero e proprio, controllo antiquato.

Quindi suona alla grande, Giusto? Un modo per gli accademici di controllare la loro ricerca prima della presentazione e aiutare a lavorare verso risultati più accurati. Ma il grande lancio di statcheck è stato un po' più drammatico:50, 000 articoli su PubPeer (una piattaforma online che consente ai ricercatori di condividere e discutere articoli pubblicati) sono stati analizzati utilizzando statcheck, e quindi sono stati contrassegnati con report generati automaticamente, anche se il report diceva solo che non c'erano errori.

Non tutti erano entusiasti di vedere il loro lavoro analizzato e commentato non richiesto, soprattutto in un forum in cui un commento su un documento generalmente indica un errore. Una bandiera che segnala che il documento è stato scansionato da statcheck potrebbe portare a interpretazioni errate, in altre parole.

Ed è importante ricordare che statcheck non è affatto un pezzo perfetto di intelligenza artificiale. "Poiché statcheck è un algoritmo automatizzato, non sarà mai accurato come un controllo manuale, " afferma Michéle Nuijten via e-mail. Nuijten è una studentessa di dottorato presso l'Università di Tilburg nei Paesi Bassi e ha contribuito a creare statcheck. "A causa degli errori commessi da statcheck, devi sempre controllare manualmente eventuali incongruenze statcheck segnalate, prima di trarre conclusioni forti."

Sia Nuijten che Chris Hartgerink (il ricercatore che ha scansionato e riportato sui giornali PubPeer), erano chiari che statcheck aveva bug ed errori. Il manuale di statcheck include anche elenchi dettagliati di ciò che statcheck non può fare.

Il che torna a ciò che sottolinea anche Schwarzkopf:trovare errori nelle statistiche è un ottimo avvertimento, ma non racconta necessariamente la storia dei dati. Il giornale riporta che uno su otto conteneva un errore che Maggio hanno influenzato la conclusione statistica, che potrebbe portare tutti noi al panico che la scienza è sbagliata, su è giù, e nessuno è degno di fiducia. Ma statcheck non ci dice quanti errori in realtà influenzato le conclusioni degli studi. Segnala solo potenziali incongruenze grossolane.

Schwarzkopf avverte che non dobbiamo preoccuparci del fatto che tutti questi errori significano conclusioni false. "La stragrande maggioranza anche di questi errori di uno su otto sono probabilmente irrilevanti perché sono dovuti a errori di battitura piuttosto che a effettivi calcoli errati dei risultati, ", dice. "E 'sicuramente bene individuare tali errori ma non invalidano le interpretazioni dei risultati. L'unico modo per distinguere se un errore è dovuto a un errore di battitura o a un vero errore di calcolo è guardare i dati stessi e riprodurre le statistiche".

In altre parole, dobbiamo assicurarci che gli autori e le pubblicazioni controllino (e poi ricontrollano) le statistiche prima della pubblicazione e, soprattutto, replichino i risultati.

E sebbene alcuni scienziati non fossero entusiasti di vedere il loro lavoro analizzato o segnalato su PubPeer, è giusto dire che i ricercatori troveranno un sollievo utilizzare la tecnologia statcheck per ricontrollare il proprio lavoro, cosa che ora possono fare facilmente su http://statcheck.io.

ORA È INTERESSANTE

È importante notare che statcheck è progettato per funzionare solo per documenti psicologici. Nuijten e i suoi colleghi stanno attualmente lavorando su finanziamenti per espandere statcheck ad altri campi, come le scienze biomediche e l'economia.