Di fronte alle gravi preoccupazioni per la disinformazione, le reti di social media e le organizzazioni di notizie spesso impiegano fact-checker per distinguere il vero dal falso. Ma i fact-checker possono valutare solo una piccola parte delle storie che circolano online.

Un nuovo studio dei ricercatori del MIT suggerisce un approccio alternativo:i giudizi di accuratezza forniti dal crowdsourcing da gruppi di lettori normali possono essere virtualmente efficaci quanto il lavoro dei fact-checker professionisti.

"Un problema con il fact-checking è che ci sono troppi contenuti che i fact-checker professionisti possono coprire, soprattutto in un lasso di tempo ragionevole, "dice Jennifer Allen, un dottorato di ricerca studente presso la Sloan School of Management del MIT e coautore di un articolo appena pubblicato che descrive in dettaglio lo studio.

Ma lo studio attuale, esaminando oltre 200 notizie che gli algoritmi di Facebook avevano segnalato per un ulteriore esame, potrebbe aver trovato un modo per affrontare quel problema, utilizzando relativamente piccoli, gruppi politicamente equilibrati di lettori laici per valutare i titoli e guidare le frasi delle notizie.

"Lo abbiamo trovato incoraggiante, " dice Allen. "La valutazione media di una folla di 10 o 15 persone era correlata tanto con i giudizi dei fact-checker quanto i fact-checker correlavano l'uno con l'altro. Questo aiuta con il problema della scalabilità perché questi valutatori erano persone normali senza una formazione sul controllo dei fatti, e si limitano a leggere i titoli e a pronunciare frasi senza perdere tempo a fare alcuna ricerca".

Ciò significa che il metodo di crowdsourcing potrebbe essere distribuito ampiamente ea buon mercato. Lo studio stima che il costo per far sì che i lettori valutino le notizie in questo modo è di circa $ 0,90 per storia.

"Non c'è niente che risolva il problema delle notizie false online, "dice David Rand, un professore al MIT Sloan e co-autore senior dello studio. "Ma stiamo lavorando per aggiungere approcci promettenti al kit di strumenti anti-disinformazione".

La carta, "Aumentare il controllo dei fatti usando la saggezza delle folle, " viene pubblicato oggi in Progressi scientifici . I coautori sono Allen; Antonio A. Arechar, un ricercatore presso il MIT Human Cooperation Lab; Gordon Pennycook, un assistente professore di scienze comportamentali presso l'Università di Regina's Hill/Levene Schools of Business; e Rand, chi è Erwin H. Schell Professor e professore di scienze manageriali e scienze del cervello e cognitive al MIT, e direttore dell'Applied Cooperation Lab del MIT.

Una massa critica di lettori

Per condurre lo studio, i ricercatori hanno utilizzato 207 articoli di notizie che un algoritmo interno di Facebook ha identificato come bisognosi di verifica dei fatti, o perché c'era motivo di ritenere che fossero problematici o semplicemente perché erano ampiamente condivisi o riguardavano argomenti importanti come la salute. L'esperimento ha implementato 1, 128 residenti negli Stati Uniti che utilizzano la piattaforma Mechanical Turk di Amazon.

A quei partecipanti è stato dato il titolo e la frase principale di 20 notizie e sono state poste sette domande:quanto la storia fosse "accurata, " "vero, " "affidabile, " "affidabile, " "obbiettivo, " "imparziale, " e "descrivere un evento realmente accaduto" per generare un punteggio di accuratezza complessivo su ciascuna notizia.

Allo stesso tempo, a tre fact-checker professionisti sono state date tutte le 207 storie – è stato chiesto loro di valutare le storie dopo averle ricercate. In linea con altri studi sul fact-checking, sebbene le valutazioni dei fact-checker fossero altamente correlate tra loro, il loro accordo era tutt'altro che perfetto. In circa il 49% dei casi, tutti e tre i fact-checker hanno concordato sul verdetto appropriato sulla fatticità di una storia; circa il 42 percento delle volte, due dei tre fact-checker hanno concordato; e circa il 9% delle volte, i tre fact-checker avevano valutazioni diverse.

intrigante, quando i lettori abituali reclutati per lo studio sono stati suddivisi in gruppi con lo stesso numero di Democratici e Repubblicani, le loro valutazioni medie erano altamente correlate con le valutazioni dei verificatori di fatti professionali e con almeno un numero di lettori coinvolti a due cifre, le valutazioni della folla erano correlate con i fact-checker tanto quanto i fact-checker tra loro.

"Questi lettori non sono stati addestrati al fact-checking, e stavano solo leggendo i titoli e le frasi di piombo, e anche così sono stati in grado di eguagliare le prestazioni dei fact-checker, "dice Allen.

Sebbene inizialmente possa sembrare sorprendente che una folla di 12-20 lettori possa eguagliare le prestazioni dei fact-checker professionisti, questo è un altro esempio di un fenomeno classico:la saggezza delle folle. In una vasta gamma di applicazioni, è stato riscontrato che gruppi di laici eguagliano o superano le prestazioni dei giudizi degli esperti. L'attuale studio mostra che ciò può verificarsi anche nel contesto altamente polarizzante dell'identificazione della disinformazione.

I partecipanti all'esperimento hanno anche svolto un test di conoscenza politica e un test della loro tendenza a pensare in modo analitico. Globale, le valutazioni delle persone che erano meglio informate sulle questioni civiche e impegnate in un pensiero più analitico erano più strettamente allineate con i fact-checker.

"Le persone che si sono impegnate in più ragionamenti ed erano più informate concordavano di più con i fact-checker, " Rand dice. "E questo era vero indipendentemente dal fatto che fossero democratici o repubblicani".

Meccanismi di partecipazione

Gli studiosi affermano che la scoperta potrebbe essere applicata in molti modi e notano che alcuni colossi dei social media stanno attivamente cercando di far funzionare il crowdsourcing. Facebook ha un programma, chiamato Community Review, dove vengono assunti laici per valutare il contenuto delle notizie; Twitter ha il suo progetto, Osservare gli uccelli, sollecitare l'input del lettore sulla veridicità dei tweet. La saggezza delle folle può essere utilizzata sia per aiutare ad applicare etichette rivolte al pubblico ai contenuti, o per informare gli algoritmi di ranking e quali contenuti vengono mostrati alle persone in primo luogo.

Per essere sicuro, notano gli autori, qualsiasi organizzazione che utilizza il crowdsourcing deve trovare un buon meccanismo per la partecipazione dei lettori. Se la partecipazione è aperta a tutti, è possibile che il processo di crowdsourcing possa essere ingiustamente influenzato dai partigiani.

"Non l'abbiamo ancora testato in un ambiente in cui chiunque può partecipare, " osserva Allen. "Le piattaforme non devono necessariamente aspettarsi che altre strategie di crowdsourcing producano risultati altrettanto positivi".

D'altra parte, Rand dice, le organizzazioni di notizie e social media dovrebbero trovare il modo per ottenere un gruppo abbastanza ampio di persone che valutano attivamente le notizie, per far funzionare il crowdsourcing.

"La maggior parte delle persone non si preoccupa della politica e si preoccupa abbastanza da cercare di influenzare le cose, "Dice Rand. "Ma la preoccupazione è che se lasci che le persone valutino i contenuti che desiderano, allora le uniche persone che lo faranno saranno quelle che vorranno ingannare il sistema. Ancora, per me, una preoccupazione più grande dell'essere sommersi dai fanatici è il problema che nessuno lo farebbe. È un classico problema di beni pubblici:la società in generale trae vantaggio dalle persone che identificano la disinformazione, ma perché gli utenti dovrebbero preoccuparsi di investire tempo e sforzi per dare valutazioni?"