Wikipedia ha consentito su larga scala, collaborazione aperta sulla più grande risorsa di riferimento generale di Internet. Ma, come in molti progetti di scrittura collaborativa, la creazione del contenuto può essere un argomento controverso.

Spesso, più editori di Wikipedia non saranno d'accordo su alcune modifiche ad articoli o politiche. Uno dei modi principali per risolvere ufficialmente tali controversie è il processo di richiesta di commento (RfC). I redattori litigiosi pubblicheranno la loro deliberazione su un forum, dove altri editori di Wikipedia interverranno e un editore neutrale prenderà una decisione finale.

Idealmente, questo dovrebbe risolvere tutti i problemi. Ma un nuovo studio condotto da ricercatori del MIT rileva che fattori debilitanti, come eccessivi litigi e argomentazioni mal formulate, hanno portato a circa un terzo delle RfC irrisolte.

Per lo studio, i ricercatori hanno compilato e analizzato il primo set di dati completo di conversazioni RfC, catturato in un periodo di otto anni, e condotto interviste con editori che spesso chiudono RfC, per capire perché non trovano una soluzione. Hanno anche sviluppato un modello di apprendimento automatico che sfrutta quel set di dati per prevedere quando le RfC potrebbero diventare obsolete. E, raccomandano strumenti digitali che potrebbero rendere più efficaci la deliberazione e la risoluzione.

"È stato sorprendente vedere che un terzo delle discussioni non era chiuso, " dice Amy X. Zhang, un dottorando nel Computer Science and Artificial Intelligence Laboratory (CSAIL) del MIT e coautore dell'articolo, che viene presentato alla conferenza ACM di questa settimana sul lavoro cooperativo supportato dal computer e sul social computing. "Su Wikipedia, tutti sono volontari. Le persone si stanno impegnando, e hanno interesse ... e gli editori potrebbero aspettare che qualcuno chiuda per poter tornare all'editing. Sappiamo, guardando attraverso le discussioni, il compito di leggere e risolvere una grande deliberazione è difficile, soprattutto con avanti e indietro e polemiche. [Speriamo di] aiutare quella persona a fare quel lavoro".

I coautori del documento sono:la prima autrice Jane Im, uno studente laureato presso la School of Information dell'Università del Michigan; Christopher J. Schilling della Wikimedia Foundation; e David Karger, professore di informatica e ricercatore CSAIL.

(Non) trovare la chiusura

Wikipedia offre diversi canali per risolvere controversie editoriali, che coinvolgono due editori che risolvono i loro problemi, sottoporre le idee a un voto a maggioranza semplice della comunità, o portando il dibattito a un panel di moderatori. Alcune precedenti ricerche su Wikipedia hanno approfondito quei canali e "guerre di modifica" avanti e indietro tra i contributori. "Ma gli RfC sono interessanti, perché c'è molto meno di una mentalità di voto, " Zhang dice. "Con altri processi, alla fine della giornata voterai e vedrai cosa succede. [I partecipanti a RfC] votano a volte, ma si tratta più di trovare un consenso. Ciò che è importante è ciò che sta realmente accadendo in una discussione".

Per presentare una RfC, un editore redige una proposta di modello, sulla base di una controversia sui contenuti che non è stata risolta nella pagina "discussione" di base di un articolo, e invita commenti da parte della comunità più ampia. Le proposte spaziano, da piccoli disaccordi sulle informazioni di base di una celebrità alle modifiche alle politiche di Wikipedia. Qualsiasi editore può avviare una RfC e qualsiasi editor, di solito, quelli più esperti, che non hanno partecipato alla discussione ed è considerato neutrale, può chiudere una discussione. Dopo 30 giorni, un bot rimuove automaticamente il modello RfC, con o senza risoluzione. Le RfC possono chiudersi formalmente con una dichiarazione riassuntiva del più vicino, in modo informale a causa del consenso schiacciante dei partecipanti, o essere lasciato stantio, significato rimosso senza risoluzione.

Per il loro studio, i ricercatori hanno compilato un database composto da circa 7, 000 conversazioni RfC dalla Wikipedia in lingua inglese dal 2011 al 2017, che includeva dichiarazioni di chiusura, informazioni sull'account dell'autore, e struttura di risposta generale. Hanno anche condotto interviste con 10 dei più frequenti contatti di Wikipedia per comprendere meglio le loro motivazioni e considerazioni durante la risoluzione di una controversia.

Analizzando il set di dati, i ricercatori hanno scoperto che circa il 57 percento delle RfC sono state formalmente chiuse. Del restante 43 per cento, 78 percento (o circa 2, 300) sono stati lasciati stantii senza una risoluzione informale o, circa il 33% di tutte le RfC studiate. Combinando l'analisi del set di dati con le interviste, i ricercatori hanno poi approfondito le principali cause di fallimento della risoluzione. I problemi principali includono argomenti iniziali scarsamente articolati, dove l'iniziatore non è chiaro sulla questione o scrive una proposta deliberatamente prevenuta; litigi eccessivi durante le discussioni che portano a più complicate, più a lungo, fili polemici difficili da esaminare a fondo; e semplice mancanza di interesse da parte di editori di terze parti perché gli argomenti potrebbero essere troppo esoterici, tra gli altri fattori.

Strumenti utili

Il team ha quindi sviluppato un modello di apprendimento automatico per prevedere se un determinato RfC si chiude (formalmente o informalmente) o diventa obsoleto, analizzando più di 60 caratteristiche del testo, pagina di Wikipedia, e le informazioni sull'account dell'editore. Il modello ha raggiunto un'accuratezza del 75% per prevedere il fallimento o il successo entro una settimana dall'inizio della discussione. Alcune funzioni più informative per la previsione, hanno trovato, includere la durata della discussione, numero di partecipanti e risposte, numero di revisioni dell'articolo, popolarità e interesse per l'argomento, esperienza dei partecipanti alla discussione, e il livello di volgarità, negatività, e l'aggressività generale nei commenti.

Il modello potrebbe un giorno essere utilizzato dagli iniziatori di RfC per monitorare una discussione mentre si sta svolgendo. "Pensiamo che potrebbe essere utile per gli editori sapere come indirizzare i loro interventi, " Dice Zhang. "Potrebbero pubblicare [la RfC] su più [forum di Wikipedia] o invitare più persone, se sembra che sia in pericolo di non essere risolto."

I ricercatori suggeriscono che Wikipedia potrebbe sviluppare strumenti per aiutare i più vicini a organizzare lunghe discussioni, contrassegnare argomenti persuasivi e cambiamenti di opinione all'interno di un thread, e incoraggiare la chiusura collaborativa delle RFC.

Nel futuro, il modello e gli strumenti proposti potrebbero essere potenzialmente utilizzati per altre piattaforme comunitarie che implicano discussioni e deliberazioni su larga scala. Zhang indica forum online di pianificazione della città e della comunità, dove i cittadini pesano sulle proposte. "Le persone stanno discutendo [le proposte] e votandole, quindi gli strumenti possono aiutare le comunità a comprendere meglio le discussioni... e sarebbero [anche] utili per gli attuatori delle proposte".

Zhang, Io sono, e altri ricercatori hanno ora creato un sito Web esterno in cui gli editori di tutti i livelli di competenza possono riunirsi per imparare gli uni dagli altri, e monitorare e chiudere più facilmente le discussioni. "Il lavoro di avvicinamento è piuttosto duro, "Zhang dice, "quindi c'è una carenza di persone che cercano di chiudere queste discussioni, particolarmente difficile, più a lungo, e più consequenziali. Ciò potrebbe aiutare a ridurre la barriera all'ingresso [per gli editori che si avvicinano] e aiutarli a collaborare per chiudere le RfC".

"Anche se è sorprendente che un terzo di queste discussioni non sia mai stato risolto, [inoltre] importanti sono i motivi per cui le discussioni non riescono a concludersi, e le conclusioni più interessanti qui provengono dalle analisi qualitative, "dice Robert Kraut, professore emerito di interazioni uomo-computer alla Carnegie Melon University. "Alcuni risultati [dello studio] trascendono Wikipedia e possono essere applicati a molte discussioni in altri contesti". Più lavoro, Aggiunge, potrebbe essere fatto per migliorare l'accuratezza del modello di apprendimento automatico al fine di fornire approfondimenti più fruibili a Wikipedia.

Lo studio fa luce su come alcuni processi RfC "si discostino dalle norme stabilite, portando a inefficienze e pregiudizi, "dice Dario Taraborelli, direttore della ricerca presso la Wikimedia Foundation. "I risultati indicano che l'esperienza dei partecipanti e la durata di una discussione sono fortemente predittivi della tempestiva chiusura di un RfC. Ciò porta nuove prove empiriche alla domanda su come rendere le discussioni relative alla governance più accessibili ai nuovi arrivati ​​e ai membri di organizzazioni sottorappresentate gruppi".

Questa storia è stata ripubblicata per gentile concessione di MIT News (web.mit.edu/newsoffice/), un popolare sito che copre notizie sulla ricerca del MIT, innovazione e didattica.