I tweet ritenuti scritti da afroamericani hanno molte più probabilità di essere etichettati come incitamento all'odio rispetto ai tweet associati ai bianchi, secondo uno studio della Cornell che analizza cinque raccolte di dati di Twitter contrassegnati per un linguaggio offensivo.

Tutti e cinque i set di dati, compilato da accademici per la ricerca, ha mostrato pregiudizi nei confronti degli utenti di Twitter ritenuti afroamericani. Sebbene le società di social media, incluso Twitter, probabilmente non utilizzino questi set di dati per i propri sistemi di rilevamento dell'incitamento all'odio, la coerenza dei risultati suggerisce che simili bias potrebbero essere diffusi.

"Abbiamo trovato coerente, pregiudizi razziali sistematici e sostanziali, " ha detto Thomas Davidson, un dottorando in sociologia e primo autore di "Racial Bias in Hate Speech and Abusive Language Datasets, " che è stato presentato all'Assemblea annuale dell'Associazione per la linguistica computazionale, 28 luglio-agosto 2 a Firenze, Italia.

"Questi sistemi sono in fase di sviluppo per identificare il linguaggio utilizzato online per colpire le popolazioni emarginate, " Davidson ha detto. "È estremamente preoccupante se gli stessi sistemi stessi discriminano la popolazione che sono progettati per proteggere".

Mentre i giganti di Internet si rivolgono sempre più all'intelligenza artificiale per segnalare contenuti odiosi tra milioni di post, la preoccupazione per i pregiudizi nei modelli di apprendimento automatico è in aumento. Poiché il bias spesso inizia nei dati utilizzati per addestrare questi modelli, i ricercatori hanno cercato di valutare i set di dati creati per aiutare a comprendere e classificare i discorsi di odio.

Per eseguire la loro analisi, hanno selezionato cinque set di dati, uno dei quali Davidson ha contribuito a sviluppare alla Cornell, composto da un insieme di 270, 000 post su Twitter. Tutti e cinque erano stati annotati da umani per segnalare un linguaggio offensivo o incitamento all'odio.

Per ogni set di dati, i ricercatori hanno addestrato un modello di apprendimento automatico per prevedere discorsi pieni di odio o offensivi.

Hanno quindi utilizzato un sesto database di oltre 59 milioni di tweet, abbinato ai dati del censimento e identificato da posizione e parole associate a particolari dati demografici, al fine di prevedere la probabilità che un tweet sia stato scritto da qualcuno di una certa razza.

Sebbene la loro analisi non possa prevedere in modo definitivo la razza dell'autore di un tweet, classificava i tweet in "allineati al nero" e "allineati al bianco, " riflettendo il fatto che contenevano un linguaggio associato a uno di questi dati demografici.

In tutti e cinque i casi, gli algoritmi hanno classificato probabili tweet afroamericani come sessismo, incitamento all'odio, molestie o abusi a tassi molto più elevati rispetto a quei tweet che si ritiene siano stati scritti da bianchi:in alcuni casi, più del doppio della frequenza.

I ricercatori ritengono che la disparità abbia due cause:un sovracampionamento dei tweet degli afroamericani quando vengono creati i database; e una formazione inadeguata per le persone che annotano i tweet per potenziali contenuti odiosi.

"Quando noi, come ricercatori, o le persone che paghiamo online per fare annotazioni in crowdsourcing, guarda questi tweet e devi decidere, "Questo è odioso o non odioso?" potremmo vedere la lingua scritta in quello che i linguisti considerano l'inglese afroamericano ed essere più propensi a pensare che sia qualcosa di offensivo a causa dei nostri pregiudizi interni, " Davidson ha detto. "Vogliamo che le persone che annotano i dati siano consapevoli delle sfumature del discorso online e che stiano molto attenti a ciò che stanno considerando incitamento all'odio".