Nuovi strumenti che potrebbero essere utilizzati per rilevare e contrastare automaticamente gli abusi sui social media, sono in fase di sviluppo da parte di ricercatori dell'Università di Sheffield.

La ricerca, guidato dalla Professoressa Kalina Bontcheva del Dipartimento di Informatica dell'Università, sta sviluppando nuovi metodi di intelligenza artificiale (AI) e di elaborazione del linguaggio naturale (NLP) che potrebbero essere utilizzati per affrontare in modo responsabile abusi e incitamento all'odio online.

Lanciato in collaborazione con Wendy Hui Kyong Chun della Simon Fraser University in Canada, il progetto sta esaminando i metodi di intelligenza artificiale attualmente utilizzati per rilevare abusi online e incitamento all'odio in due aree; l'industria del gioco e i messaggi diretti ai politici sui social media.

I ricercatori dello studio intendono utilizzare le loro scoperte per sviluppare nuovi algoritmi di intelligenza artificiale che siano efficaci, giusto e imparziale. I sistemi saranno consapevoli del contesto e rispettosi delle differenze linguistiche all'interno delle comunità basate su razza, etnia, genere e sessualità.

I ricercatori esamineranno i pregiudizi incorporati negli attuali sistemi di moderazione dei contenuti che spesso utilizzano definizioni o determinazioni rigide di linguaggio offensivo. Questi sistemi attuali spesso creano paradossalmente nuove forme di discriminazione o pregiudizio basate sull'identità, compreso il sesso, Genere, etnia, cultura, religione, appartenenza politica o altro.

Il team di ricerca mira ad affrontare questi effetti producendo una maggiore consapevolezza del contesto, sistemi dinamici di rilevamento.

Per di più, il progetto sta cercando di potenziare gli utenti rendendo i nuovi strumenti open source, in modo che possano essere incorporati all'interno di nuove strategie per affrontare democraticamente gli abusi e l'incitamento all'odio online. Potrebbero anche essere utilizzati come parte di misure di assistenza e risposta basate sulla comunità.

La professoressa Kalina Bontcheva ha dichiarato:"Negli ultimi anni c'è stato un enorme aumento del livello di abuso e incitamento all'odio online e questo ha lasciato i governi e le piattaforme di social media in difficoltà per affrontarne le conseguenze.

"Questo grande aumento di abusi e incitamento all'odio online ha suscitato indignazione pubblica con le persone che chiedono ai governi e alle società di social media di fare di più per affrontare il problema, ma attualmente non esistono processi efficaci o tecnici che possano affrontare il problema in modo responsabile o democratico.

"Stiamo sviluppando nuovi metodi di intelligenza artificiale e PNL per affrontare il problema, sviluppando anche un sostanziale programma di formazione per accademici e ricercatori all'inizio della carriera per costruire capacità e competenze in questo settore chiave della ricerca".

Il progetto, AI responsabile per l'inclusione, Società democratiche:un approccio interdisciplinare per rilevare e contrastare il linguaggio offensivo online, è guidato dall'Università di Sheffield in collaborazione con la Simon Fraser University. È finanziato da UK Research and Innovation (UKRI) come uno dei 10 progetti UK-Canada per supportare lo sviluppo responsabile dell'IA, compresa la garanzia che tutti i membri della società si fidino dell'IA e ne traggano beneficio.