Bullismo online, l'odio e l'incitamento sono in aumento, e sono necessari nuovi approcci per affrontarli. Mentre il Senato australiano conduce le udienze per la sua inchiesta sul cyberbullismo, dovrebbe prendere in considerazione un duplice approccio per combattere il problema.

Primo, il governo dovrebbe seguire l'esempio della Germania nell'imporre sanzioni pecuniarie alle principali società di social media se non riescono a ridurre il volume di contenuti abusivi sulle loro piattaforme.

Secondo, dobbiamo sviluppare modi per identificare e misurare correttamente la quantità di contenuti offensivi pubblicati e rimossi per garantire che le aziende si conformino.

Data la mole di dati sui social media, l'intelligenza artificiale (AI) deve essere una parte del mix a sostegno della regolamentazione, ma abbiamo bisogno di un apprezzamento dei suoi limiti.

L'impatto sulle vittime

Nel 2015, L'avvocato australiano Josh Bornstein è stato vittima di gravi abusi online per mano di un uomo negli Stati Uniti, che ha impersonato Bornstein e ha pubblicato un articolo razzista online a suo nome. Bornstein in seguito si è trovato a ricevere una raffica di odio da tutto il mondo.

L'incidente è stato molto angosciante per Bornstein, ma l'odio informatico può anche avere conseguenze per la società in generale. Agendo sotto il mantello dell'anonimato, lo stesso uomo ha usato un'altra falsa identità per fingere di essere un sostenitore dell'IS chiedendo attacchi terroristici in Australia e in altri paesi occidentali. In dicembre, è stato condannato negli Stati Uniti con l'accusa di terrorismo.

Bornstein ora chiede sia la regolamentazione delle società di social media da parte dei governi che i rimedi legali per consentire l'azione delle vittime.

La Germania come modello normativo

La nuova legislazione introdotta di recente in Germania richiede alle aziende di rimuovere i casi chiari di incitamento all'odio entro 24 ore.

In risposta, Facebook ha impiegato 1, 200 dipendenti e collaboratori per elaborare in modo più efficace le segnalazioni di abuso da parte degli utenti tedeschi. Se la società non riesce a rimuovere la maggior parte di tali contenuti entro il limite di 24 ore, i regolatori possono imporre multe fino a 50 milioni di euro (79 milioni di dollari australiani).

Queste leggi non sono perfette:entro pochi mesi dalla loro entrata in vigore, La Germania sta già valutando modifiche per evitare che un'eccessiva cautela da parte delle società di social media abbia un effetto raggelante sulla libertà di parola. Ma l'approccio tedesco ci offre una finestra su come sia una forte risposta statale al cyberbullismo.

Questa è solo l'apice di un nuovo mondo di regolamentazione tecnologica. Le leggi sul cyberbullismo non possono essere applicate se non sappiamo quanti abusi vengono pubblicati online, e quanti abusi stanno rimuovendo le piattaforme. Abbiamo bisogno di strumenti per supportare questo.

Impiegare l'intelligenza artificiale

Presso l'Istituto per la prevenzione dell'odio online (OHPI), abbiamo trascorso gli ultimi sei anni sia ad affrontare casi specifici, incluso quello di Bornstein, sia a lavorare sul problema della misurazione utilizzando metodi di crowdsourcing e intelligenza artificiale di prim'ordine.

Altri stanno anche considerando l'identificazione e la misurazione come passo successivo. L'Antisemitism Cyber ​​Monitoring System (ACMS) – un nuovo strumento per monitorare l'antisemitismo sui social media – è in fase di sviluppo dal ministero israeliano per gli affari della diaspora dall'ottobre 2016. Sarà lanciato al Forum globale per la lotta all'antisemitismo 2018 a Gerusalemme alla fine di questo mese.

Lo strumento utilizza l'analisi del testo, una forma di intelligenza artificiale, e funziona cercando nei siti di social media parole, frasi e simboli che sono stati individuati come indicatori di possibili contenuti antisemiti. Lo strumento quindi esamina il contenuto e genera grafici interattivi.

Approcci simili sono stati utilizzati dal World Jewish Congress e dal progetto Conversation AI di Google, ma l'approccio ha un'efficacia limitata, in particolare se applicato a grandi siti di social media.

I dati di un mese di prova di ACMS sono stati rilasciati prima del lancio del sistema. Mentre il software viene promosso come un importante passo avanti nella lotta contro l'odio informatico, i dati stessi evidenziano gravi limiti metodologici e tecnologici rendendolo più una distrazione.

Limiti della tecnologia

Una limitazione che ACMS ha è il rilevamento di abusi che utilizzano il linguaggio codificato, simboli ed eufemismi sempre più prediletti dall'estrema destra.

Un altro è che ACMS monitora solo i contenuti di Facebook e Twitter. Youtube, che ha rappresentato il 41% dell'antisemitismo online identificato in un precedente rapporto, non è incluso. Il sistema automatizzato monitora anche solo i contenuti in inglese, Arabo, francese e tedesco.

La cosa più preoccupante è l'affermazione del Ministero secondo cui le città che producono il maggior volume di contenuti razzisti sono Santiago (Cile), Dnipro (Ucraina), e Bucarest (Romania). Queste città hanno lingue primarie che il software non è programmato per elaborare, eppure hanno in qualche modo superato le città le cui lingue principali vengono elaborate dal software.

Di particolare interesse per l'Australia è un grafico intitolato Places of Interest:Level of Antisemitism by Location che mostra Brisbane come la città di lingua inglese con il punteggio più alto. Questo risultato è stato spiegato da un successivo chiarimento che suggerisce che il numero è una fusione di Mi piace globali, condivisioni e retweet che si sono occupati di contenuti originariamente pubblicati da Brisbane. I dati sono quindi soggetti a un ampio grado di casualità in base a quale contenuto diventa virale.

Avvocati e data scientist devono lavorare insieme

C'è un posto per gli strumenti di rilevamento basati sull'intelligenza artificiale, ma i loro limiti devono essere capiti. L'analisi del testo può identificare sottoinsiemi specifici di odio online, come le svastiche; linguaggio legato a Hitler, nazisti, camere a gas e forni; e temi antisemiti che sono prominenti tra alcuni gruppi di estrema destra. Ma non sono una soluzione proiettile d'argento.

Andando oltre l'identificazione, abbiamo bisogno sia di avvocati che di data scientist per informare il nostro approccio alla regolamentazione degli spazi online. I nuovi strumenti di intelligenza artificiale devono essere verificati rispetto ad altri approcci, come i dati di crowdsourcing dal pubblico. E gli esperti devono rivedere i dati per verificarne l'accuratezza. Dobbiamo sfruttare le nuove tecnologie per supportare i regimi di regolamentazione, evitando una forma di robocensura fallita simile ai problemi del robo-debito che affliggevano Centrelink.

L'inchiesta sul cyberbullismo è un passo importante, purché faciliti le soluzioni di domani, non solo i problemi di oggi.

Questo articolo è stato originariamente pubblicato su The Conversation. Leggi l'articolo originale.