L'attacco mortale a due moschee a Christchurch, Nuova Zelanda, in cui 50 persone sono state uccise e molte altre gravemente ferite, è stato trasmesso in diretta su Facebook dall'uomo accusato di averlo compiuto. È stato quindi rapidamente condiviso attraverso le piattaforme di social media.

Le versioni del video dell'attacco in livestream sono rimaste online per un periodo di tempo preoccupante. Un rapporto del Guardian ha scoperto che un video è rimasto su Facebook per sei ore e un altro su YouTube per tre. Per molti, la diffusione rapida e apparentemente inarrestabile di questo video esemplifica tutto ciò che è sbagliato nei social media:tossici, contenuto pieno di odio che diventa virale e viene visto da milioni di persone.

Ma dovremmo evitare di fare delle grandi piattaforme il capro espiatorio. Tutti loro (Twitter, Facebook, Youtube, Google, Snapchat) sono iscritti al programma #NoPlace4Hate della Commissione Europea. Si impegnano a rimuovere i contenuti illegali che incitano all'odio entro 24 ore, un periodo di tempo che probabilmente si ridurrà a una sola ora.

A parte ogni altra cosa, sono consapevoli dei rischi reputazionali di essere associati al terrorismo e ad altri contenuti dannosi (come la pornografia, suicidio, pedofilia) e stanno dedicando sempre più risorse considerevoli alla sua rimozione. Entro 24 ore dall'attacco di Christchurch, Facebook aveva bandito 1,5 milioni di versioni del video dell'attacco, di cui 1,2 milioni non sono stati caricati affatto.

Monitorare i contenuti che incitano all'odio è sempre difficile e anche i sistemi più avanzati ne perdono accidentalmente alcuni. Ma durante gli attacchi terroristici le grandi piattaforme affrontano sfide particolarmente significative. Come ha dimostrato la ricerca, gli attacchi terroristici provocano enormi picchi di odio online, sistemi di segnalazione delle piattaforme in eccesso. Molte delle persone che caricano e condividono questo contenuto sanno anche come ingannare le piattaforme e aggirare i loro controlli esistenti.

Quindi cosa possono fare le piattaforme per eliminare i contenuti estremisti e odiosi subito dopo gli attacchi terroristici? Propongo quattro misure speciali necessarie per affrontare in modo specifico l'afflusso di odio a breve termine.

1. Regola la sensibilità degli strumenti di rilevamento dell'odio

Tutti gli strumenti per il rilevamento dell'odio hanno un margine di errore. I progettisti devono decidere di quanti falsi negativi e falsi positivi sono soddisfatti. I falsi negativi sono parti di contenuto che sono consentite online anche se sono fonte di odio e i falsi positivi sono parti di contenuto che vengono bloccate anche se non incitano all'odio. C'è sempre un compromesso tra i due quando si implementa un sistema di rilevamento dell'odio.

L'unico modo per garantire veramente che nessun contenuto odioso vada online è vietare il caricamento di tutti i contenuti, ma questo sarebbe un errore. È molto meglio regolare la sensibilità degli algoritmi in modo che le persone possano condividere contenuti ma le piattaforme catturano molte più cose odiose.

2. Abilita takedown più facili

Contenuti odiosi che arrivano sulle grandi piattaforme, come Twitter e Facebook, possono essere segnalati dagli utenti. Viene quindi inviato per la revisione manuale da un moderatore dei contenuti, che lo controlla utilizzando linee guida predefinite. La moderazione dei contenuti è un'attività fondamentalmente difficile, e le piattaforme mirano a ridurre al minimo le recensioni imprecise. Spesso questo avviene usando il "bastone":secondo alcuni giornalisti investigativi, i moderatori che lavorano per conto di Facebook rischiano di perdere il lavoro a meno che non mantengano alti punteggi di accuratezza della moderazione.

Durante gli attacchi, le piattaforme potrebbero introdurre procedure speciali in modo che il personale possa lavorare rapidamente sui contenuti senza temere una bassa valutazione delle prestazioni. Potrebbero anche introdurre quarantene temporanee in modo che il contenuto venga contrassegnato per la rimozione immediata ma poi riesaminato in un secondo momento.

3. Limitare la capacità degli utenti di condividere

La condivisione è una parte fondamentale dei social media, e le piattaforme incoraggiano attivamente la condivisione sia sui loro siti (che è fondamentale per i loro modelli di business) sia tra di loro, in quanto significa che nessuno di loro si perde quando qualcosa diventa virale. Ma la facile condivisione comporta anche dei rischi:la ricerca mostra che i contenuti estremi e odiosi vengono importati da siti di nicchia di estrema destra e scaricati nel mainstream dove possono diffondersi rapidamente a un vasto pubblico. E durante gli attacchi significa che tutto ciò che supera il software di rilevamento dell'odio di una piattaforma può essere rapidamente condiviso su tutte le piattaforme.

Le piattaforme dovrebbero limitare il numero di volte in cui i contenuti possono essere condivisi all'interno del loro sito e potenzialmente vietare le condivisioni tra i siti. Questa tattica è già stata adottata da WhatsApp, che ora limita a cinque il numero di volte in cui il contenuto può essere condiviso.

4. Creare database condivisi di contenuti

Tutte le grandi piattaforme hanno linee guida molto simili su ciò che costituisce "odio" e cercheranno di eliminare in gran parte gli stessi contenuti dopo gli attacchi. La creazione di un database condiviso di contenuti che incitano all'odio garantirebbe che i contenuti rimossi da un sito vengano automaticamente esclusi da un altro. Ciò non solo eviterebbe inutili duplicazioni, ma consentirebbe alle piattaforme di dedicare rapidamente risorse ai contenuti davvero impegnativi e difficili da rilevare.

La rimozione di contenuti che incitano all'odio dovrebbe essere considerata uno sforzo a livello di settore e non un problema che ogni piattaforma deve affrontare individualmente. Anche i database condivisi come questo esistono in modo limitato, ma è necessario intensificare enormemente gli sforzi e ampliarne la portata.

A lungo termine, le piattaforme devono continuare a investire nella moderazione dei contenuti e nello sviluppo di sistemi avanzati che integrino i controlli umani con l'apprendimento automatico. Ma c'è anche un urgente bisogno di misure speciali per gestire l'afflusso di odio a breve termine dopo gli attacchi terroristici.

Questo articolo è stato ripubblicato da The Conversation con una licenza Creative Commons. Leggi l'articolo originale.