Credito:Pixabay/CC0 di dominio pubblico
Questa settimana, molte università australiane invieranno agli accademici i risultati dei sondaggi di valutazione degli studenti del primo semestre.
Per alcuni questo sarà un momento preoccupante e spiacevole. I commenti che gli studenti universitari fanno in modo anonimo nelle loro valutazioni sull'insegnamento possono lasciare gli accademici timorosi, angosciati e demoralizzati.
E con buona ragione. Come un sondaggio del 2021 tra accademici australiani e le loro esperienze di feedback degli studenti ha rilevato:"Sono stati comunemente segnalati commenti personalmente distruttivi, diffamatori, offensivi e offensivi".
I commenti offensivi o offensivi possono rimanere permanentemente registrati come misura delle prestazioni. Questi record possono influenzare le domande di promozione o per un'occupazione continuata sicura.
Gli autori del sondaggio del 2021, guidati da Richard Lakeman della Southern Cross University, sono stati tra coloro che hanno chiesto l'eliminazione dei sondaggi online anonimi. Alcuni accademici, bruciati dalla loro esperienza di feedback degli studenti, affermano di non aprire più o impegnarsi con i rapporti di valutazione degli studenti. Dissero che il rischio di danni superava qualsiasi vantaggio.
Nella serie Netflix The Chair, una scena memorabile vede il personaggio della Professoressa Joan Hambling bruciare le valutazioni degli studenti. Chiaramente, è necessaria una soluzione diversa.
Il feedback degli studenti può ancora essere prezioso per elevare gli standard di insegnamento ed è importante che gli studenti dicano la loro.
Abbiamo sviluppato un sistema di screening che utilizza l'apprendimento automatico (in cui il software cambia il suo comportamento "apprendo" dall'input dell'utente) che consente agli studenti di parlare delle proprie esperienze proteggendo gli accademici da commenti inaccettabili.
Perché è necessario un nuovo approccio
I codici di condotta di Ateneo ricordano agli studenti il loro obbligo generale di astenersi da comportamenti abusivi o discriminatori, ma non specificamente per quanto riguarda le valutazioni degli studenti.
Invece, le università fanno affidamento sull'autoregolamentazione o su altri per segnalare gli incidenti. Alcune istituzioni utilizzano i blocchi di parolacce per filtrare i commenti. Anche allora, questi spesso non riescono a rilevare i termini di abuso emergenti nel parlato online.
Quindi, nell'impostare il nostro sistema di screening, abbiamo voluto:
Abbiamo sviluppato un metodo che utilizza l'apprendimento automatico e un dizionario di termini per individuare i commenti inaccettabili degli studenti. Il dizionario è stato creato da QUT attingendo a commenti inaccettabili storicamente identificati e incorporando ricerche precedenti in termini offensivi e discriminatori.
La nostra soluzione "Screnomatica"
Non c'è molto lavoro pubblicato sull'individuazione di commenti inaccettabili o offensivi nei sondaggi di valutazione degli studenti. Quindi il nostro team ha adattato la ricerca precedente sul rilevamento dei tweet misogini. Questo ha funzionato perché spesso i commenti degli studenti che abbiamo esaminato erano simili in lunghezza al limite di 280 caratteri di un tweet.
Il nostro approccio, che chiamiamo "Screenomatic", ha esaminato automaticamente più di 100.000 commenti degli studenti nel 2021 e identificato quelli che sembravano essere abusi. I membri del personale di valutazione addestrato hanno esaminato manualmente circa 7.000 commenti segnalati, aggiornando il modello di apprendimento automatico dopo ogni semestre. Ogni aggiornamento migliora la precisione del rilevamento automatico.
Alla fine, 100 commenti sono stati rimossi prima che i risultati fossero divulgati a educatori e supervisori. La politica di Ateneo consente di re-identificare i commenti in caso di potenziale cattiva condotta. Il team di valutazione centrale ha contattato questi studenti e ha ricordato loro i loro obblighi ai sensi del codice di condotta.
Il modello Screenomatic può aiutare a proteggere sia gli educatori che gli studenti. Il personale è protetto dagli abusi e agli studenti a rischio, che fanno commenti che indicano che hanno bisogno di aiuto per la salute mentale, includono accuse di bullismo o molestie, o che minacciano il personale o altri studenti, può essere offerto supporto. Le università possono condividere i dati per addestrare il modello e mantenere la valuta.
È importante sottolineare che il processo consente alle università di agire moralmente per sfruttare le voci degli studenti proteggendo il benessere delle persone.
Feedback utile, non abuso
Il numero di educatori che ricevono feedback offensivi può essere relativamente piccolo. Tuttavia, è ancora inaccettabile che le università continuino a esporre il proprio personale a commenti offensivi nella piena consapevolezza del loro potenziale impatto.
Con la sentenza dell'Alta Corte dell'anno scorso sulla responsabilità per i post diffamatori e i tentativi di migliorare la sicurezza online, c'è un crescente riconoscimento che le persone non dovrebbero essere in grado di pubblicare messaggi anonimi e dannosi.
Dopotutto, il costo delle risposte allo screening non è nulla in confronto al costo per le persone (comprese le conseguenze sulla salute mentale o sulla carriera). E questo è ignorare i potenziali costi di contenzioso e danni legali.
Alla fine della giornata, i commenti anonimi vengono letti da persone reali. Come ha osservato un tweet in risposta ai risultati di Lakeman:
Il modello Screenomatic fa molto per consentire alle "tonnellate di feedback utili" di servire allo scopo previsto, garantendo al contempo che le persone non vengano danneggiate nel processo. + Esplora ulteriormente
Questo articolo è stato ripubblicato da The Conversation con licenza Creative Commons. Leggi l'articolo originale. 
