Valutare l'usabilità del software open source (OSS), software reso disponibile gratuitamente agli sviluppatori di tutto il mondo, generalmente comporta l'analisi dei feedback e dei commenti di chi lo ha utilizzato. Elaborazione e comprensione del feedback fornito nelle discussioni degli utenti, però, può essere difficile a causa del vasto numero di commenti online, e perché spesso presentano opinioni opposte.

Consapevole di queste difficoltà, ricercatori della McGill University, l'Università di Bari e il Politecnico di Montreal hanno recentemente sviluppato ArguLens, un quadro teorico e una tecnica automatizzata per semplificare l'analisi delle discussioni della comunità relative all'usabilità di OSS. Il loro recente documento, pre-pubblicato su arXiv, fa parte di un più ampio sforzo di ricerca in corso volto ad aiutare gli sviluppatori di progetti open source a migliorare l'usabilità del loro software.

"Comprendere le motivazioni alla base delle richieste della comunità e valutare ulteriormente il loro impatto sugli utenti finali può essere molto difficile, soprattutto quando le opinioni della comunità sono in conflitto tra loro, " hanno detto i ricercatori a TechXplore, Via Posta Elettronica. "L'obiettivo principale del nostro studio era aiutare i contributori open source a digerire e valutare le opinioni della comunità sull'usabilità del loro progetto".

Prima di iniziare a lavorare su ArguLens, i ricercatori hanno discusso a lungo con i contributori dell'open source per comprendere meglio ciò che trovavano più difficile nella comprensione del feedback ricevuto dalla comunità. Hanno scoperto che la maggior parte degli sviluppatori ha incontrato enormi difficoltà nel digerire e incorporare i commenti della comunità, inclusi suggerimenti e richieste effettuate tramite i sistemi di tracciamento dei problemi.

Ciò era dovuto all'enorme volume di feedback che hanno raccolto, nonché al fatto che gli utenti hanno spesso espresso punti di vista diversi e un po' opposti. Combinato, questi due fattori hanno spesso reso difficile l'elaborazione e la digestione del feedback relativo all'usabilità.

I ricercatori hanno ideato ArguLens con l'obiettivo chiave di aiutare gli sviluppatori OSS a dare un senso al feedback ricco e vario che hanno raccolto online. ArguLens include sia una struttura concettuale che una tecnica automatizzata per l'analisi dei commenti online.

"Come struttura concettuale, adatta un modello di argomentazione proposto da Stephen Toulmin per strutturare le discussioni relative all'usabilità in tre elementi principali:Claim, Terreno, e mandato, " hanno spiegato i ricercatori. "Questo è ciò che chiamiamo 'anatomia' delle opinioni della comunità. Come tecnica automatizzata, propone metodi di elaborazione del linguaggio naturale per rilevare questi elementi da discussioni relative all'usabilità in forma libera."

Gli sviluppatori e gli altri membri della comunità possono utilizzare ArguLens per differenziare e sintetizzare le richieste concrete fatte dai membri della comunità (acquisite nella categoria "Rivendicazioni"), così come i fatti sul loro sistema che interessano alla comunità (acquisiti all'interno della categoria "terreno") e le opinioni personali sul motivo per cui i singoli fatti sono particolarmente importanti per gli utenti (acquisiti nella categoria "Warrant"). il framework può quindi essere utilizzato per discussioni sull'impalcatura e per analizzare i problemi di usabilità dell'OSS.

Come parte della loro ricerca, il team ha valutato e accertato la scalabilità di ArguLens utilizzando tecniche di apprendimento automatico supervisionate per l'estrazione automatizzata degli argomenti. Hanno anche chiesto agli sviluppatori esperti di utilizzare ArguLens e di fornire un feedback sul fatto che li avesse aiutati a comprendere i commenti della comunità. Il feedback che hanno ricevuto è stato molto promettente, poiché la maggior parte degli utenti ha affermato che il framework li ha aiutati a digerire e rivedere meglio le opinioni relative all'usabilità.

"Un'applicazione diretta del framework ArguLens potrebbe essere negli strumenti per i sistemi di tracciamento dei problemi open source per fornire un'interfaccia efficace alle discussioni della comunità sui problemi di usabilità, " hanno detto i ricercatori. "Una volta ampiamente adottato, questo framework può indurre un cambiamento rivoluzionario nel modo in cui le persone considerano i problemi di usabilità dell'open source, incoraggiando una discussione costruttiva su questi problemi e infine aiutando a migliorare l'usabilità dell'open source."

Il framework potrebbe presto aiutare gli sviluppatori OSS di tutto il mondo a dare un senso alle opinioni contrastanti sull'usabilità dei loro progetti. interessante, però, potrebbe essere applicato anche ad altri aspetti del software che possono essere migliorati in base al feedback degli utenti, come la privacy o la sicurezza. Il team sta ora pianificando di migliorare ulteriormente il quadro, concentrandosi su due nuove direzioni di ricerca.

"Primo, stiamo studiando la progettazione di strumenti in grado di presentare efficacemente le informazioni acquisite dal framework ArguLens, " hanno detto i ricercatori. "Questo non solo ci aiuterà a capire meglio l'efficacia di questo framework in natura (in contesti reali) ma può anche tradursi in applicazioni concrete che avvantaggiano direttamente le comunità open source. Secondo, ci stiamo concentrando su metodi umani nel ciclo per mitigare la classificazione imperfetta delle tecniche automatizzate, per garantire ulteriormente la scalabilità e l'utilità di questo quadro."

© 2020 Scienza X Rete