Uno strumento software per computer ampiamente utilizzato potrebbe non essere più accurato o corretto nel prevedere comportamenti criminali ripetuti rispetto alle persone senza esperienza di giustizia penale, secondo uno studio del Dartmouth College.

L'analisi di Dartmouth ha mostrato che i non esperti che hanno risposto a un sondaggio online si sono comportati allo stesso modo, così come il sistema software COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) utilizzato dai tribunali per aiutare a determinare il rischio di recidiva.

Il documento dimostra anche che, sebbene COMPAS utilizzi oltre cento informazioni per fare una previsione, lo stesso livello di accuratezza può essere raggiunto con solo due variabili:l'età dell'imputato e il numero di condanne precedenti.

Secondo il documento di ricerca, COMPAS è stato utilizzato per valutare oltre un milione di criminali da quando è stato sviluppato nel 1998, con la sua componente di previsione della recidiva in uso dal 2000.

Le analisi, pubblicato sulla rivista Progressi scientifici , è stato condotto dal gruppo di ricerca studenti-facoltà di Julia Dressel e Hany Farid.

"È preoccupante che i lavoratori di Internet non addestrati possano eseguire altrettanto bene un programma informatico utilizzato per prendere decisioni che cambiano la vita sugli imputati criminali, " disse Farid, l'Albert Bradley 1915 Professore di informatica del terzo secolo al Dartmouth College. "L'uso di tale software potrebbe non fare nulla per aiutare le persone a cui potrebbe essere negata una seconda possibilità dagli algoritmi della scatola nera".

Secondo il giornale, gli strumenti software sono utilizzati in fase preliminare, parola d'ordine, e decisioni di condanna per prevedere il comportamento criminale, compreso chi è probabile che non compaia in un'udienza e chi è probabile che recidivi in ​​futuro. I sostenitori di tali sistemi sostengono che i big data e l'apprendimento automatico avanzato rendono queste analisi più accurate e meno distorte rispetto alle previsioni fatte dagli esseri umani.

"Le affermazioni che gli strumenti di dati segreti e apparentemente sofisticati sono più accurati ed equi degli umani semplicemente non sono supportati dai nostri risultati di ricerca, " disse Dressel, che ha svolto la ricerca come parte della sua tesi di laurea in informatica a Dartmouth.

Il documento di ricerca confronta il software commerciale COMPAS con i lavoratori assunti tramite il mercato di crowdsourcing online di Mechanical Turk di Amazon per vedere quale approccio è più accurato ed equo nel giudicare la possibilità di recidiva. Ai fini dello studio, la recidiva è stata definita come commettere un delitto o un crimine entro due anni dall'ultimo arresto di un imputato.

Gruppi di lavoratori su Internet hanno visto brevi descrizioni che includevano il sesso di un imputato, età, e precedenti penali. I risultati umani sono stati quindi confrontati con i risultati del sistema COMPAS che utilizza 137 variabili per ogni individuo.

L'accuratezza complessiva si basava sulla velocità con cui si prevedeva correttamente che un imputato sarebbe recidivo o meno. La ricerca ha anche riportato falsi positivi, quando si prevede che un imputato recidivi ma non lo fa, e falsi negativi, quando si prevede che un imputato non recidivi ma lo fa.

Con molte meno informazioni rispetto a COMPAS, sette caratteristiche rispetto a 137, quando i risultati sono stati raggruppati per determinare la "saggezza della folla, " gli esseri umani senza presunta esperienza di giustizia penale erano accurati nel 67 percento dei casi presentati, statisticamente uguale all'accuratezza del 65,2 percento di COMPAS. I partecipanti allo studio e COMPAS erano d'accordo per il 69,2% dei 1000 imputati nel prevedere chi avrebbe ripetuto i loro crimini.

Secondo lo studio, la questione della previsione accurata della recidiva non è limitata a COMPAS. Una revisione separata citata nello studio ha rilevato che otto dei nove programmi software non sono riusciti a fare previsioni accurate.

"L'intero uso di strumenti di previsione della recidiva nelle aule di tribunale dovrebbe essere messo in discussione, " ha detto Dressel. "Insieme al lavoro precedente sull'equità degli algoritmi di giustizia penale, questi risultati combinati gettano notevoli dubbi sull'intero sforzo di predire la recidiva".

A differenza di altre analisi che si concentrano sul fatto che gli algoritmi siano di parte razziale, lo studio di Dartmouth considera la questione più fondamentale se l'algoritmo COMPAS sia migliore degli umani non addestrati nel prevedere la recidiva in modo accurato ed equo.

Però, quando si considerava la razza, la ricerca ha rilevato che i risultati sia degli intervistati umani che del software hanno mostrato disparità significative tra il modo in cui vengono giudicati gli imputati neri e bianchi.

Secondo il giornale, è utile chiedere se vorremmo mettere queste decisioni nelle mani di persone inesperte che rispondono a un sondaggio online, perché, alla fine, "i risultati di questi due approcci sembrano essere indistinguibili".