La polizia del New South Wales ha recentemente abolito un programma ampiamente condannato noto come Suspect Targeting Management Plan. Ha utilizzato punteggi di rischio algoritmici per individuare "obiettivi", alcuni di appena 10 anni, da sottoporre alla sorveglianza della polizia.

Ma programmi simili rimangono in vigore. Ad esempio, Corrective Services NSW utilizza uno strumento di valutazione statistica chiamato LSI-R per prevedere se i detenuti commetteranno nuovamente delitti.

I prigionieri ad "alto rischio" ricevono "interventi ad alta intensità" e possono vedersi negata la libertà condizionale. I punteggi di rischio vengono calcolati in base a fatti quali "amici criminali", coinvolgimento familiare in crimini o droga, problemi finanziari, vita in un "quartiere ad alto tasso di criminalità" e frequenti cambi di indirizzo.

Un algoritmo predittivo è un insieme di regole che i computer (e talvolta le persone) devono seguire, in base a modelli presenti nei dati. È stato scritto molto su come gli algoritmi ci discriminano, dai motori di ricerca parziali ai database sanitari.

Nel mio libro appena pubblicato, Giustizia artificiale, sostengo che l’uso di strumenti che prevedono il nostro comportamento in base a fattori come la povertà o il contesto familiare dovrebbe preoccupare anche noi. Se veniamo puniti, dovrebbe essere solo per ciò che abbiamo fatto di sbagliato, non per le carte che ci sono state distribuite.

Gli algoritmi ci osservano

Gli algoritmi generano punteggi di rischio utilizzati nei sistemi di giustizia penale di tutto il mondo. Nel Regno Unito, l'OASys (Offender Assessment System) viene utilizzato come parte delle informazioni pre-sentenza fornite ai giudici e determina le decisioni su cauzione, libertà condizionale e condanna. Negli Stati Uniti, uno strumento noto come COMPAS fa qualcosa di simile.

I punteggi di rischio vengono utilizzati anche al di fuori della giustizia penale e non sempre hanno bisogno dei computer per generarli. Un breve sondaggio noto come Opioid Risk Tool aiuta i medici in Australia e in tutto il mondo a decidere se prescrivere antidolorifici per malattie acute e croniche, prevedendo se i pazienti faranno un uso improprio dei loro farmaci.

Gli algoritmi predittivi salvano letteralmente vite umane:vengono utilizzati per assegnare gli organi dei donatori, classificare i pazienti e prendere decisioni urgenti sulle cure mediche. Ma possono anche creare e sostenere disuguaglianze ingiustificate.

Immaginiamo di sviluppare un algoritmo, "CrimeBuster", per aiutare la polizia a pattugliare i "punti caldi" della criminalità. Utilizziamo dati che collegano la criminalità alle aree popolate da famiglie a basso reddito. Dal momento che non possiamo misurare direttamente la "criminalità", guardiamo invece ai tassi di arresto.

Tuttavia, il fatto che il tasso di arresti sia elevato in queste aree potrebbe semplicemente dirci che la polizia dedica più tempo a pattugliarle. Se non esiste alcuna giustificazione per questa pratica di polizia intensiva, l'introduzione di CrimeBuster darebbe a questi pregiudizi lo status di politica.

Gli algoritmi ci giudicano

Il problema si aggrava quando utilizziamo le statistiche per fare previsioni sulle azioni intenzionali, ovvero sulle cose che scegliamo di fare.

Questa potrebbe essere una previsione sul fatto che qualcuno sarà un dipendente "tossico", commetterà crimini o abuserà di droghe.

I fattori che influenzano queste previsioni sono raramente pubblicizzati. Per l'algoritmo di condanna britannico OASys, includono se qualcuno è stato vittima di violenza domestica.

Il sistema americano COMPAS cattura il divorzio dei genitori e gli abusi infantili. Lo strumento per il rischio degli oppioidi chiede se la famiglia del paziente ha una storia di abuso di sostanze e se il paziente (se donna) ha una storia di "abuso sessuale preadolescenziale".

In ogni caso, questi fatti rendono più probabile che qualcuno vada in prigione, perda le cure mediche e così via.

Vogliamo tutti avere la possibilità di fare scelte fedeli a chi siamo e soddisfare i nostri bisogni e obiettivi. E vogliamo che ci siano offerte le stesse scelte degli altri, anziché essere additati come incapaci di scegliere bene.

Quando puniamo qualcuno a causa di fatti che non può facilmente influenzare, facciamo proprio questo:trattiamo quella persona come se semplicemente non potesse fare a meno di fare scelte sbagliate.

Non possiamo rinchiudere le persone per ogni evenienza

Il problema non è l’uso degli algoritmi di per sé. Nel XIX secolo, il medico italiano Cesare Lombroso sostenne che potevamo identificare "il criminale nato" dalle caratteristiche fisiche:un cranio deforme, una mascella larga, arti lunghi o orecchie grandi.

Non molto tempo dopo, il criminologo britannico Charles Goring sostenne questa idea e sostenne che alcune caratteristiche mentali "difettose" rendevano inevitabile "il destino della prigionia".

Gli algoritmi rendono semplicemente molto più difficile vedere cosa sta succedendo nel mondo della valutazione del rischio di criminalità.

Ma quando guardiamo, si scopre che quello che sta succedendo è qualcosa di molto simile alla visione di Lombroso-Goring:trattiamo le persone come se fossero destinate a fare del male, e le rinchiudiamo (o le teniamo rinchiuse) per ogni evenienza. /P>

Gli enti pubblici dovrebbero essere tenuti a pubblicare i fatti che informano le previsioni alla base di tali decisioni. L’apprendimento automatico dovrebbe essere utilizzato solo se e nella misura in cui è possibile soddisfare questi requisiti di pubblicazione. Ciò rende più semplice avere conversazioni significative su dove tracciare il limite.

Nel contesto della giustizia penale, questa linea è chiara. Dovremmo imporre sanzioni più severe solo per comportamenti scorretti e non per altre caratteristiche fisiche, mentali o sociali. Esistono numerose linee guida che adottano questo approccio e questa è la linea a cui dovrebbero attenersi le istituzioni australiane.

Una volta applicate le sanzioni per il loro crimine, i prigionieri non dovrebbero essere trattati diversamente o rinchiusi per un periodo più lungo a causa dei loro amici e familiari, della loro situazione finanziaria o del modo in cui sono stati trattati da altri.