Lo scorso settembre, l'ACLU ha depositato un amicus brief in un caso californiano che porta a una polemica sull'uso di algoritmi e intelligenza artificiale nel diritto penale.

Un campione di DNA prelevato da un campione più ampio di DNA umano misto ha implicato Billy Ray Johnson in furti con scasso e aggressioni sessuali. Johnson ha negato di aver commesso i crimini, ma ha ricevuto una condanna all'ergastolo senza condizionale. I pubblici ministeri hanno basato il loro caso sui risultati di uno strumento delle forze dell'ordine che esegue un sofisticato algoritmo chiamato TrueAllele.

Gli avvocati di Johnson non sono mai stati autorizzati a esaminare il codice sorgente di TrueAllele, per vedere se in qualche modo conteneva qualche distorsione informativa. I pubblici ministeri hanno sostenuto con successo che le leggi proteggevano l'algoritmo come segreto commerciale.

Per Jessica Gabel Cino, preside associato per gli affari accademici e professore associato di diritto, la decisione ha sollevato una grande bandiera rossa.

"Nessuna tecnologia è infallibile, " ha detto. "La tecnologia è progettata da umani e gestita da umani, quindi c'è sicuramente spazio per l'errore umano durante tutto il processo. Inoltre, i risultati sono buoni solo quanto l'input."

Cino continuò. "I sistemi sono sviluppati per scopi proprietari, da aziende private che cercano di realizzare un profitto. Ma stiamo parlando di accesso a informazioni che influiscono sulla libertà di una persona. Per negare l'accesso alle sequenze di convalida, codice sorgente o dati proprietari quando influiscono sulla libertà di una persona? Usare un mago nascosto dietro una tenda per ottenere una condanna diluisce l'integrità del sistema".

Vera Eidelman dell'ACLU, un William J. Brennan Fellow con il discorso ACLU, Privacy, e progetto tecnologico, spiegato ulteriormente a settembre.

"Il pregiudizio razziale si insinua spesso anche negli algoritmi, sia perché i dati sottostanti riflettono le disparità razziali esistenti sia perché i risultati imprecisi per i gruppi minoritari più piccoli possono essere nascosti nei risultati complessivi, " Ha scritto Eidelman. "E, Certo, c'è la possibilità che incentivi finanziari pervertono gli obiettivi delle aziende che costruiscono questi algoritmi. Nel contesto della tipizzazione del DNA, la prosecuzione, sostenuto dalle ingenti risorse dello Stato, è il cliente più probabile di un'azienda — e quel cliente è probabilmente più soddisfatto di un algoritmo che fornisce una corrispondenza. Quindi le aziende possono costruire programmi per inclinarsi verso le partite sulla verità".

Preoccupazioni simili sorgono per quanto riguarda l'uso dell'intelligenza artificiale nelle decisioni su cauzione e condanna.

Vic Reynolds (JD '86), procuratore distrettuale della contea di Cobb, Georgia, ha visto la diffusione della tecnologia nella pratica legale nella sua carriera. È stato su entrambi i lati della panchina, come giudice, un avvocato difensore e, oggi, un pubblico ministero.

"Stiamo parlando di un settore del diritto in cui ci sono pochissimi precedenti, " Ha detto Reynolds. "Se ci impegniamo in un sistema in cui l'intelligenza artificiale viene utilizzata per aiutare a formulare una sentenza penale, abbiamo infatti l'obbligo etico di condividere le fondamenta di quel sistema con le stesse persone le cui vite sono colpite".

Dice che ci sono sia vantaggi che svantaggi nell'usare l'intelligenza artificiale come strumento di condanna.

"Sul lato positivo — ogni volta che abbiamo l'elemento umano coinvolto, porta con sé le fragilità umane, " ha detto. "I giudici sono umani, quindi anche i buoni giudici possono avere una brutta giornata, un giorno in cui c'è un litigio con un coniuge o qualcos'altro che lo riguarda.

"L'utilizzo di un sistema di intelligenza artificiale ha il potenziale per rimuovere parte di questa fragilità umana, " ha detto Reynolds.

E i contro?

"Essendo stato un giudice, So che l'essenza di quella posizione è la discrezione, "Reynolds ha detto. "Anche le linee guida federali sulle sentenze hanno recentemente iniziato a restituire parte di quella discrezionalità ai giudici di condanna.

"Diciamo che colleghiamo la storia di una persona a un sistema di intelligenza artificiale. Sulla base di precedenti condanne per reati, il sistema raccomanda una condanna a 10 anni. Ma con uno sguardo più attento, possiamo vedere che le condanne precedenti erano basate su una situazione di abuso di droga e che una decisione migliore a lungo termine potrebbe essere una sentenza che enfatizza il trattamento sostanziale. Per me, qui entra in gioco la discrezionalità del giudice.

"Se non hai coinvolto quell'elemento umano, e perdi l'elemento della discrezione, c'è la possibilità di sbagliare".

Cino cita uno studio pubblicato su Progressi scientifici sulla credibilità del programma informatico COMPAS (Profilazione di gestione del reato correttivo per le sanzioni alternative), che valuta se gli imputati debbano essere rilasciati su cauzione in base al loro rischio di recidiva. Gli autori dello studio hanno scoperto che COMPAS, che è stato utilizzato per valutare più di un milione di imputati in tutti gli Stati Uniti, "non è più accurato o giusto delle previsioni di persone con poca o nessuna esperienza in materia di giustizia penale che hanno risposto a un sondaggio online".

"Il sistema di giustizia penale è affamato di tecnologia che renda il processo decisionale meno soggettivo, "Cino ha detto "ma l'adozione anticipata senza un'adeguata convalida crea conseguenze a lungo termine difficili da correggere".

Cino, Reynolds e molti altri nel sistema legale seguiranno il caso Johnson in California. Gli avvocati presenteranno le difese orali all'inizio del 2018. Cino auspica una decisione a sostegno della trasparenza.

"Se useremo l'intelligenza artificiale, " lei disse, "Speriamo di passare a un modello open source che ci porti oltre questo muro cinese di segreti commerciali proprietari. O open source, o l'imputato ottiene l'accesso all'algoritmo. C'è un motivo se abbiamo diritto a un processo equo".