I ricercatori della Carnegie Mellon University stanno mettendo in discussione un presupposto di lunga data secondo cui esiste un compromesso tra accuratezza ed equità quando si utilizza l'apprendimento automatico per prendere decisioni di politica pubblica.

Con l'aumento dell'uso dell'apprendimento automatico in aree come la giustizia penale, le assunzioni, l'assistenza sanitaria e gli interventi dei servizi sociali, sono aumentate le preoccupazioni sul fatto che tali applicazioni introducano nuove o amplifichino le disuguaglianze esistenti, specialmente tra le minoranze razziali e le persone con svantaggi economici. Per evitare questo pregiudizio, vengono apportate modifiche ai dati, alle etichette, all'addestramento del modello, ai sistemi di punteggio e ad altri aspetti del sistema di apprendimento automatico. Il presupposto teorico di fondo è che questi aggiustamenti rendano il sistema meno accurato.

Un team della CMU mira a sfatare questa ipotesi in un nuovo studio, recentemente pubblicato su Nature Machine Intelligence . Rayid Ghani, professore presso il Dipartimento di Machine Learning della School of Computer Science e l'Heinz College of Information Systems and Public Policy; Kit Rodolfa, ricercatore in ML; e Hemank Lamba, un ricercatore post-dottorato in SCS, hanno testato questa ipotesi in applicazioni del mondo reale e hanno scoperto che il compromesso era trascurabile nella pratica in una vasta gamma di domini politici.

"In realtà puoi ottenere entrambi. Non devi sacrificare la precisione per costruire sistemi equi ed equi", ha affermato Ghani. "Ma è necessario progettare deliberatamente sistemi per essere equi ed equi. I sistemi standard non funzioneranno."

Ghani e Rodolfa si sono concentrati su situazioni in cui le risorse richieste sono limitate e i sistemi di apprendimento automatico vengono utilizzati per aiutare ad allocare tali risorse. I ricercatori hanno esaminato i sistemi in quattro aree:dare priorità alla portata limitata dell'assistenza sanitaria mentale in base al rischio di una persona di tornare in prigione per ridurre la reincarcerazione; prevedere gravi violazioni della sicurezza per dispiegare meglio gli ispettori abitativi limitati di una città; modellare il rischio che gli studenti non si diplomino in tempo per identificare i più bisognosi di supporto aggiuntivo; e aiutare gli insegnanti a raggiungere obiettivi di crowdfunding per le esigenze della classe.

In ogni contesto, i ricercatori hanno scoperto che i modelli ottimizzati per l'accuratezza, la pratica standard per l'apprendimento automatico, potevano prevedere efficacemente i risultati di interesse, ma mostravano notevoli disparità nelle raccomandazioni per gli interventi. Tuttavia, quando i ricercatori hanno applicato modifiche ai risultati dei modelli mirati a migliorare la loro equità, hanno scoperto che le disparità basate su razza, età o reddito, a seconda della situazione, potevano essere rimosse senza perdita di accuratezza.

Ghani e Rodolfa sperano che questa ricerca cominci a cambiare le menti di colleghi ricercatori e responsabili politici mentre considerano l'uso dell'apprendimento automatico nel processo decisionale.

"Vogliamo che le comunità di intelligenza artificiale, informatica e apprendimento automatico smettano di accettare questo presupposto di un compromesso tra accuratezza e correttezza e inizino a progettare intenzionalmente sistemi che massimizzino entrambi", ha affermato Rodolfa. "Ci auguriamo che i responsabili politici adottino l'apprendimento automatico come strumento nel processo decisionale per aiutarli a raggiungere risultati equi".