Le persone possono essere prevenute, anche senza rendersene conto, ma i programmi per computer non dovrebbero avere alcun motivo per discriminare i pazienti di colore quando prevedono i loro bisogni di assistenza sanitaria. Destra?

Sbagliato, suggerisce una nuova ricerca.

Gli scienziati che studiano un algoritmo ampiamente utilizzato tipico del tipo utilizzato dagli assicuratori sanitari per prendere decisioni di assistenza cruciali per milioni di persone hanno scoperto prove significative di pregiudizi razziali quando si tratta di prevedere i rischi per la salute dei pazienti neri.

Le scoperte, descritto giovedì sul giornale Scienza , hanno implicazioni di vasta portata per la salute e il benessere degli americani poiché diventiamo sempre più dipendenti dai computer per trasformare i dati grezzi in informazioni utili. I risultati indicano anche la radice del problema, e non è il programma per computer.

"Non dovremmo incolpare l'algoritmo, " ha affermato il leader dello studio, il dott. Ziad Obermeyer, un ricercatore di machine learning e salute presso l'Università della California, Berkeley. "Dovremmo incolpare noi stessi, perché l'algoritmo sta solo imparando dai dati che gli forniamo".

Un algoritmo è un insieme di istruzioni che descrivono come eseguire un determinato compito. Una ricetta per i brownies è un algoritmo. Così è l'elenco dei turni da fare per guidare alla festa del tuo amico.

Un algoritmo informatico non è diverso, tranne che è scritto in codice invece che in parole. Oggi, sono utilizzati per indirizzare gli annunci online, riconoscere i volti e trovare modelli in set di dati su larga scala, con la speranza di trasformare il mondo in un mondo più efficiente, luogo comprensibile.

Ma mentre gli algoritmi sono diventati più potenti e onnipresenti, sono aumentate le prove che riflettono e persino amplificano i pregiudizi e il razzismo del mondo reale.

Un algoritmo utilizzato per determinare le pene detentive è risultato essere razzista, prevedere erroneamente un rischio di recidiva più elevato per gli imputati neri e un rischio inferiore per gli imputati bianchi. Il software di riconoscimento facciale ha dimostrato di avere sia pregiudizi razziali che di genere, identificare accuratamente il genere di una persona solo tra gli uomini bianchi. È stato scoperto che gli annunci online che appaiono con i risultati di ricerca di Google mostrano lavori ad alto reddito agli uomini molto più spesso che alle donne.

Obermeyer ha affermato che è stato quasi per caso che lui e i suoi colleghi si siano imbattuti nel pregiudizio incorporato nell'algoritmo sanitario che stavano studiando.

L'algoritmo viene utilizzato per identificare i pazienti con condizioni di salute che potrebbero portare a complicazioni più gravi e costi più elevati. Un grande ospedale accademico lo aveva acquistato per aiutare a individuare i pazienti che erano candidati per un programma di coordinamento delle cure, che fornisce l'accesso a servizi come visite mediche urgenti e un team di infermieri che possono effettuare visite a domicilio o ricaricare le prescrizioni.

"È un po' come un programma VIP per le persone che hanno davvero bisogno di un aiuto extra per la loro salute, " ha detto Obermeyer.

L'obiettivo è quello di prendersi cura di questi pazienti prima che le loro condizioni peggiorino. Ciò non solo li mantiene più sani a lungo termine, mantiene bassi i costi per il sistema sanitario.

Questi tipi di algoritmi sono spesso proprietari, "rendendo difficile per i ricercatori indipendenti sezionarli, " hanno scritto gli autori dello studio. Ma in questo caso, il sistema sanitario lo ha fornito volentieri, insieme a dati che consentirebbero ai ricercatori di vedere se l'algoritmo prevedeva con precisione le esigenze dei pazienti.

I ricercatori hanno notato qualcosa di strano:i pazienti neri a cui era stato assegnato lo stesso punteggio ad alto rischio dei pazienti bianchi avevano molte più probabilità di vedere la loro salute peggiorare nel corso dell'anno successivo.

"A un dato livello di rischio visto dall'algoritmo, i pazienti neri finirono per ammalarsi molto più dei pazienti bianchi, " ha detto Obermeyer.

Questo non aveva senso, Egli ha detto, così gli scienziati si sono concentrati sulla discrepanza. Hanno analizzato i dati sanitari di 6, 079 pazienti neri e 43, 539 pazienti bianchi e si rese conto che l'algoritmo stava facendo esattamente quello che gli era stato chiesto di fare.

Il problema era che le persone che l'hanno progettato gli avevano chiesto di fare la cosa sbagliata.

Il sistema ha valutato i pazienti in base ai costi sanitari sostenuti, supponendo che se i loro costi fossero elevati, era perché i loro bisogni erano alti. Ma l'ipotesi che i costi elevati fossero un indicatore di un elevato fabbisogno si è rivelata sbagliata, Obermeyer ha detto, perché i pazienti neri in genere ricevono meno servizi sanitari rispetto ai pazienti bianchi, anche quando stanno ugualmente male.

Ciò significava che l'algoritmo stava erroneamente allontanando alcuni pazienti neri dal programma di coordinamento delle cure.

Rimediare a quella disparità razziale potrebbe far passare la percentuale di pazienti di colore arruolati nel programma di cure specialistiche dal 17,7% al 46,5%, gli scienziati si sono resi conto.

Dopo aver identificato il problema, un presupposto umano errato, gli scienziati hanno iniziato a risolverlo. Hanno sviluppato un modello alternativo che si è concentrato sui "costi evitabili, " come le visite di emergenza e i ricoveri. Un altro modello incentrato sulla salute, misurato dal numero di riacutizzazioni di malattie croniche nel corso dell'anno.

I ricercatori hanno condiviso la loro scoperta con il produttore dell'algoritmo, che ha poi analizzato il suo dataset nazionale di quasi 3,7 milioni di pazienti assicurati commercialmente, confermando i risultati. Insieme, hanno sperimentato un modello che combinava la previsione della salute con la previsione dei costi, riducendo infine il bias dell'84%.

Dottoressa Karen Joynt Maddox, un cardiologo e ricercatore di politiche sanitarie presso la Washington University of St. Louis, ha elogiato il lavoro come "un modo premuroso di guardare a questo problema emergente davvero importante".

"Ci affidiamo sempre più a questi algoritmi e a questi modelli di previsione a scatola nera per dirci cosa fare, come comportarsi, come trattare i pazienti, come indirizzare gli interventi, "ha detto Joynt Maddox, che non è stato coinvolto nello studio. "È inquietante, in un modo, pensare se questi modelli che diamo per scontati e che stiamo usando stiano sistematicamente svantaggiando gruppi particolari".

L'errore in questo caso non era nell'algoritmo stesso, ma con le ipotesi fatte durante la sua progettazione, è stata pronta ad aggiungere.

Obermeyer ha affermato di aver scelto di non individuare l'azienda che ha realizzato l'algoritmo o il sistema sanitario che lo ha utilizzato. Ha detto che speravano di enfatizzare il ruolo di un intero gruppo di algoritmi di previsione del rischio che, dalle stime del settore, vengono utilizzati per valutare circa 200 milioni di persone all'anno.

Alcune persone hanno reagito alle scoperte di pregiudizi algoritmici suggerendo che gli algoritmi vengano eliminati del tutto, ma non sono gli algoritmi il problema, disse Sendhil Mullainathan, uno scienziato comportamentale computazionale presso l'Università di Chicago e autore senior dello studio.

Infatti, se adeguatamente studiato e affrontato, possono essere parte della soluzione.

"Rispecchiano i pregiudizi nei dati che sono i nostri pregiudizi, " Disse Mullainathan. "Ora, se riesci a capire come risolverlo ... il potenziale che ha per de-tirarci è davvero forte."

Un algoritmo migliore può aiutare a diagnosticare e trattare gli effetti delle disparità razziali nelle cure, ma non può "curare" la disparità alla radice del problema:il fatto che si spendono meno dollari per la cura dei pazienti neri, in media, che sui pazienti bianchi, ha riconosciuto.

Queste disparità di costo probabilmente derivano da una serie di motivi, hanno detto gli autori dello studio. La razza e la discriminazione possono svolgere un ruolo, e anche quando hanno l'assicurazione, i pazienti più poveri devono affrontare "ostacoli sostanziali all'accesso all'assistenza sanitaria".

"Nella misura in cui la razza e lo stato socioeconomico sono correlati, questi fattori influenzeranno in modo diverso i pazienti neri, " hanno scritto i ricercatori.

Risolvere quelle fonti di disparità nel mondo reale presenta una sfida più profonda e molto più complicata.

In definitiva, Obermeyer ha detto, "è molto più facile correggere i pregiudizi negli algoritmi che negli esseri umani".

©2019 Los Angeles Times
Distribuito da Tribune Content Agency, LLC.