L'intelligenza artificiale sta trasformando il nostro mondo, a volte in modi che i suoi creatori non intendevano. In Wellcome Data Labs stiamo sviluppando un nuovo metodo per applicare gli approcci delle scienze sociali al modo in cui vengono prodotti gli algoritmi di intelligenza artificiale per risolvere i problemi di data science. L'obiettivo è evitare potenziali conseguenze negative degli algoritmi identificandoli prima nel processo di sviluppo.

Ci sono già stati tentativi di definire un tale modo di lavorare. Un esempio è l'eccellente post di Catalina Butnaru che propone un nuovo processo di etica Agile. C'è molto da raccomandare questo approccio, non da ultimo che è sistematico e strettamente allineato nei suoi passaggi ai passaggi ben noti delle metodologie di sviluppo software agili.

Però, Butnaru non affronta i meccanismi di come potrebbe essere gestito il suo processo di etica Agile suggerito. È il team di data scientist e ingegneri stessi che è responsabile di seguire i passaggi? O il loro product manager? O il team UX? O un team separato dagli ingegneri che controlla il loro lavoro?

Abbiamo riflettuto molto su queste domande, poiché siamo desiderosi di testare come gli approcci etici possono essere applicati al lavoro dei data scientist nella pratica e non solo in teoria.

La sfida chiave che ci poniamo è:come applicare un processo come quello di Butnaru, o una delle altre metodologie rivali, in un modo che riduca in modo misurabile le questioni etiche, come un pregiudizio involontario, ma non riduce l'energia e l'efficacia dei nostri team di prodotto Agile?

Pensiamo che questo possa essere fatto incoraggiando gli scienziati sociali a lavorare come parte di team interdisciplinari con sviluppatori di software e scienziati dei dati, adottando le loro metodologie agili e iterative.

Ho delineato alcune delle sfide per farlo. Per esempio, la difficoltà di far lavorare i ricercatori delle scienze sociali alla stessa velocità e allo stesso ritmo degli sviluppatori di software e dei data scientist. Però, esiste un modello potenziale da seguire imparando dall'integrazione riuscita della disciplina dell'esperienza utente nei flussi di lavoro di sviluppo del software.

C'è un'ulteriore sfida, anche se. Affidarsi a un ricercatore utente integrato in un team di prodotto per guidare quel team attraverso una metodologia di etica Agile da solo introduce il rischio che perdano l'obiettività. Questo è un problema ben noto nella ricerca etnografica, dove c'è una tensione attiva tra il ruolo del ricercatore come osservatore imparziale e l'alternativa di essere un partecipante attivo.

Un modo meno tecnico di vederlo è che le persone, fondamentalmente, sono giocatori di squadra:vogliono inserirsi e possono avere difficoltà a criticare il lavoro dei loro stretti colleghi. Potrebbero anche diventare soggetti al "pensiero di gruppo" senza rendersene conto.

In Wellcome Data Labs abbiamo elaborato un approccio accoppiato all'etica Agile che ha lo scopo di risolvere questo problema. La nostra metodologia proposta prevede tre passaggi:

1. Incorporare all'interno di Data Labs un ricercatore utente con un background sia nel lavoro come parte di team di prodotto Agile che nello svolgimento di ricerche sulle scienze sociali. Questo ricercatore embedded avrà l'obiettivo esplicitamente definito di testare i modelli algoritmici su cui stanno lavorando gli sviluppatori di software e gli scienziati dei dati dal punto di vista del loro possibile impatto sociale.
2. Adegueranno e svilupperanno la loro analisi in modo iterativo per adeguarsi alla velocità del lavoro tecnologico e fornire le loro conclusioni emergenti agli scienziati dei dati per guidare il corso del loro lavoro.
3. Il ricercatore integrato sarà associato a un altro scienziato sociale esterno al team per fornire una critica obiettiva e i necessari controlli ed equilibri sulla loro analisi.

Tutte e tre le parti della metodologia proposta sono ugualmente importanti.

• Non incorporare il ricercatore nel team renderebbe difficile per loro avere una conoscenza abbastanza approfondita di ciò che stanno facendo gli scienziati dei dati.
• Non ripetere iterativamente e riscrivere la loro analisi del possibile impatto sociale non riuscirà a seguire il ritmo dello sviluppo tecnologico  – il vantaggio chiave proposto da questa metodologia.
• Finalmente, l'abbinamento è progettato per evitare che il ricercatore embedded rischi di perdere il proprio distacco professionale e obiettività, il che è un rischio proprio perché sono così strettamente integrati nei team tecnologici.
• L'intero approccio è di per sé un esperimento e non siamo affatto sicuri che funzionerà. Però, questo è esattamente ciò che lo rende eccitante per noi. Speriamo che ci aiuti a diventare più consapevoli dei pregiudizi introdotti dagli algoritmi che sviluppiamo e a ridurre al minimo le potenziali conseguenze involontarie negative degli strumenti prodotti dal team.

Questo è importante perché Wellcome, quale importante finanziatore della ricerca scientifica, ha un notevole impatto sulle industrie accademiche e sanitarie. E l'analisi di Wellcome Data Labs alimenta il processo decisionale di Wellcome. Eventuali distorsioni involontarie negli algoritmi prodotti dal mio team che possono influire sulle decisioni di Wellcome, potrebbe avere un effetto a catena sulle decisioni di più finanziatori, che a sua volta potrebbe ridursi a impatti secondari su altre industrie e sulla società in generale. Abbiamo la responsabilità di farlo bene.