Negli esseri umani, l'intelligenza non è un vaccino contro i pregiudizi e il fanatismo. Lo stesso vale per i computer. Le macchine intelligenti imparano a conoscere il mondo attraverso i filtri del linguaggio umano e del comportamento storico, il che significa che possono assorbire i peggiori valori dell'umanità tanto facilmente quanto i migliori.

I ricercatori che mirano a sviluppare macchine sempre più intelligenti hanno il loro bel da fare per assicurarsi di non impregnare inavvertitamente i computer di misoginia, razzismo o altre forme di fanatismo.

"È un rischio enorme, "dice Marzyeh Ghassemi, un assistente professore nel dipartimento di informatica e Facoltà di Medicina dell'Università di Toronto che si occupa di applicazioni sanitarie per l'intelligenza artificiale (AI). "Come tutti i progressi che fanno saltare le società in avanti, ci sono grandi rischi che dobbiamo decidere di accettare o non accettare".

Il pregiudizio può insinuarsi negli algoritmi in molti modi. In un ramo altamente influente dell'intelligenza artificiale noto come "elaborazione del linguaggio naturale, " possono sorgere problemi dal "corpus di testo", il materiale sorgente utilizzato dall'algoritmo per apprendere le relazioni tra le diverse parole.

Elaborazione del linguaggio naturale, o "PNL, " consente a un computer di comprendere il discorso in stile umano:informale, colloquiale e contestuale. Gli algoritmi della PNL setacciano miliardi di parole di testo di addestramento:il corpus potrebbe essere, dire, l'intera Wikipedia. Un algoritmo funziona assegnando a ciascuna parola un insieme di numeri che riflette diversi aspetti del suo significato, ad esempio "re" e "regina", avrebbe punteggi simili relativi all'idea di regalità, ma punteggi opposti relativi al genere. La PNL è un potente sistema che consente alle macchine di apprendere le relazioni tra le parole, in alcuni casi, senza un diretto coinvolgimento umano.

"Anche se non insegniamo loro sempre in modo specifico, quello che imparano è incredibile, "dice Kawin Ethayarajh, un ricercatore che si concentra in parte sull'equità e la giustizia nelle applicazioni di intelligenza artificiale. "Ma è anche un problema. Nel corpus, la relazione tra 're' e 'regina' potrebbe essere simile alla relazione tra 'dottore' e 'infermiera'".

Ma certo, tutti i re sono uomini; non tutti i medici sono uomini. E non tutte le infermiere sono donne.

Quando un algoritmo assorbe i tropi sessisti degli atteggiamenti umani storici, può portare a conseguenze nella vita reale, come è successo nel 2014 quando Amazon ha sviluppato un algoritmo per controllare i curricula dei candidati al lavoro. L'azienda ha addestrato le sue macchine utilizzando 10 anni di decisioni di assunzione. Ma nel 2015 hanno riconosciuto che, nei test, il sistema dava una preferenza immeritata ai curricula di candidati di sesso maschile. Hanno ottimizzato il sistema per costringerlo a ignorare le informazioni di genere, ma alla fine hanno chiuso il progetto prima di metterlo effettivamente in uso poiché non potevano essere sicuri che il loro algoritmo non stesse perpetrando altre forme di discriminazione.

La mitigazione del materiale di origine sessista può comportare adeguamenti tecnologici e metodologici. "Se riusciamo a capire esattamente quali sono i presupposti alla base del corpus che causano l'apprendimento di questi pregiudizi, possiamo selezionare i corpora senza quei pregiudizi o correggerli durante il processo di formazione, "dice Ethayarajh.

È pratica comune per i ricercatori progettare un algoritmo che corregga automaticamente i presupposti pregiudizievoli. Regolando il peso dei numeri che assegna a ciascuna parola, il computer può evitare di fare associazioni sessiste o razziste.

Ma quali sono esattamente le ipotesi che devono essere corrette? Che aspetto ha un'IA imparziale? Dibattiti sui privilegi, bigottismo, diversità e pregiudizi sistemici sono tutt'altro che risolti. Un algoritmo di assunzione dovrebbe assumere una posizione sull'azione affermativa? Un'auto a guida autonoma dovrebbe prestare particolare attenzione se un altro veicolo ha un adesivo "Baby on Board"? In che modo un'analisi dei documenti legali basata sull'intelligenza artificiale dovrebbe tener conto del trattamento storico dei popoli indigeni? Le controversie sociali non scompaiono semplicemente perché le macchine assumono determinate raccomandazioni o decisioni.

Molte persone considerano il modello di multiculturalismo del Canada imperfetto ma relativamente di successo come un'opportunità per condurre una ricerca sull'intelligenza artificiale equa.

"Il Canada ha certamente un'opportunità, "dice Ronald Baecker, professore emerito di informatica e autore di Computers and Society:Modern Perspectives. Vede un ruolo per il governo per riparare le disuguaglianze sociali, ingiustizie e pregiudizi associati all'IA da, Per esempio, la creazione di protezioni per i dipendenti che scelgono di parlare contro prodotti basati sull'intelligenza artificiale faziosi o sleali. "C'è bisogno di più pensiero e legislazione rispetto al concetto di quella che chiamerei 'obiezione di coscienza' da parte dei dipendenti high-tech".

Ritiene inoltre che agli scienziati informatici che sviluppano tecnologie intelligenti dovrebbe essere richiesto di studiare l'impatto sociale di tale lavoro. "È importante che i professionisti che lavorano nell'IA riconoscano la loro responsabilità, ", dice. "Abbiamo a che fare con situazioni di vita o di morte in attività sempre più importanti in cui viene utilizzata l'intelligenza artificiale".

Gli algoritmi che aiutano i giudici a stabilire la cauzione e a condannare i criminali possono assorbire pregiudizi di vecchia data nel sistema legale, come trattare le persone razzializzate come se avessero maggiori probabilità di commettere ulteriori crimini. Gli algoritmi potrebbero contrassegnare le persone di determinate comunità come a rischio troppo elevato per ricevere un prestito bancario. Potrebbero anche essere migliori nella diagnosi del cancro della pelle nelle persone bianche rispetto alle persone con la pelle più scura, come risultato di essere stato addestrato su materiale originale distorto.

La posta in gioco è incredibilmente alta nell'assistenza sanitaria, dove algoritmi iniqui potrebbero spingere le persone che sono state mal servite in passato ancora più ai margini.

Nel suo lavoro alla U of T e al Vector Institute for Artificial Intelligence, Ghassemi, come altri ricercatori, si impegna a identificare potenziali pregiudizi e iniquità nei suoi algoritmi. Confronta le raccomandazioni e le previsioni dei suoi strumenti diagnostici con i risultati del mondo reale, misurare la loro accuratezza per i diversi sessi, gare, età e fattori socio-economici.

In teoria, Il Canada offre un vantaggio ai ricercatori interessati ad applicazioni sanitarie che riflettano valori di equità, diversità e inclusione. Il nostro sistema sanitario universale crea un archivio di cartelle cliniche elettroniche che fornisce una vasta gamma di dati medici che potrebbero essere utilizzati per addestrare applicazioni basate sull'intelligenza artificiale. Questo potenziale ha attirato Ghassemi a Toronto. Ma la tecnologia, informazione, la formattazione e le regole per accedere a questi record variano da provincia a provincia, rendendo complicato creare il tipo di set di dati che possono portare avanti la ricerca.

Ghassemi è stato anche sorpreso di apprendere che questi record includono solo raramente dati sulla razza. Ciò significa che se sta usando un algoritmo per determinare quanto bene un dato trattamento serva a diversi settori della società, poteva identificare le disparità tra uomini e donne, Per esempio, ma non tra bianchi e persone razzializzate. Di conseguenza, nella sua didattica e ricerca, sta usando dati americani pubblicamente disponibili che contengono informazioni sulla razza.

"Verificare i miei modelli [usando dati americani], Posso mostrare quando qualcosa ha una maggiore imprecisione per le persone di etnie diverse, " dice. "Non posso fare questa valutazione in Canada. Non ho modo di controllare".

Ghassemi è interessato a creare applicazioni di intelligenza artificiale che siano eque di per sé e che possano anche aiutare gli esseri umani a contrastare i propri pregiudizi. "Se siamo in grado di fornire strumenti basati su grandi popolazioni diverse, stiamo dando ai medici qualcosa che li aiuterà a fare scelte migliori, " lei dice.

Donne, Per esempio, sono significativamente sottodiagnosticati per le condizioni cardiache. Un'intelligenza artificiale potrebbe segnalare un tale pericolo per un medico che potrebbe trascurarlo. "Questo è un luogo in cui una soluzione tecnologica può aiutare, perché i medici sono esseri umani, e gli umani sono di parte, " lei dice.

Ethayarajh concorda con Ghassemi e Baecker che il Canada ha un'importante opportunità di esercitare il proprio vantaggio sull'equità e sui pregiudizi nella ricerca sull'intelligenza artificiale.

"Penso che i ricercatori di intelligenza artificiale qui siano molto consapevoli del problema, " Ethayarajh dice. "Penso che una parte di questo sia, se guardi in giro per l'ufficio, vedi molte facce diverse. Le persone che lavoreranno su questi modelli saranno gli utenti finali di questi modelli. Più in generale, Penso che ci sia una forte attenzione culturale all'equità che rende questo un'area importante per i ricercatori in questo paese".