I sistemi di intelligenza artificiale possono essere in grado di completare le attività rapidamente, ma ciò non significa che lo facciano sempre in modo equo. Se i set di dati utilizzati per addestrare i modelli di apprendimento automatico contengono dati distorti, è probabile che il sistema possa mostrare lo stesso pregiudizio quando prende decisioni nella pratica.

Ad esempio, se un set di dati contiene principalmente immagini di uomini bianchi, un modello di riconoscimento facciale addestrato con questi dati potrebbe essere meno accurato per donne o persone con carnagioni diverse.

Un gruppo di ricercatori del MIT, in collaborazione con i ricercatori dell'Università di Harvard e di Fujitsu, Ltd., ha cercato di capire quando e come un modello di apprendimento automatico è in grado di superare questo tipo di distorsione del set di dati. Hanno utilizzato un approccio delle neuroscienze per studiare come i dati di addestramento influiscono sul fatto che una rete neurale artificiale possa imparare a riconoscere oggetti che non ha mai visto prima. Una rete neurale è un modello di apprendimento automatico che imita il cervello umano nel modo in cui contiene strati di nodi interconnessi, o "neuroni", che elaborano i dati.

I nuovi risultati mostrano che la diversità nei dati di addestramento ha una grande influenza sul fatto che una rete neurale sia in grado di superare i pregiudizi, ma allo stesso tempo la diversità dei set di dati può degradare le prestazioni della rete. Dimostrano inoltre che il modo in cui viene addestrata una rete neurale e i tipi specifici di neuroni che emergono durante il processo di addestramento possono svolgere un ruolo importante nel determinare se è in grado di superare un set di dati distorto.

"Una rete neurale può superare la distorsione del set di dati, il che è incoraggiante. Ma il punto principale qui è che dobbiamo tenere conto della diversità dei dati. Dobbiamo smettere di pensare che se raccogli un sacco di dati grezzi, ciò otterrà da qualche parte. Dobbiamo essere molto attenti a come progettiamo i set di dati in primo luogo", afferma Xavier Boix, ricercatore presso il Dipartimento di scienze cerebrali e cognitive (BCS) e il Center for Brains, Minds, and Machines (CBMM ), e autore senior dell'articolo.

I coautori includono gli ex studenti laureati Spandan Madan, un autore corrispondente che sta attualmente studiando un dottorato di ricerca. ad Harvard, Timothy Henry, Jamell Dozier, Helen Ho e Nishchal Bhandari; Tomotake Sasaki, un ex scienziato in visita ora ricercatore al Fujitsu; Frédo Durand, professore di ingegneria elettrica e informatica e membro del Computer Science and Artificial Intelligence Laboratory; e Hanspeter Pfister, An Wang Professor of Computer Science presso la Harvard School of Engineering and Applied Sciences. La ricerca appare oggi in Nature Machine Intelligence .

Pensare come un neuroscienziato

Boix e i suoi colleghi hanno affrontato il problema della distorsione del set di dati pensando come i neuroscienziati. Nelle neuroscienze, spiega Boix, è comune utilizzare set di dati controllati negli esperimenti, ovvero un set di dati in cui i ricercatori sanno quanto più possibile sulle informazioni che contiene.

Il team ha creato set di dati che contenevano immagini di oggetti diversi in pose diverse e ha controllato attentamente le combinazioni in modo che alcuni set di dati avessero più diversità di altri. In questo caso, un set di dati presentava una minore diversità se contiene più immagini che mostrano oggetti da un solo punto di vista. Un set di dati più diversificato aveva più immagini che mostravano oggetti da più punti di vista. Ciascun set di dati conteneva lo stesso numero di immagini.

I ricercatori hanno utilizzato questi set di dati accuratamente costruiti per addestrare una rete neurale per la classificazione delle immagini, quindi hanno studiato quanto fosse in grado di identificare gli oggetti da punti di vista che la rete non vedeva durante l'addestramento (nota come combinazione fuori distribuzione).

Ad esempio, se i ricercatori stanno addestrando un modello per classificare le auto nelle immagini, vogliono che il modello impari che aspetto hanno le diverse auto. Ma se ogni Ford Thunderbird nel set di dati di addestramento viene mostrata dalla parte anteriore, quando al modello addestrato viene data l'immagine di una Ford Thunderbird ripresa di lato, potrebbe classificarla erroneamente, anche se è stata addestrata su milioni di foto di auto.

The researchers found that if the dataset is more diverse—if more images show objects from different viewpoints—the network is better able to generalize to new images or viewpoints. Data diversity is key to overcoming bias, Boix says.

"But it is not like more data diversity is always better; there is a tension here. When the neural network gets better at recognizing new things it hasn't seen, then it will become harder for it to recognize things it has already seen," he says.

Testing training methods

The researchers also studied methods for training the neural network.

In machine learning, it is common to train a network to perform multiple tasks at the same time. The idea is that if a relationship exists between the tasks, the network will learn to perform each one better if it learns them together.

But the researchers found the opposite to be true—a model trained separately for each task was able to overcome bias far better than a model trained for both tasks together.

"The results were really striking. In fact, the first time we did this experiment, we thought it was a bug. It took us several weeks to realize it was a real result because it was so unexpected," he says.

They dove deeper inside the neural networks to understand why this occurs.

They found that neuron specialization seems to play a major role. When the neural network is trained to recognize objects in images, it appears that two types of neurons emerge—one that specializes in recognizing the object category and another that specializes in recognizing the viewpoint.

When the network is trained to perform tasks separately, those specialized neurons are more prominent, Boix explains. But if a network is trained to do both tasks simultaneously, some neurons become diluted and don't specialize for one task. These unspecialized neurons are more likely to get confused, he says.

"But the next question now is, how did these neurons get there? You train the neural network and they emerge from the learning process. No one told the network to include these types of neurons in its architecture. That is the fascinating thing," he says.

That is one area the researchers hope to explore with future work. They want to see if they can force a neural network to develop neurons with this specialization. They also want to apply their approach to more complex tasks, such as objects with complicated textures or varied illuminations.

Boix is encouraged that a neural network can learn to overcome bias, and he is hopeful their work can inspire others to be more thoughtful about the datasets they are using in AI applications.