Con un coniuge che studia l'evoluzione dell'intelligenza artificiale e naturale e l'altro che ricerca il linguaggio, cultura e storia della Germania, immagina le discussioni a tavola. Sperimentiamo spesso lo scontro stereotipato nelle opinioni tra il quantificabile, approccio basato sulla misurazione delle scienze naturali e l'approccio più qualitativo delle scienze umane, dove ciò che conta di più è come le persone provano qualcosa, o come lo sperimentano o lo interpretano.

Abbiamo deciso di prenderci una pausa da quel modello, per vedere quanto ogni approccio potrebbe aiutare l'altro. Nello specifico, volevamo vedere se gli aspetti dell'intelligenza artificiale potevano rivelare nuovi modi di interpretare una graphic novel di saggistica sull'Olocausto. Alla fine abbiamo scoperto che alcune tecnologie di intelligenza artificiale non sono ancora abbastanza avanzate e robuste da fornire informazioni utili, ma metodi più semplici hanno portato a misurazioni quantificabili che hanno mostrato una nuova opportunità di interpretazione.

Scegliere un testo

Sono disponibili numerose ricerche che analizzano grandi corpi di testo, quindi abbiamo scelto qualcosa di più complesso per la nostra analisi dell'intelligenza artificiale:"The Boxer, " una graphic novel basata sulla storia vera di come Hertzko "Harry" Haft è sopravvissuto ai campi di sterminio nazisti. Volevamo identificare le emozioni nelle espressioni facciali del personaggio principale mostrate nelle illustrazioni del libro, per scoprire se questo ci darebbe una nuova lente per comprendere la storia.

In questo cartone in bianco e nero, Haft racconta la sua orribile storia, in cui lui e altri detenuti del campo di concentramento furono costretti a boxarsi a morte. La storia è scritta dal punto di vista di Haft; inframmezzati durante la narrazione ci sono pannelli di flashback che descrivono i ricordi di Haft di importanti eventi personali.

L'approccio umanistico sarebbe quello di analizzare e contestualizzare elementi della storia, o il racconto nel suo insieme. La graphic novel di Kleist è una reinterpretazione di un romanzo biografico del 2009 del figlio di Haft, Allan, in base a ciò che Allan sapeva delle esperienze di suo padre. L'analisi di questo complesso insieme di interpretazioni e intese degli autori potrebbe servire solo ad aggiungere un altro strato soggettivo a quelli esistenti.

Dal punto di vista della filosofia della scienza, quel livello di analisi renderebbe solo le cose più complicate. Gli studiosi potrebbero avere interpretazioni diverse, ma anche se tutti fossero d'accordo, non avrebbero ancora saputo se la loro intuizione fosse oggettivamente vera o se tutti soffrissero della stessa illusione. Risolvere il dilemma richiederebbe un esperimento volto a generare una misura che altri potrebbero riprodurre indipendentemente.

Interpretazione riproducibile delle immagini?

Piuttosto che interpretare noi stessi le immagini, sottoponendoli ai nostri pregiudizi e preconcetti, speravamo che l'IA potesse portare una visione più obiettiva. Abbiamo iniziato scansionando tutti i pannelli del libro. Quindi abbiamo eseguito l'intelligenza artificiale della visione di Google e anche il riconoscimento facciale di Microsoft AZURE e l'annotazione del carattere emotivo.

Gli algoritmi che abbiamo usato per analizzare "The Boxer" sono stati precedentemente addestrati da Google o Microsoft su centinaia di migliaia di immagini già etichettate con le descrizioni di ciò che raffigurano. In questa fase di formazione, ai sistemi di intelligenza artificiale è stato chiesto di identificare ciò che le immagini mostravano, e quelle risposte sono state confrontate con le descrizioni esistenti per vedere se il sistema che veniva addestrato era giusto o sbagliato. Il sistema di addestramento ha rafforzato gli elementi delle reti neurali profonde sottostanti che hanno prodotto risposte corrette, e indebolito le parti che hanno contribuito a risposte sbagliate. Sia il metodo che i materiali didattici – le immagini e le annotazioni – sono cruciali per le prestazioni del sistema.

Quindi, abbiamo liberato l'intelligenza artificiale sulle immagini del libro. Proprio come in "Family Feud, " dove i produttori dello spettacolo fanno una domanda a 100 sconosciuti e contano quanti scelgono ogni potenziale risposta, il nostro metodo chiede a un'intelligenza artificiale di determinare quale emozione sta mostrando un volto. Questo approccio aggiunge un elemento chiave che spesso manca nell'interpretazione soggettiva dei contenuti:la riproducibilità. Qualsiasi ricercatore che voglia verificare può eseguire nuovamente l'algoritmo e ottenere gli stessi risultati che abbiamo ottenuto noi.

Sfortunatamente, abbiamo scoperto che questi strumenti di intelligenza artificiale sono ottimizzati per le fotografie digitali, non scansioni di disegni in bianco e nero. Ciò significa che non abbiamo ottenuto molti dati affidabili sulle emozioni nelle immagini. Siamo stati anche disturbati nello scoprire che nessuno degli algoritmi ha identificato nessuna delle immagini come correlata all'Olocausto o ai campi di concentramento, anche se gli spettatori umani avrebbero prontamente identificato quei temi. Auspicabilmente, questo perché le IA hanno avuto problemi con le stesse immagini in bianco e nero, e non a causa di negligenza o pregiudizio nei loro set di allenamento o annotazioni.

Il bias è un fenomeno ben noto nell'apprendimento automatico, che può avere risultati davvero offensivi. Un'analisi di queste immagini basata esclusivamente sui dati che abbiamo ottenuto non avrebbe discusso o riconosciuto l'Olocausto, un'omissione che è contro la legge in Germania, tra gli altri paesi. Questi difetti evidenziano l'importanza di valutare criticamente le nuove tecnologie prima di utilizzarle più ampiamente.

Trovare altri risultati riproducibili

Determinato a trovare un modo alternativo per approcci quantitativi per aiutare le scienze umane, abbiamo finito per analizzare la luminosità delle immagini, confrontando scene di flashback con altri momenti della vita di Haft. A quello scopo, abbiamo quantificato la luminosità delle immagini scansionate utilizzando il software di analisi delle immagini.

Abbiamo scoperto che in tutto il libro, fasi emotivamente felici e leggere come la sua fuga dalla prigione o la vita postbellica di Haft negli Stati Uniti sono mostrate usando immagini luminose. Fasi traumatizzanti e tristi, come le sue esperienze nei campi di concentramento, vengono mostrati come immagini scure. Questo si allinea con le identificazioni della psicologia del colore del bianco come un tono puro e felice, e nero come simbolo di tristezza e dolore.

Dopo aver stabilito una comprensione generale di come viene utilizzata la luminosità nelle immagini del libro, abbiamo guardato più da vicino le scene di flashback. Tutti loro hanno rappresentato eventi emotivamente intensi, e alcuni di loro erano scuri, come i ricordi della cremazione di altri detenuti del campo di concentramento e di aver lasciato l'amore della sua vita.

Siamo rimasti sorpresi, però, per scoprire che i flashback che mostrano Haft in procinto di colpire a morte gli avversari erano luminosi e chiari, suggerendo che sta provando un'emozione positiva per l'imminente incontro fatale. Questo è l'esatto opposto di ciò che lettori come noi probabilmente sentono mentre seguono la storia, forse vedendo debole l'avversario di Haft e rendendosi conto che sta per essere ucciso. Quando il lettore prova pietà ed empatia, perché Haft si sente positivo?

Questa contraddizione, trovato misurando la luminosità delle immagini, potrebbe rivelare una visione più profonda di come i campi di sterminio nazisti abbiano influenzato emotivamente Haft. Per noi, proprio adesso, è inimmaginabile come la prospettiva di picchiare a morte qualcun altro in un incontro di boxe sarebbe positiva. Ma forse Haft si trovava in una situazione così disperata che vedeva la speranza di sopravvivere quando si trovava di fronte a un avversario che era ancora più affamato di lui.

L'utilizzo di strumenti di intelligenza artificiale per analizzare questo pezzo di letteratura ha gettato nuova luce sugli elementi chiave dell'emozione e della memoria nel libro, ma non ha sostituito le capacità di un esperto o di uno studioso nell'interpretazione di testi o immagini. Come risultato del nostro esperimento, pensiamo che l'intelligenza artificiale e altri metodi computazionali presentino un'opportunità interessante con il potenziale per più quantificabili, riproducibile e forse oggettiva ricerca nelle discipline umanistiche.

Sarà difficile trovare modi per utilizzare l'intelligenza artificiale in modo appropriato nelle discipline umanistiche, e tanto più perché gli attuali sistemi di intelligenza artificiale non sono ancora abbastanza sofisticati per funzionare in modo affidabile in tutti i contesti. Gli studiosi dovrebbero anche prestare attenzione a potenziali distorsioni in questi strumenti. Se l'obiettivo finale della ricerca sull'intelligenza artificiale è sviluppare macchine che rivaleggiano con la cognizione umana, i sistemi di intelligenza artificiale potrebbero aver bisogno non solo di comportarsi come persone, ma capisci e interpreta i sentimenti come le persone, pure.

Questo articolo è stato ripubblicato da The Conversation con una licenza Creative Commons. Leggi l'articolo originale.