Kurt Lutero, assistente professore di informatica del Virginia Tech, ha sviluppato una piattaforma software gratuita che utilizza il crowdsourcing per aumentare significativamente la capacità degli algoritmi di identificare i volti nelle foto.

Attraverso la piattaforma software, chiamato Photo Sleuth, Luther cerca di svelare i misteri dei quasi 4 milioni di fotografie di immagini dell'era della Guerra Civile che potrebbero esistere nella documentazione storica.

Luther presenterà la sua ricerca sulla piattaforma Photo Sleuth il 19 marzo alla conferenza sulle interfacce utente intelligenti dell'Association for Computing Machinery a Los Angeles, California. Dimostrerà anche Photo Sleuth alla grande inaugurazione dell'ampliamento dell'American Civil War Museum, a Richmond, Virginia, il 4 maggio 2019.

Lutero, un appassionato di storia lui stesso, è stato ispirato a sviluppare il software per Civil War Photo Sleuth nel 2013 mentre visitava la mostra dell'Heinz History Center chiamata "Pennsylvania's Civil War" a Pittsburgh, Pennsylvania. Lì si imbatté in un ritratto di Oliver Croxton dell'epoca della Guerra Civile, suo pro-pro-prozio che prestò servizio nella Compagnia E della 134a Pennsylvania, vestito con un'uniforme da caporale.

"Vedere il mio lontano parente che mi fissava era come viaggiare nel tempo, " ha detto Lutero. "Le foto storiche possono dirci molto non solo sulla nostra storia familiare, ma anche informare il record storico del tempo in modo più ampio rispetto alla semplice lettura dell'evento in un libro di storia".

Il progetto investigatore fotografico della guerra civile, finanziato principalmente dalla National Science Foundation, è stato lanciato ufficialmente come piattaforma web presso i National Archives di Washington, DC, il 1° agosto 2018, e consente agli utenti di caricare foto, taggarli con segnali visivi, e collegali ai profili dei soldati della Guerra Civile con registrazioni dettagliate della storia militare. Il database di riferimento iniziale di Photo Sleuth conteneva più di 15, 000 ritratti di soldati della Guerra Civile identificati da fonti di pubblico dominio come l'Istituto di storia militare degli Stati Uniti e altre collezioni private.

Prima del lancio ufficiale del progetto ad agosto, la piattaforma software ha vinto i $25, 000 Microsoft Cloud AI Research Challenge e Best Demo Award alla conferenza Human Computation and Crowdsourcing 2018 a Zurigo, Svizzera, per Lutero e la sua squadra, che comprende collaboratori accademici e storici, il Virginia Center for Civil War Studies, e la rivista Immagini militari.

Secondo Lutero, la chiave del successo post-lancio del sito è stata la capacità di creare una forte comunità di utenti. Più di 600 utenti hanno contribuito più di 2, 000 foto della Guerra Civile sul sito web nel primo mese dopo il lancio, e circa la metà di quelle foto non erano identificate. Oltre 100 di queste foto sconosciute erano collegate a soldati specifici, e un'analisi di esperti ha rilevato che oltre l'85% di queste identificazioni proposte erano probabilmente o sicuramente corrette. Attualmente, il database è cresciuto fino a oltre 4, 000 utenti registrati e più di 8, 000 foto.

"Tipicamente, la ricerca crowdsourcing come questa è impegnativa per i principianti se gli utenti non hanno una conoscenza specifica dell'argomento, " ha detto Luther. "Il processo graduale di etichettatura di indizi visivi e applicazione di filtri di ricerca collegati ai registri del servizio militare rende questo lavoro investigativo più accessibile, anche per coloro che potrebbero non avere una conoscenza più approfondita della storia militare della Guerra Civile".

Le attività di identificazione delle persone possono essere impegnative in pool di candidati più grandi perché esiste un rischio maggiore di falsi positivi. Il nuovo approccio alla base di Civil War Photo Sleuth si basa sull'analogia di trovare un ago in un pagliaio. La pipeline dei dati ha tre componenti relativi al pagliaio:costruzione del pagliaio, restringendo il pagliaio, e trovare l'ago nel pagliaio. Quando combinato, consentono agli utenti di identificare soldati sconosciuti riducendo il rischio di falsi positivi.

La costruzione del pagliaio viene eseguita incentivando gli utenti a caricare immagini scansionate del fronte e del retro delle foto della Guerra Civile. Ogni volta che un utente carica una foto per identificarla, la foto viene aggiunta all'archivio digitale del sito o "pagliaio, " rendendolo disponibile per future ricerche.

Dopo il caricamento, l'utente tagga i metadati relativi alla fotografia come il formato della foto o le iscrizioni, oltre a indizi visivi, come il colore del mantello, galloni, spallacci, insegne del collare, e insegne del cappello. Questi tag sono collegati ai filtri di ricerca per dare la priorità alle corrispondenze più probabili. Per esempio, un soldato etichettato con l'insegna del cappello "corno da caccia" suggerirebbe potenziali corrispondenze che hanno prestato servizio nella fanteria, nascondendo i risultati della cavalleria o dell'artiglieria. Prossimo, il sito utilizza una tecnologia di riconoscimento facciale all'avanguardia per eliminare i volti dall'aspetto molto diverso e ordinare i restanti per somiglianza. Entrambi i passaggi di etichettatura e riconoscimento facciale restringono il pagliaio.

Finalmente, gli utenti trovano l'ago nel pagliaio esplorando in modo più dettagliato le partite a più alta probabilità. Uno strumento di confronto con controlli di panoramica e zoom aiuta gli utenti a ispezionare attentamente una possibile corrispondenza e, se decidono che è una partita, collegare la foto precedentemente sconosciuta alla sua nuova identità e dettagli biografici.

I record militari utilizzati dai filtri provengono da una miriade di fonti pubbliche, compreso il National Park Service Soldiers and Sailors Database.

Ripercorrere le foto storiche della Guerra Civile tramite software di riconoscimento facciale come Photo Sleuth ha ampie applicazioni oltre all'identificazione delle foto storiche, pure. Il software ha il potenziale per generare nuovi modi di pensare alla costruzione di sistemi di identificazione delle persone che guardano oltre il riconoscimento facciale e sfruttano i punti di forza complementari dell'intelligenza umana e artificiale.