Potresti aver visto le star di Hollywood in abiti "motion capture", recitando in costumi interi disseminati di sensori che consentono a un computer di trasformarli in un Hulk o un drago o una bestia incantata.

Ora, una collaborazione tra i laboratori dei professori di Princeton Mala Murthy e Joshua Shaevitz è andata oltre, utilizzando gli ultimi progressi dell'intelligenza artificiale (AI) per tracciare automaticamente le singole parti del corpo degli animali nei video esistenti.

Il loro nuovo strumento, LEAP stima la posa degli animali (LEAP), può essere addestrato in pochi minuti per tracciare automaticamente le singole parti del corpo di un animale su milioni di fotogrammi di video con elevata precisione, senza dover aggiungere marcatori fisici o etichette.

"Il metodo può essere ampiamente utilizzato, attraverso sistemi di modelli animali, e sarà utile per misurare il comportamento di animali con mutazioni genetiche o a seguito di trattamenti farmacologici, " disse Murthy, un professore associato di biologia molecolare e il Princeton Neuroscience Institute (PNI).

Il documento che descrive in dettaglio la nuova tecnologia sarà pubblicato nel numero di gennaio 2019 della rivista Metodi della natura , ma la sua versione ad accesso aperto, uscito a maggio, ha già portato all'adozione del software da parte di numerosi altri laboratori.

Quando i ricercatori combinano LEAP con altri strumenti quantitativi sviluppati nei loro laboratori, possono studiare quello che chiamano "il linguaggio del comportamento" osservando i modelli nei movimenti del corpo animale, disse Shaevitz, un professore di fisica e il Lewis-Sigler Institute for Integrative Genomics.

"Si tratta di uno strumento flessibile che in linea di principio può essere utilizzato su qualsiasi dato video, " disse Talmo Pereira, uno studente laureato PNI che è il primo autore della carta. "Il modo in cui funziona è etichettare alcuni punti in alcuni video e poi la rete neurale fa il resto. Forniamo un'interfaccia facile da usare per chiunque possa applicare LEAP ai propri video, senza avere alcuna conoscenza di programmazione precedente."

Alla domanda se LEAP funzionasse bene sui grandi mammiferi come sulle mosche e sui topi che costituivano la maggior parte dei soggetti iniziali, Pereira ha prontamente creato un video con motion-tag di una giraffa tratto dal feed dal vivo del Mpala Research Center in Kenya, una stazione di ricerca sul campo per la quale Princeton è socio amministratore.

"Abbiamo preso un video di una giraffa che cammina dalla stazione di ricerca di Mpala... e abbiamo etichettato i punti in 30 fotogrammi video, che ha impiegato meno di un'ora, " ha detto Pereira. "LEAP è stato quindi in grado di tracciare il movimento dall'intero resto del video (circa 500 fotogrammi) in pochi secondi".

I precedenti sforzi per sviluppare strumenti di intelligenza artificiale in grado di tracciare il movimento umano si sono basati su ampi set di addestramento di dati annotati manualmente. Ciò ha permesso al software di lavorare in modo affidabile su diversi tipi di dati, con sfondi o condizioni di illuminazione molto diversi.

"Nel nostro caso, abbiamo ottimizzato metodi simili per lavorare sui dati raccolti in un ambiente di laboratorio, in cui le condizioni sono coerenti tra le registrazioni, " ha affermato Murthy. "Abbiamo costruito un sistema che consente all'utente di scegliere una rete neurale appropriata per il tipo di dati che l'utente ha raccolto piuttosto che essere vincolato da ciò su cui hanno lavorato altri ricercatori o aziende".

Questo progetto è nato da una collaborazione unica tra uno studente di tesi senior nel laboratorio di Murthy, Diego Aldarondo della Classe del 2018, e il suo mentore studente laureato, Pereira, che è consigliato congiuntamente da Murthy e Shaevitz.

"Diego stava esplorando l'uso di reti neurali profonde per annotare i dati comportamentali degli animali tramite una delle sue lezioni di informatica a Princeton, e durante le chiacchiere notturne in laboratorio con Talmo, si rese conto che questi metodi potevano essere applicati con forza ai propri dati:video di moscerini della frutta che interagiscono durante il loro rituale di corteggiamento, " ha detto Murthy. "La collaborazione è decollata da lì, ed è stato incredibilmente divertente lavorare insieme:Diego e Talmo hanno dimostrato quanto possano essere efficaci questi metodi di intelligenza artificiale".

Il lavoro ha un grande potenziale anche al di fuori delle neuroscienze, ha detto Monica Daley, un docente senior presso il Laboratorio di struttura e movimento del Royal Veterinary College nel Regno Unito, che non è stato coinvolto in questa ricerca.

"Gran parte della mia ricerca mira a capire come gli animali si muovono efficacemente in diversi terreni e condizioni ambientali, " Daley ha detto. "Una delle maggiori sfide in corso nel settore è estrarre informazioni significative sul movimento degli animali dalle riprese video. O elaboriamo i video manualmente, richiedendo molte ore di lavoro noioso, o concentrarsi su analisi molto semplicistiche e limitate che possono essere automatizzate. Gli algoritmi presentati in questo documento hanno il potenziale per automatizzare la parte ad alta intensità di lavoro del nostro lavoro più di quanto sia stato possibile in precedenza, che potrebbe consentirci di studiare una maggiore varietà di comportamenti locomotori animali".

Una volta che hanno un database di movimenti e comportamenti, i neuroscienziati del team possono tracciare connessioni ai processi neurali dietro di loro. Ciò consentirà ai ricercatori "non solo di ottenere una migliore comprensione di come il cervello produce comportamenti, " ha detto Shaevitz, "ma anche per esplorare diagnosi e terapie future che si basano su un computer che interpreta le azioni di qualcuno".

Uno strumento simile è stato condiviso durante l'estate da un team di ricercatori di Harvard, che ha utilizzato l'architettura di rete neurale esistente, mentre il team di Princeton ha creato il proprio. "Il nostro metodo e il loro hanno diversi vantaggi, " ha detto Murthy. "Questo è un campo incredibilmente eccitante in questo momento con molta attività nello sviluppo di strumenti di intelligenza artificiale per gli studi del comportamento e dell'attività neurale".

"Usiamo un approccio diverso, dove più piccolo, le reti più snelle possono raggiungere un'elevata precisione specializzandosi rapidamente su nuovi set di dati, " disse Pereira. "Ancora più importante, mostriamo che ora ci sono opzioni facili da usare per il monitoraggio della posa degli animali tramite AI, e speriamo che questo incoraggi il settore a iniziare ad adottare approcci più quantitativi e precisi alla misurazione del comportamento".

"Negli ultimi cinque anni, le neuroscienze hanno fatto enormi passi avanti nella tecnologia osservando e manipolando l'attività cerebrale, ", ha affermato il coautore Samuel Wang, un professore di biologia molecolare e PNI. "Ora, la classificazione automatica del comportamento aggiunge un complemento critico a quella tecnologia. Princeton sta diventando un fulcro centrale nel nascente campo della neuroetologia computazionale".