Le descrizioni dei libri di testo delle cellule cerebrali fanno sembrare i neuroni semplici:un lungo assone centrale simile a una spina dorsale con dendriti ramificati. Prese singolarmente, questi potrebbero essere facili da identificare e mappare, ma in un vero cervello, sono più come un mucchio nodoso di polpi, con centinaia di arti intrecciati. Ciò rende la comprensione di come si comportano e interagiscono una grande sfida per i neuroscienziati.

Un modo in cui i ricercatori districano il nostro guazzabuglio neurale è attraverso l'imaging microscopico. Scattando fotografie di strati molto sottili di un cervello e ricostruendoli in forma tridimensionale, è possibile determinare dove sono le strutture e come si relazionano.

Ma questo porta le sue sfide. Ottenere immagini ad alta risoluzione, e catturarli rapidamente in modo da coprire una sezione ragionevole del cervello, è un compito importante.

Parte del problema risiede nei compromessi e nei compromessi che ogni fotografo conosce. Apri il diaframma abbastanza a lungo da far entrare molta luce e qualsiasi movimento causerà una sfocatura; scattare un'immagine rapida per evitare sfocature e il soggetto potrebbe risultare scuro.

Ma altri problemi sono specifici dei metodi utilizzati nella ricostruzione del cervello. Per uno, l'imaging cerebrale ad alta risoluzione richiede molto tempo. Per un altro, nella tecnica ampiamente utilizzata chiamata microscopia elettronica seriale a blocchi, un pezzo di tessuto viene tagliato in un blocco, la superficie è immaginata, una sezione sottile viene tagliata e il blocco viene quindi ripreso; il processo viene ripetuto fino al completamento. Però, il fascio di elettroni che crea le immagini microscopiche può effettivamente causare la fusione del campione, distorcendo il soggetto che sta cercando di catturare.

Maniero Uri, direttore della Waitt Advanced Biophotonics Core Facility presso il Salk Institute for Biological Studies di San Diego, è responsabile dell'esecuzione di numerosi microscopi ad alta potenza utilizzati dai ricercatori in tutta la nazione. Ha anche il compito di identificare e implementare nuovi microscopi e sviluppare soluzioni in grado di affrontare i problemi con cui le tecnologie odierne lottano.

"Se qualcuno arriva con un problema e i nostri strumenti non possono farlo, o non riusciamo a trovarne uno che possa, è il mio lavoro sviluppare questa capacità, " disse Manor.

Consapevole dei problemi di imaging che devono affrontare i neuroscienziati, decise che era necessario un nuovo approccio. Se avesse raggiunto i limiti fisici della microscopia, Manor ha ragionato, forse software e algoritmi migliori potrebbero fornire una soluzione.

"Esistono sofisticati approcci matematici e computazionali che sono stati studiati per decenni per rimuovere il rumore senza rimuovere il segnale, "Manor ha detto. "Ecco da dove ho iniziato."

Lavorando con Linjing Fang, uno specialista di analisi delle immagini presso Salk, hanno elaborato una strategia per utilizzare le GPU (unità di elaborazione grafica) per accelerare l'elaborazione delle immagini microscopiche.

Hanno iniziato con un trucco di elaborazione delle immagini chiamato deconvoluzione che era stato sviluppato in parte da John Sedat, uno degli eroi scientifici di Manor e mentore a Salk. L'approccio è stato utilizzato dagli astronomi che volevano risolvere immagini di stelle e pianeti con una risoluzione maggiore di quella che potevano ottenere direttamente dai telescopi.

"Se conosci le proprietà ottiche del tuo sistema, quindi puoi sfocare le tue immagini e ottenere il doppio della risoluzione dell'originale, " Lui ha spiegato.

Ritenevano che il deep learning, una forma di apprendimento automatico che utilizza più livelli di analisi per estrarre progressivamente funzionalità di livello superiore dall'input non elaborato, potesse essere molto utile per aumentare la risoluzione delle immagini al microscopio, un processo chiamato super-risoluzione.

risonanza magnetica, immagini satellitari, e fotografie erano servite come casi di prova per sviluppare un apprendimento profondo, approcci di super risoluzione, ma molto poco era stato fatto in microscopia. Forse, Manor pensò, lo stesso potrebbe essere fatto con la microscopia.

Il primo passo nella formazione di un sistema di deep learning implica la ricerca di un ampio corpus di dati. Per questo, Manor ha collaborato con Kristen Harris, un professore di neuroscienze presso l'Università del Texas ad Austin e uno dei massimi esperti di microscopia cerebrale.

"I suoi protocolli sono usati in tutto il mondo. Faceva scienza aperta prima che diventasse cool, " Ha detto Manor. "Riceve immagini incredibilmente dettagliate e collabora con Salk da diversi anni".

Harris ha offerto a Manor tutti i dati di cui aveva bisogno per l'addestramento. Quindi, utilizzando il supercomputer Maverick presso il Texas Advanced Computing Center (TACC) e diversi giorni di calcolo continuo, ha creato analoghi a bassa risoluzione delle immagini del microscopio ad alta risoluzione e ha addestrato una rete di deep learning su quelle coppie di immagini.

"TACC è stato incredibilmente utile, " Ha detto Manor. "Ci hanno fornito l'hardware per fare formazione prima che i nostri capelli cadessero e ci hanno fornito competenze computazionali e ci hanno persino aiutato a eseguire esperimenti computazionali per mettere a punto il nostro processo".

Sfortunatamente, I primi tentativi di Manor di creare versioni a super risoluzione di immagini a bassa risoluzione non hanno avuto successo. "Quando abbiamo provato a testare il sistema su dati a bassa risoluzione del mondo reale che erano molto più rumorosi dei nostri dati di addestramento a bassa risoluzione, la rete non ha funzionato così bene."

Manor ha avuto un altro colpo di fortuna quando Jeremy Howard, fondatore di fast.ai, e Fred Monroe, dalla Wicklow AI Medical Research Initiative (WAMRI.ai), è venuto a Salk alla ricerca di problemi di ricerca che potrebbero trarre vantaggio dall'apprendimento profondo.

"Erano entusiasti di ciò che stavamo facendo. Era un'applicazione perfetta per i loro metodi di deep learning e il loro desiderio di contribuire a portare il deep learning in nuovi domini, " Manor ha ricordato. "Abbiamo iniziato a usare alcuni dei loro trucchi che avevano stabilito, compresa la schifezza".

Al momento del loro incontro, Manor e Fang avevano ridotto computazionalmente la risoluzione delle loro immagini per le coppie di addestramento, ma non erano ancora abbastanza schifosi. Stavano anche usando un tipo di architettura di deep learning chiamata reti generative avversarie (GAN).

"Hanno suggerito di aggiungere più rumore a livello di calcolo, " ha ricordato. "'Getta in qualche sfocatura, e diversi tipi di rumore, per rendere le immagini davvero schifose.' Avevano costruito una libreria di crappificazioni e abbiamo crappificato le nostre immagini fino a quando non sembravano molto più simili, o anche peggio di, come appare quando acquisisci un'immagine a bassa risoluzione nel mondo. Ci hanno anche aiutato a passare dai GAN alle architetture U-Net, che sono molto più facili da addestrare e migliori nel rimuovere il rumore."

Manor ha riqualificato il suo sistema di intelligenza artificiale utilizzando le nuove coppie di immagini e l'architettura di apprendimento profondo e ha scoperto che poteva creare immagini ad alta risoluzione molto simili a quelle originariamente create con un maggiore ingrandimento. Inoltre, esperti addestrati sono stati in grado di trovare le caratteristiche delle cellule cerebrali nelle versioni decrappificate dei campioni a bassa risoluzione che non potevano essere rilevate negli originali.

Finalmente, hanno messo alla prova il loro sistema:applicando il metodo a immagini create in altri laboratori con microscopi e preparazioni diverse.

"Di solito nell'apprendimento profondo, devi riqualificare e mettere a punto il modello per diversi set di dati, " Manor ha detto. "Ma siamo stati lieti che il nostro sistema abbia funzionato così bene per una vasta gamma di campioni e set di immagini".

Il successo ha fatto sì che i campioni potessero essere ripresi senza rischiare danni, e che si potevano ottenere almeno 16 volte più velocemente di quanto fatto tradizionalmente.

"Per visualizzare l'intero cervello a piena risoluzione potrebbero volerci più di cento anni, " Manor ha spiegato. "Con un aumento di 16 volte in tutto, forse diventano 10 anni, che è molto più pratico."

Il team ha pubblicato i risultati su Biorxiv, li ha presentati alla F8 Facebook Developer Conference e al 2° NSF NeuroNex 3DEM Workshop, e ha reso disponibile il codice tramite GitHub.

"Non solo questo approccio funziona. Ma il nostro modello di formazione può essere utilizzato subito, " Manor ha detto. "È estremamente facile e veloce. E chiunque voglia utilizzare questo strumento sarà presto in grado di accedere a 3DEM.org [una piattaforma di ricerca basata sul web focalizzata sullo sviluppo e la diffusione di nuove tecnologie per la microscopia elettronica tridimensionale a risoluzione avanzata, supportato dalla National Science Foundation] e far scorrere i loro dati attraverso di essa."

"Uri promuove davvero questa idea di miglioramento dell'immagine attraverso il deep learning, "Ha detto Harris. "In definitiva, speriamo di non avere immagini scadenti. Ma in questo momento, molte delle immagini hanno questo problema, quindi ci saranno posti in cui vorrai riempire i buchi in base a ciò che è presente nelle sezioni adiacenti."

Manor spera di sviluppare un software in grado di eseguire la ricostruzione al volo, così i ricercatori possono vedere subito le immagini ad alta risoluzione, piuttosto che in post-elaborazione. Vede anche il potenziale per migliorare le prestazioni dei milioni di microscopi già presenti nei laboratori di tutto il mondo e per costruire da zero un microscopio nuovo di zecca che sfrutti le capacità dell'intelligenza artificiale.

"Meno caro, risoluzione più elevata, più velocemente:ci sono molte aree in cui possiamo migliorare."

Con una prova di concetto in atto, Manor e il suo team hanno sviluppato uno strumento che consentirà progressi in tutta la neuroscienza. Ma senza collaborazioni fortuite con Kristen Harris, Howard e Monroe e TACC, potrebbe non essere mai arrivato a buon fine.

"È un bellissimo esempio di come fare davvero progressi nella scienza. È necessario disporre di esperti aperti a lavorare insieme a persone di qualsiasi parte del mondo si trovino per far sì che qualcosa accada, " Manor ha detto. "Mi sento molto fortunato ad essere stato in una posizione in cui ho potuto interfacciarmi con tutti questi compagni di squadra di livello mondiale".