Lo studente Liu Luolin dell'Istituto di ottica e meccanica di precisione di Xi'an (XIOPM) dell'Accademia cinese delle scienze (CAS) ha proposto un modello end-to-end a due flussi denominato TSFNet per la fusione di immagini termiche e visibili. I risultati sono stati pubblicati in Neuroinformatica.

Il TSFNet, utilizzando due rami per l'apprendimento delle funzionalità, è molto diverso dai precedenti metodi a due flussi, e può catturare completamente le informazioni da entrambe le fonti.

Le immagini termiche sono insensibili alla luminosità e possono distinguere oggetti e sfondo differenziando la radiazione termica. Le immagini visibili possono comprendere la visione umana in modo più intuitivo e avere una risoluzione più elevata. Perciò, si può dedurre che la fusione dei due può produrre una nuova immagine con oggetti chiari e ad alta risoluzione per il monitoraggio in qualsiasi condizione atmosferica e tutto il giorno/notte.

In questo studio, al fine di consentire al modello di conservare autonomamente le informazioni dettagliate dell'immagine sorgente durante la fusione, LIU e i membri del suo team hanno adottato una strategia di allocazione del peso adattiva per guidare la selezione delle funzionalità. L'intero quadro è stato smontato in tre moduli, estrazione delle caratteristiche, fusione, e ricostruzione.

Secondo i risultati degli esperimenti, TSFNet supera i metodi all'avanguardia sotto diverse metriche di valutazione. Nel futuro, fornirà una guida per la progettazione di nuove reti di fusione di immagini.