論文賞讀 | TMM | 多源遙感圖像土地分類製圖, Fast and Effective: 漸進層級融合PHFNet網絡

2024-06-29 00:02
遙感與深度學習

RS DL

論文介紹

題目：Fast and Effective: Progressive Hierarchical Fusion Classification for Remote Sensing Images

期刊：IEEE Transactions on Multimedia

論文：https://ieeexplore.ieee.org/abstract/document/10522846

代碼：https://github.com/ShirlySmile/PHFNet

年份：2024

注: 本篇由論文原作者審覈

創新點

提出了一種用於多源遙感圖像分類的輕量級網絡PHFNet，以其輕量級的設計和優越的性能表現出很強的實用性。具體的，PHFNet 在主流基準測試中的分類性能優於其他最先進的方法，同時在參數大小和推理速度方面也表現出色（見圖 2）。
爲了更好地捕獲跨源互補信息，引入了自適應調製融合模塊（AMF）。該模塊採用風格指導和校準來對齊跨源特徵，減輕域差異，然後產生高質量的多源表示。
爲了充分利用不同級別特徵的語義和細節信息，提出了一種改進的卷積門控循環單元（iConvGRU）。iConvGRU 精心管理不同級別特徵的特徵保留和遺忘，從而產生上下文增強的全局表示。

數據

MUUFL數據集：該數據集包含從南密西西比大學採集的高光譜圖像（HSI）和激光雷達（LiDAR）數據。它包括11個類別，共有53,687個實例。
https://github.com/GatorSense/MUUFLGulfport
奧格斯堡數據集(Augsburg dataset)：該數據集從德國奧格斯堡採集，包含HSI和合成孔徑雷達（SAR）數據，空間分辨率爲30米，圖像尺寸爲332x485像素。
https://www.sciencedirect.com/science/article/pii/S0924271621001362
休斯頓2013數據集(Houston 2013 dataset)：該數據集於2012年在休斯頓及其周邊地區採集，包含HSI和LiDAR數據，空間分辨率爲2.5米，圖像尺寸爲349x1905像素。
https://ieeexplore.ieee.org/abstract/document/6776408

方法

總體結構

跨源特徵融合：AMF

自適應調製融合（AMF）模塊旨在實現跨源特徵互補融合。不同源特徵之間的領域差異阻礙了有效的信息集成。因此，在融合之前需要對跨源特徵進行對齊。受風格遷移方法的啓發，AMF模塊對特徵進行調製以統一跨源特徵的風格。這種風格對齊增強了多源特徵分佈的一致性，促進了特徵互補融合。AMF的具體操作如圖4所示。

漸進融合模塊：iConvGRU

iConvGRU 旨在整合分層特徵的語義和細節信息。在這項工作中，不同級別的特徵的逐步融合表現出順序性，使得使用循環架構成爲自然的選擇。因此，我們在 ConvGRU 的基礎上引入 iConvGRU，以自適應地管理順序分層特徵中的信息保留和丟棄，在保持模型性能的同時提高計算效率並減少參數數量。

ConvGRU 和 iConvGRU 相比主要有兩個區別：1）從結構上來說，iConvGRU 比 ConvGRU 少一個門，從而參數數量減少一半。ConvGRU 包含兩個門 - 重置和更新，iConvGRU 僅保留關鍵更新門，指示特徵序列內的信息保留和丟棄。2）在更新門中進行融合之前，引入了一個額外的 tanh 運算，應用於先前的隱藏狀態。這確保了兩個分支的特徵範圍一致，從而均勻地影響更新門操作。這種特徵範圍的一致性有助於模型辨別要保留和丟棄哪些信息。