回顧60多種 Transformer 研究，一文總結遙感領域最新進展

遙感成像技術在過去幾十年來取得顯著進步。現代機載感測器在空間、光譜和解析度上的不斷提升，已經能涵蓋地球表面大部分範圍，因此遙感技術在生態學、環境科學、土壤科學、水污染、冰川學、土地測量和分析等眾多研究領域發揮著至關重要的作用。由於遙感資料通常是多模態的、位於地理空間（地理定位）中，而尺度通常是全球範圍、資料規模也在不斷增長等等，這些特性都為遙感成像的自動分析帶來獨特的挑戰。

電腦視覺的許多領域中，如物件辨識、偵測和分割等等，深度學習尤其是卷積神經網路 (CNN) 已經是主流。卷積神經網路通常將 RGB 影像作為輸入並執行一系列卷積、局部歸一化和池化操作。 CNN 通常依賴大量的訓練數據，然後將產生的預訓練模型用作各種下游應用的通用特徵提取器。基於深度學習的電腦視覺技術的成功也啟發了遙感界，並且在許多遙感任務中取得重大進展，如高光譜影像分類、變化檢測。

CNN 主要基礎之一是卷積運算，它會捕捉輸入影像中元素（如輪廓和邊緣資訊）之間的局部交互作用。 CNN 對空間連結性和平移等效性等偏差進行編碼，這些特徵有助於建立通用高效的架構。 CNN 中的局部感受野限制了對影像中的遠距離依賴關係（如遠距離部分間的關係）的建模。卷積是與內容無關的，因為卷積濾波器的權重是固定的，無論其性質如何，都將相同的權重應用於所有輸入。視覺 transfomer (ViTs) 在電腦視覺的各種任務中展現了令人印象深刻的表現。 ViT 基於 self-attention 機制，透過學習序列元素之間的關係有效地捕捉全域互動。最近的研究表明，ViT 具有依賴內容的遠端互動建模能力，並且可以靈活地調整其感受野以對抗數據中的干擾並學習有效的特徵表示。因此，ViT 及其變體已成功用於許多電腦視覺任務，包括分類、檢測和分割。

ViT 在電腦視覺領域的成功，遙感分析中使用基於transformer 框架的任務顯著增長（見圖1），像是超高解析度影像分類、變化偵測、全色銳化，建築物偵測和影像字幕都有transformer 的身影。這開啟遙感分析的新紀元，研究者採用各種不同的方法，例如利用 ImageNet 預訓練或使用視覺 transformer 執行遙感預訓練。

類似地，相關文​​獻中也有基於純 transformer 設計或利用基於 transformer 和 CNN 的混合方法的方法。由於針對不同遙感問題的基於 transformer 的方法的迅速湧現，跟上最新的進展變得越來越具有挑戰性。

在文章中，作者回顧遙感分析領域的進展，並介紹在遙感領域中流行的基於transformer 的方法，文章主要貢獻如下：

對基於transformer 的模型在遙感成像中的應用進行整體概述，並且作者是第一個對遙感分析中使用transformer 進行調研的，彌合了計算機視覺和遙感在這個快速發展和受歡迎的領域的最新進展之間的差距。

• 對 CNN 和 Transformer 進行概述，討論它們各自的優缺點。
• 回顧文獻中 60 多種基於 transformer 的研究工作，討論遙感領域的最新進展。
• 探討遙感分析中 transformer 的不同挑戰與研究方向。

文章的其餘部分安排：第2 節討論有關遙感成像的其他相關研究；第3 節概述遙感中不同的成像模式；第4 節簡要概述CNN和視覺transformer；第5 節回顧超高解析度(VHR) 成像；第6 節介紹高光譜影像分析；第7 節介紹合成孔徑雷達（SAR）中基於transformer 的方法進展；第8 節討論未來研究方向。

更多細節請參考原文。

• 論文連結：https://arxiv.org/pdf/2209.01206.pdf
• GitHub 網址：https://github.com/VIROBO-15/Transformer-in-Remote-Sensing

以上是回顧60多種 Transformer 研究，一文總結遙感領域最新進展的詳細內容。更多資訊請關注PHP中文網其他相關文章！