遙感成像技術在過去幾十年來取得顯著進步。現代機載感測器在空間、光譜和解析度上的不斷提升,已經能涵蓋地球表面大部分範圍,因此遙感技術在生態學、環境科學、土壤科學、水污染、冰川學、土地測量和分析等眾多研究領域發揮著至關重要的作用。由於遙感資料通常是多模態的、位於地理空間(地理定位)中,而尺度通常是全球範圍、資料規模也在不斷增長等等,這些特性都為遙感成像的自動分析帶來獨特的挑戰。
電腦視覺的許多領域中,如物件辨識、偵測和分割等等,深度學習尤其是卷積神經網路 (CNN) 已經是主流。卷積神經網路通常將 RGB 影像作為輸入並執行一系列卷積、局部歸一化和池化操作。 CNN 通常依賴大量的訓練數據,然後將產生的預訓練模型用作各種下游應用的通用特徵提取器。基於深度學習的電腦視覺技術的成功也啟發了遙感界,並且在許多遙感任務中取得重大進展,如高光譜影像分類、變化檢測。
CNN 主要基礎之一是卷積運算,它會捕捉輸入影像中元素(如輪廓和邊緣資訊)之間的局部交互作用。 CNN 對空間連結性和平移等效性等偏差進行編碼,這些特徵有助於建立通用高效的架構。 CNN 中的局部感受野限制了對影像中的遠距離依賴關係(如遠距離部分間的關係)的建模。卷積是與內容無關的,因為卷積濾波器的權重是固定的,無論其性質如何,都將相同的權重應用於所有輸入。視覺 transfomer (ViTs) 在電腦視覺的各種任務中展現了令人印象深刻的表現。 ViT 基於 self-attention 機制,透過學習序列元素之間的關係有效地捕捉全域互動。最近的研究表明,ViT 具有依賴內容的遠端互動建模能力,並且可以靈活地調整其感受野以對抗數據中的干擾並學習有效的特徵表示。因此,ViT 及其變體已成功用於許多電腦視覺任務,包括分類、檢測和分割。
ViT 在電腦視覺領域的成功,遙感分析中使用基於transformer 框架的任務顯著增長(見圖1),像是超高解析度影像分類、變化偵測、全色銳化,建築物偵測和影像字幕都有transformer 的身影。這開啟遙感分析的新紀元,研究者採用各種不同的方法,例如利用 ImageNet 預訓練或使用視覺 transformer 執行遙感預訓練。
類似地,相關文獻中也有基於純 transformer 設計或利用基於 transformer 和 CNN 的混合方法的方法。由於針對不同遙感問題的基於 transformer 的方法的迅速湧現,跟上最新的進展變得越來越具有挑戰性。
在文章中,作者回顧遙感分析領域的進展,並介紹在遙感領域中流行的基於transformer 的方法,文章主要貢獻如下:
對基於transformer 的模型在遙感成像中的應用進行整體概述,並且作者是第一個對遙感分析中使用transformer 進行調研的,彌合了計算機視覺和遙感在這個快速發展和受歡迎的領域的最新進展之間的差距。
- 對 CNN 和 Transformer 進行概述,討論它們各自的優缺點。
- 回顧文獻中 60 多種基於 transformer 的研究工作,討論遙感領域的最新進展。
- 探討遙感分析中 transformer 的不同挑戰與研究方向。
文章的其餘部分安排:第2 節討論有關遙感成像的其他相關研究;第3 節概述遙感中不同的成像模式;第4 節簡要概述CNN和視覺transformer;第5 節回顧超高解析度(VHR) 成像;第6 節介紹高光譜影像分析;第7 節介紹合成孔徑雷達(SAR)中基於transformer 的方法進展;第8 節討論未來研究方向。
更多細節請參考原文。
- 論文連結:https://arxiv.org/pdf/2209.01206.pdf
- GitHub 網址:https://github.com/VIROBO-15/Transformer-in-Remote-Sensing
以上是回顧60多種 Transformer 研究,一文總結遙感領域最新進展的詳細內容。更多資訊請關注PHP中文網其他相關文章!

AI增強食物準備 在新生的使用中,AI系統越來越多地用於食品製備中。 AI驅動的機器人在廚房中用於自動化食物準備任務,例如翻轉漢堡,製作披薩或組裝SA

介紹 了解Python函數中變量的名稱空間,範圍和行為對於有效編寫和避免運行時錯誤或異常至關重要。在本文中,我們將研究各種ASP

介紹 想像一下,穿過美術館,周圍是生動的繪畫和雕塑。現在,如果您可以向每一部分提出一個問題並獲得有意義的答案,該怎麼辦?您可能會問:“您在講什麼故事?

繼續使用產品節奏,本月,Mediatek發表了一系列公告,包括新的Kompanio Ultra和Dimenty 9400。這些產品填補了Mediatek業務中更傳統的部分,其中包括智能手機的芯片

#1 Google推出了Agent2Agent 故事:現在是星期一早上。作為AI驅動的招聘人員,您更聰明,而不是更努力。您在手機上登錄公司的儀表板。它告訴您三個關鍵角色已被採購,審查和計劃的FO

我猜你一定是。 我們似乎都知道,心理障礙由各種chat不休,這些chat不休,這些chat不休,混合了各種心理術語,並且常常是難以理解的或完全荒謬的。您需要做的一切才能噴出fo

根據本週發表的一項新研究,只有在2022年製造的塑料中,只有9.5%的塑料是由回收材料製成的。同時,塑料在垃圾填埋場和生態系統中繼續堆積。 但是有幫助。一支恩金團隊

我最近與領先的企業分析平台Alteryx首席執行官安迪·麥克米倫(Andy Macmillan)的對話強調了這一在AI革命中的關鍵但不足的作用。正如Macmillan所解釋的那樣,原始業務數據與AI-Ready Informat之間的差距


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

Dreamweaver CS6
視覺化網頁開發工具

SecLists
SecLists是最終安全測試人員的伙伴。它是一個包含各種類型清單的集合,這些清單在安全評估過程中經常使用,而且都在一個地方。 SecLists透過方便地提供安全測試人員可能需要的所有列表,幫助提高安全測試的效率和生產力。清單類型包括使用者名稱、密碼、URL、模糊測試有效載荷、敏感資料模式、Web shell等等。測試人員只需將此儲存庫拉到新的測試機上,他就可以存取所需的每種類型的清單。

PhpStorm Mac 版本
最新(2018.2.1 )專業的PHP整合開發工具

ZendStudio 13.5.1 Mac
強大的PHP整合開發環境

SublimeText3 Linux新版
SublimeText3 Linux最新版