把整個地球裝進神經網絡，北航團隊推出全球遙感影像生成模型

北航的研究團隊，用擴散模型「復刻」了一個地球？

在全球的任何位置，模型都能產生多種解析度的遙感影像，創造出豐富多樣的「平行場景」。

而且地形、氣候、植被等複雜的地理特徵，也全都考慮到了。

受Google Earth啟發，北航的研究團隊從俯拍視角出發，將整顆地球的衛星遙感影像「裝進」了深度神經網路。

基於這樣的網絡，團隊建構了覆蓋全球的俯視視角視覺生成模型MetaEarth。

MetaEarth擁有6億參數，可實現多種解析度、無界且覆蓋全球任意地理位置的遙感影像生成。

涵蓋全球的遙感影像生成模型

比起先前的研究，建構世界性的視覺生成基礎模型更具挑戰性，過程之中克服了多個難點。

模型容量是挑戰，因為地球具有城市、森林、沙漠、海洋、冰川和雪地等廣泛的地理特徵，需要模型能夠理解和表徵。

即使是同一類型的人造地物，在不同的緯度、氣候和文化環境下，也會表現出巨大差異，這對生成模型的容量提出了很高的要求。

MetaEarth成功解決了這個困難，實現了不同地點、地形的高解析度、大範圍場景生成。

另外，實現解析度可控的遙感影像生成，同樣是一項挑戰。

因為在俯拍影像成像過程中，地物特徵的展現受解析度影響很大，在不同影像解析度下具有明顯的差異，難以具備在指定解析度（公尺/像素）下精準生成的能力。

而在MetaEarth產生不同解析度的影像時，都能準確合理地呈現地物特徵，而且不同解析度之間的關聯性也得到了精確對應。

最後是無界影像生成的挑戰－與日常自然影像不同，遙感影像具有超大幅寬的特性，邊長可能達到數萬像素，先前的方法都難以產生連續、任意大小的無界影像。

但MetaEarth產生的連續無界場景，避開了這一缺陷，可以看到隨著「鏡頭」的平移影像的移動十分絲滑。

此外，MetaEarth具有強大的泛化性能，能夠以未知場景作為條件輸入級聯產生多解析度影像。

例如，將GPT4-V產生的「潘朵拉星球」作為初始條件輸入模型，MetaEarth仍能產生具有合理地物分佈和逼真細節的影像。

下游任務上的驗證結果表明，MetaEarth作為一種全新的資料引擎，有望為地球觀測領域各類下游任務提供虛擬環境和訓練資料支援。

實驗過程中，作者選擇了遙感影像分類這項基礎任務進行驗證，結果顯示，MetaEarth所產生的高品質影像的輔助下，下游任務分類精度有顯著提升。

作者認為，MetaEarth有望為衛星等空天無人系統平台提供一個逼真的虛擬環境，並在城市規劃、環境監測、災害管理、農業優化等領域廣泛應用；

除了作為資料引擎之外，MetaEarth在建構生成式世界模型方面也具有巨大潛力，為未來的研究提供新的可能性。 。

那麼，MetaEarth究竟是如何實現的呢？

6億參數擴散模型「復刻」地球

MetaEarth基於機率擴散模型構建，具有超過六億的參數規模。

為支援模型訓練，團隊收集了一個大型遙感影像資料集，包含覆蓋全球大多數地區的多個空間解析度的影像及其地理資訊（緯度、經度和解析度） 。

在本研究中，作者提出了一個解析度引導的自級聯生成框架。

△MetaEarth的整體框架

在該框架下，僅用單一模型即可實現給定地理位置的多解析度圖像生成，並在每一級解析度下創造出豐富多樣的「平行場景」。

具體來說，這是一種編解碼器結構的去噪網絡，將低解析度條件影像和空間解析度編碼後與去噪過程的時間步嵌入相結合，預測每個時間步的噪聲，實現影像生成。

為了產生無界的任意大小影像，作者也設計了一種記憶體高效的滑動視窗生成方法和雜訊取樣策略。

此策略將產生的影像切分成重疊的影像區塊作為條件，透過特定的雜訊取樣策略，使相鄰影像區塊的共用區域產生相似的內容，從而避免拼接縫隙。

此外，這種雜訊取樣策略，也使得模型能在實現任意尺寸的無界影像產生時，消耗較少的顯存資源。

團隊簡介

本研究的作者來自北京航空航天大學的「學習、視覺與遙感實驗室」（LEarning, VIsion and Remote sensing laboratory，LEVIR Lab），實驗室由國家傑青史振威教授領導。

史振威教授曾經的博士生、密西根大學博士後，現任該實驗室成員的鄒徵夏教授，是本文的通訊作者。

論文網址：https://www.php.cn/link/31bb2feb402ac789507479daf9713b00
計畫首頁：#https://www.php.cn/link/a0098fd07db7692267fca4f4169c9ba2

#

以上是把整個地球裝進神經網絡，北航團隊推出全球遙感影像生成模型的詳細內容。更多資訊請關注PHP中文網其他相關文章！