逼真即時渲染：基於Street Gaussians的動態城市場景建模
- 王林轉載
- 2024-01-08 13:49:461120瀏覽
實話實說，技術的更新速度確實非常快，這也導致了學術界中一些舊有的方法逐漸被新的方法所取代。最近，浙江大學的研究團隊提出了一種名為Gaussians的新方法，引起了廣泛的關注。這種方法在解決問題上有著獨特的優勢，並且已經在工作中得到了成功的應用。儘管Nerf在學術界逐漸失去了一些影
為了幫助尚未通過關卡的玩家們，我們來一起了解一下游戲解謎的具體方法吧。
要幫助還沒過關的玩家們，我們可以一起了解具體的解謎方法。為此，我找到了一篇關於解謎的論文，連結在這裡：https://arxiv.org/pdf/2401.01339.pdf。大家可以透過閱讀這篇論文來了解更多解謎的技巧。希望這對玩家們能夠有所幫助！
本文旨在解決從單眼影片建模動態城市街道場景的問題。最近的方法擴展了NeRF，將追蹤車輛姿態納入animate vehicles，實現了動態城市街道場景的照片逼真視圖合成。然而，它們的顯著限制在於訓練和渲染速度慢，再加上追蹤車輛姿態對高精度的迫切需求。這篇論文介紹了Street Gaussians，一種新的明確的場景表示，它解決了所有這些限制。具體地說，動態城市街道被表示為一組點雲，這些點雲配備有語義logits和3D Gaussians，每一個都與前景車輛或背景相關聯。
為了對前景物件車輛的動力學進行建模，可以使用可優化的追蹤姿態以及動態外觀的動態球面諧波模型對每個物件點雲進行最佳化。這種顯式表示方法允許簡單地合成目標車輛和背景，並且在半小時的訓練內以133 FPS（1066×1600解析度）進行場景編輯操作和渲染。研究人員對這種方法進行了多個具有挑戰性的基準評估，其中包括KITTI和Waymo Open資料集。
實驗結果表明，我們提出的方法在所有資料集上始終優於現有技術。儘管我們僅依賴現成追蹤器的姿態訊息，但是我們的表示方法提供的性能與使用真實姿態資訊所實現的性能相當。
為了幫助還沒過關的玩家們，我給大家提供了一個連結：https://zju3dv.github.io/streetgaussians/，這裡可以找到具體的解謎方法。大家可以點擊連結參考一下，希望能幫到你們。
Street Gaussians方法介紹
給定從城市街道場景中的移動車輛捕獲的一系列圖像，本文的目標是開發一個能夠為任何給定的輸入時間步長和任何視點產生真實感影像的模型。為了實現這一目標，提出了一個新的場景表示，命名為Street Gaussians，專門用於表示動態街道場景。如圖2所示，將動態城市街道場景表示為一組點雲，每個點雲對應於靜態背景或移動車輛。明確基於點的表示允許簡單地合成單獨的模型，從而實現即時渲染以及編輯應用程式的前景物件分解。僅使用RGB影像以及現成追蹤器的追蹤車輛姿態，就可以有效地訓練所提出的場景表示，透過我們的tracked車輛姿態優化策略進行了增強。
Street Gaussians概覽如下所示，動態城市街道場景表示為一組具有可優化tracked車輛姿態的基於點的背景和前景目標。每個點都分配有3D高斯，包括位置、不透明度和由旋轉和比例組成的協方差，以表示幾何體。為了表示apperence，為每個背景點分配一個球面諧波模型，而前景點與一個動態球面諧波模型相關聯。顯式的基於點的表示允許簡單地組合單獨的模型，這使得能夠實時渲染高質量的圖像和語義圖（如果在訓練期間提供2D語義信息，則是可選的），以及分解前景目標以編輯應用程式
實驗結果比較
我們在Waymo開放資料集和KITTI基準上進行了實驗。在Waymo開放資料集上，選擇了6個記錄序列，其中包含大量移動物體、顯著的ego運動和複雜的照明條件。所有序列的長度約為100幀，選擇序列中的每10張圖像作為測試幀，並使用剩餘的圖像進行訓練。當發現我們的基線方法在使用高解析度影像進行訓練時存在較高的記憶體成本時，將輸入影像縮小到1066×1600。在KITTI和Vitural KITTI 2上，遵循MARS的設置，並使用不同的訓練/測試分割設定來評估。在Waymo資料集上使用偵測器和追蹤器產生的邊界框，並使用KITTI官方提供的目標軌跡。
將本文的方法與最近的三種方法進行比較。
（1） NSG將背景表示為多平面圖像，並使用每個目標學習的潛在程式碼和共享解碼器來對運動目標進行建模。
（2） MARS是基於Nerfstudio建構場景圖。
（3） 3D高斯使用一組各向異性高斯對場景進行建模。
NSG和MARS都是使用GT框進行訓練和評估的，這裡嘗試了它們實現的不同版本，並報告了每個序列的最佳結果。我們還將3D高斯圖中的SfM點雲替換為與我們的方法相同的輸入，以進行公平比較。詳見補充資料。
以上是逼真即時渲染：基於Street Gaussians的動態城市場景建模的詳細內容。更多資訊請關注PHP中文網其他相關文章！