iPhone即時渲染300平房間，達到公分精度！谷歌最新研究：NeRF尚未破產

3D即時渲染大型場景，一台電腦，甚至一部手機就可以完成。

從家裡的客廳到主臥，儲物間，廚房，浴室各個死角，都能逼真在電腦中完成渲染，如同拍攝實體影片。

而且，你還可以在一台iPhone上完成複雜場景渲染。

來自Google、GoogleDeepMind和圖賓根大學的研究人員最近提出了一種全新技術SMERF。

它可以在智慧型手機和筆記型電腦各種裝置上即時渲染大型視圖場景。

論文網址：https://arxiv.org/pdf/2312.07541.pdf

本質上講，SMERF是一種基於NeRFs的方法，依賴記憶體效率更高的MERF（Memory-Efficient Radiance Fields）。

NeRF已死？

目前，輻射場（Radiance fields）已成為一種強大且易於優化的表示形式，用於重建和重新渲染逼真的真實3D場景。

與網格和點雲等明確表示相反，輻射場通常儲存為神經網路並使用體積射線行進進行渲染。

在給定足夠大的計算預算的情況下，神經網路可以簡潔地表示複雜的幾何形狀和依賴視圖的效果。

作為體積表示，渲染影像所需的操作數量以像素數量而不是圖元（例如三角形）的數量為單位，性能最佳的模型需要數千萬次網路評估。

因此，輻射場的即時方法在質量、速度或表示大小方面做出了讓步，並且這種表示是否可以與高斯潑濺（Gaussian Splatting ）等替代方法競爭，仍然是一個懸而未決的問題。

最新研究中，作者提出了一種可擴展的方法，從而實現比以往更高保真度的即時大空間渲染。

SMERF即時渲染，精準度達公分等級

SMERF專為學習大型3D表示所設計，例如房屋的渲染。

Google等研究人員結合一種分層模型劃分的方案，其中空間的不同部分和學習參數由不同的MERF表示。

這不僅增加了模型容量，而且同時限制了計算和記憶體需求。因為類似這樣大型的3D表示是無法用經典NERF進行即時渲染。

SMERF中有K=3座標空間分區和P=4延遲外觀網路子分區的場景的座標系

為了提升SMERF的渲染質量，研究團隊也使用了一種「教師—學生」的蒸餾方法。

在這個方法中，已經訓練好的高品質Zip-Nerf模型（教師），被用來訓練一個新的MERF模型（學生）。

如下圖，「教師監督」的整體流程。教師模型透過渲染顏色提供光度監督，並透過沿著相機光線的體積權重提供幾何監督。教師和學生都在同一組光線間隔上操作。

#

這種方法可以讓研究人員將強大的Zip-Nerf模型的細節和圖像質量，轉移到更有效率、更快的結構上。

這對智慧型手機和筆記型電腦等功能較弱的裝置上的應用尤其有用。

實驗評估

研究人員首先在Zip-NeRF引入的4大場景上評估了方法：柏林、阿拉米達、倫敦和紐約。

這些場景中的每一個都是使用180°魚眼鏡頭拍攝的1,000-2,000 張照片。為了與3DGS進行全面比較，研究人員將照片裁切為110°，並使用COLMAP重新估計相機參數。

表1所示的結果表明，對於適度的空間細分K，最新方法的精確度大大超過了MERF和3DGS。

隨著K的增加，模型的重建精度提高，並接近其 Zip-NeRF老師的精度，在K=5時差距小於0.1 PSNR和0.01 SSIM。

研究人員也發現這些定量的改進低估了重建的定性改進準確性，如圖5所示。

在大型場景中，SMERF方法一致地對薄幾何體、高頻紋理、鏡面高光和即時基線無法達到的遠處內容進行建模。

同時，研究人員發現增加子模型解析度自然會提高質量，特別是在高頻紋理方面。

實際上，研究人員發現最新渲染方法與Zip-NeRF幾乎沒有區別，如圖8所示。

此外，研究人員在室內和室外場景的mip-NeRF 360資料集上進一步評估了最新方法。

這些場景比Zip-NeRF資料集中的場景小得多，因此無需空間細分即可獲得高品質結果。如表2所示，模型的K=1版本在影像品質方面優於該基準測試中所有先前的即時模型，渲染速度與3DGS相當。

圖6和圖8定性地說明了這種改進，研究人員提出的方法在表示高頻幾何和紋理方面要好得多，同時消除了分散注意力的漂浮物和霧。

網頁即可傳輸逼真3D空間

一旦經過訓練，SMERF就可以在瀏覽器匯總實現完全6個自由度的導航，並在流行的智慧型手機和筆記型電腦上進行即時渲染。

人人都知，即時渲染的大型3D場景的能力對於各種應用非常重要，包括視訊遊戲、虛擬擴增實境，以及專業設計和架構應用程式。

例如，Google沉浸式地圖中，可以進行即時導航。

不過Google等團隊提出的最新方法也有一定的限制。雖然SMERF有優異的重建品質和儲存效率，但儲存成本高、載入時間長、訓練工作量大。

不過，這項研究表明，與三維高斯拼接法相比，NeRFs和類似的輻射場在未來仍具有優勢。

以上是iPhone即時渲染300平房間，達到公分精度！谷歌最新研究：NeRF尚未破產的詳細內容。更多資訊請關注PHP中文網其他相關文章！