NUS華人團隊發布最新模型：單視圖重建3D，快速準確！

2D影像的3D重建一直是CV領域的重頭戲。

層出不同的模型被發展出來試圖攻克這個難題。

今天，新加坡國立大學的學者共同發表了一篇論文，發展了一個全新的框架Anything-3D來解決這個老大難問題。

#論文網址：https://arxiv.org/pdf/2304.10261.pdf

#借助Meta「分割一切」模型，Anything-3D直接讓分割後的任意物體活起來了。

另外，再用上Zero-1-to-3模型，就可以得到不同角度的柯基。

甚至，還可以進行人物3D重建。

可以說，這把真突破了。

Anything-3D！

在現實世界中，各種物件和各類環境既多元又複雜。所以，在不受限制的情況下，從單一RGB影像中進行三維重建面臨許多困難。

在此，新加坡國立大學研究人員結合了一系列視覺語言模型和SAM（Segment-Anything）物件分割模型，產生了一個功能多、可靠的系統— —Anything-3D。

目的就是在單一視角的條件下，完成3D重建的任務。

他們採用BLIP模型產生紋理描述，用SAM模型擷取影像中的物體，然後利用文字→影像的擴散模型Stable Diffusion將物體放置到Nerf（神經輻射場）中。

在後續的實驗中，Anything-3D展現了其強大的三維重建的能力。不僅準確，適用面也非常廣泛。

Anything-3D在解決現有方法的限制這方面，效果明顯。研究者透過對各類資料集的測驗和評估，展現了這種新框架的優點。

上圖中，我們可以看到，「柯基吐舌頭千里奔襲圖」、「銀翅女神像委身豪車圖」 ，以及「田野棕牛頭戴藍繩圖」。

這是一個初步展示，Anything-3D框架能夠熟練地將在任意的環境中拍攝的單視角圖像中恢復成的3D的形態，並生成紋理。

儘管相機視角和物件屬性有很大的變化，但這種新框架總是能提供準確度較高的結果。

要知道，從2D影像重建3D物件是電腦視覺領域主題的核心，對機器人、自動駕駛、擴增實境、虛擬現實，以及三維列印等領域都有巨大影響。

雖說這幾年來取得了一些不錯的進展，但在非結構化環境中進行單一影像物件重建的任務仍然是一個具有很大吸引力且亟待解決的問題。

目前，研究人員的任務就是從一張單一的二維影像中產生一個或多個物體的三維表示，表示方法包括點雲、網格或體積表示。

然而，這個問題根本上並不成立。

由於二維投影所產生的內在模糊性，無法明確地確定一個物體的三維結構。

再加上形狀、大小、紋理和外觀的巨大差異，重建自然環境下的物體非常複雜。此外，現實世界影像中的物體經常會被遮擋，這會阻礙被遮蔽部分的精確重建。

同時，光照和陰影等變數也會大幅影響物體的外觀，而角度和距離的不同也會導致二維投影的明顯變化。

困難說夠了，Anything-3D可以出場了。

論文中，研究人員詳細介紹了這個開創性的系統框架，將視覺語言模型和物件分割模型融合在一起，輕鬆鬆就能把2D物件搞成3D的。

這樣，一個功能強大、自適應能力強的系統就成了。單視圖重建？ Easy.

研究人員表示，將這兩種模型結合，就可以擷取並確定給定影像的三維紋理和幾何形狀。

Anything-3D利用BLIP模型（Bootstrapping語言-圖像模型）預先訓練圖像的文字描述，然後再用SAM模型辨識物件的分佈區域。

接下來，利用分割出來的物件和文字描述來執行3D重建任務。

換句話說，論文利用預先訓練好的2D文字→影像擴散模型來進行影像的3D合成。此外，研究人員以分數蒸餾訓練一個專門用於影像的Nerf.

上圖就是產生3D影像的整個過程。左上角是2D原圖，先經過SAM，分割出柯基，再經過BLIP，生成文本描述，再用分數蒸餾搞個Nerf出來。

透過對不同資料集的嚴格實驗，研究人員展示了這種方法的有效性和適應性，同時，在準確性、穩健性和概括能力方面都超過了現有的方法。

研究人員也對自然環境中3D物件重建中已有的挑戰進行了全面深入地分析，探討了新框架如何解決此類問題。

最終，透過將基礎模型中的零距離視覺和語言理解能力融合，新框架更能從真實世界的各類影像中重建物體，產生精確、複雜、適用面廣的3D表示。

可以說，Anything-3D是3D物件重建領域的一個重大突破。

以下是更多的例子：

                酷黑色內裝小白保時捷，亮麗橙色挖機吊車，綠帽小黃橡皮鴨

            時代眼淚褪色大砲、小豬可愛迷你存錢筒、硃砂紅四腳高腳凳

這個新框架可以互動式地辨識單視角影像中的區域，並以最佳化的文字嵌入來表示2D物體。最終，使用一個3D感知的分數蒸餾模型有效地產生高品質的3D物體。

總之，Anything-3D展示了從單視角影像重建自然3D物體的潛力。

研究者稱，新框架3D重建的品質還可以更完美，研究人員正在不斷努力提高生成的品質。

此外，研究人員表示，目前沒有提供3D資料集的定量評估，如新的視圖合成和誤差重建，但在未來的工作迭代中會納入這些內容。

同時，研究人員的最終目標是擴大這個框架，以適應更多的實際情況，包括稀疏視圖下的物件復原。

作者介紹

Wang目前是新加坡國立大學（NUS）ECE系的終身助理教授。

在加入新加坡國立大學之前，他曾是Stevens理工學院CS系的助理教授。在加入Stevens之前，我曾在伊利諾大學厄巴納-香檳分校Beckman研究所的Thomas Huang教授的圖像形成小組擔任博士後。

Wang在洛桑聯邦理工學院（EPFL）電腦視覺實驗室獲得博士學位，由Pascal Fua教授指導，並在2010年獲得香港理工大學計算機系的一等榮譽學士學位。

以上是NUS華人團隊發布最新模型：單視圖重建3D，快速準確！的詳細內容。更多資訊請關注PHP中文網其他相關文章！