3D資產生成領域福音：自動化所、北郵團隊聯合打造材質生成新典範

AIxiv專欄是本站發布學術、技術內容的欄位。過去數年，本站AIxiv專欄接收通報了2,000多篇內容，涵蓋全球各大專院校與企業的頂尖實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或聯絡報道。投稿信箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

在今天的數位化時代，3D 資產在元宇宙的建構、數位孿生的實現以及虛擬實境和擴增實境的應用中扮演著重要角色，促進了技術創新和使用者體驗的提升。

現有的3D資產產生方法通常利用生成式模型基於空間變化雙向反射分佈函數（SVBRDF, Spatially Varying Bidirectional Reflectance Distribution Function）在預設光照條件下推斷表面位置的材質屬性。然而，這些方法很少考慮到人們對身邊常見物體的表面材質認知構建出的強大且豐富的先驗知識（例如汽車輪胎應為外緣的橡膠胎麵包裹著金屬輪轂），且忽略了材質應該與物體本身的RGB 色彩進行解耦。 Without changing the original meaning, the existing 3D asset generation methods often utilize generative models based on spatially varying bidirectional reflectance distribution function (SVBRDF) to infer material prosurfaces formh. take into account the strong and rich prior knowledge that people have in constructing the surface materials of common objects around us (such as the fact that car tires should have rubber tread covering metal rims on the outer edge), and the dem edge of the GB the 集）, and the dem edge 是), and the dem part them the un​​yion and the de the 集）, of the de the 集）, and the de the 集）, and the de the 集）, and the de the 集）, and the de the 集）, and the de the 集）, and the de the 集）, and the de the 集）, and the de the 集）, and the de the 集）, and the de the 集）, and the de the 集）, and the de the 集）, and the dem edge of the leh. objects themselves.

因此，如何將人類對物體表面材質的先驗知識有效地融入到材質生成過程中，從而提高現有3D資產的整體質量，成為了當前研究的重要課題。

對於這個問題，近日，中國科學院自動化研究所、北京郵電大學及香港理工大學等京港兩地的研究團隊發布了名為《MaterialSeg3D: Segmenting Dense Materials from 2D Priors for 3D Assets》的論文，建構了首個針對多種類複雜材質物體的2D 材質分割資料集MIO，其中包含了多種語意類別下的、單一物體的、各個相機角度的像素級材質標籤。該研究提出了一種能夠利用 2D 語意先驗在 UV 空間中推斷出 3D 資產表面材質的材質生成方案 —— MaterialSeg3D。

• 論文：https://arxiv.org/pdf/2404.13923

• 程式碼位址：https ://github.com/PROPHETE-pro/MaterialSeg3D_

• 計畫網站：https://materialseg3d.github.io/

##3D 建模師通常根據生活常識或真實世界的物件原型來定義資產表面的材質。相較之下，基於生成式模型建立 3D 資產的方法使用 SVBRDF 來推斷材質訊息，但由於缺乏準確的高品質 3D 資產樣本，這些方法難以產生高泛化性和高保真度的物理材質通道資訊。此外，這類方法也未能利用公開網站中的海量 Web Image 資料來豐富物件表面材質資訊的先驗知識。

因此，本文聚焦在如何將 2D 圖片中關於材質的先驗知識引入解決 3D 資產材質資訊定義的任務中。

MIO 資料集

這篇論文首先嘗試從現有 3D 資產資料集中提取材質分類的先驗知識，但由於資料集樣本過少且風格單一，分割模型難以學習到正確的先驗知識。

比起 3D 資產，2D 圖像則更為廣泛地存在於公開網站或資料集上。然而，現有的註釋 2D 影像資料集與 3D 資產渲染圖的分佈有較大差距，無法直接提供足夠的材質先驗知識。

因此，本文建構了一個客製化資料集MIO（Materialized Individual Objects），是目前最大的多類別單一複雜材質資產的2D 材質分割資料集，包含了從各種相機角度採樣的影像，並由專業團隊精確註解。

                               ^{作用中與 PBR 中視覺化範例中使用圖的視覺範例。}

在建構此資料集時，本文遵循以下規則: 

• 每張取樣影像中只包含一個突出的前景物件 

• 收集類似數量的真實場景2D 圖片和3D 資產渲染圖

• 收集各個相機角度的影像樣本，包括頂視圖和仰視圖等特殊視角

MIO 資料集的獨特之處在於，它不僅建構了每個材質類別的像素級標籤，還單獨建構了每個材質類別與PBR 材質取值間的一一映射關係。這些映射關係是由 9 位專業 3D 建模師經過討論後確定的。本文從公共材質庫收集了超過1000 個真實的PBR 材質球作為備選材質，並依據建模師的專業知識進行篩選與指定，最終確定了14 個材質類別並將其與PBR 材質的映射關係作為資料集的標註空間。

MIO 資料集共包含23,062 張單一複雜物體的多視角影像，分為5 個大的元類：家具、汽車、建築、樂器和植物，具體又可以分為20 種具體的類別，特別值得一提的是，MIO 資料集中包含大約4000 張俯視圖影像，提供了在現有2D 資料集中很少出現的獨特視角。

MaterialSeg3D

有了MIO 資料集作為可靠的材質資訊先驗知識來源，這篇論文隨後提出了名為MaterialSeg3D 的全新3D 資產表面材質預測新範式，為給定的資產表面生成合理的PBR 材質，從而能夠真實地模擬物體的物理特性，包括光照、陰影和反射，使3D 物件在各種環境下都表現出高度的真實性和一致性，為現有3D 資產缺乏材質資訊的問題提出有效解決方案。

MaterialSeg3D 整個處理流程中包含三個部分：3D 資產的多重視圖渲染、多重視圖下的材質預測和 3D 材質 UV 產生。在多視圖渲染階段，確定了俯視圖、側視圖和 12 個環繞角度的相機姿勢，以及隨機的俯仰角度，產生 2D 渲染影像。在材質預測階段，利用基於 MIO 資料集訓練的材質分割模型，對多視角渲染圖進行像素級的材質標籤預測。在材質 UV 生成階段，將材質預測結果映射到臨時 UV 圖上，透過加權投票機制處理得到最終的材質標籤 UV，並轉化為 PBR 材質貼圖。

視覺化的效果與實驗

为评估 MaterialSeg3D 的有效性，本文进行了与近期相似工作的定量与定性实验分析，重点关注单图像到 3D 资产的生成方法、纹理生成以及公共 3D 资产三个方面。对于单图像到 3D 资产的生成方法，与 Wonder3D、TripoSR 和 OpenLRM 进行了比较，这些方法将资产的某一参照视图作为输入，直接生成具有纹理特征的 3D 对象。通过可视化图片观察到，MaterialSeg3D 处理后的资产在渲染的真实性方面相较之前的工作有显著改善。论文还比较了现有的纹理生成方法，如 Fantasia3D、Text2Tex 以及 Meshy 网站提供的在线功能，这些方法可以根据文本提示信息生成纹理结果。

在此基础上，MaterialSeg3D 在不同的光照条件下能够生成精确的 PBR 材质信息，使渲染效果更加真实。

定量实验采用 CLIP Similarity、PSNR、SSIM 作为评价指标，选择 Objaverse-1.0 数据集中的资产作为测试样本，并随机选择三个相机角度作为新视图。

这些实验证明了 MaterialSeg3D 的有效性。其能够生成公共 3D 资产缺失的 PBR 材质信息，为建模师和后续的研究工作提供更多优质资产。

总结与展望

这篇论文针对 3D 资产表面材质生成问题进行了探索，构建了定制的 2D 材质分割数据集 MIO。在这一可靠数据集的支持下，提出了新的 3D 资产表面材质生成范式 MaterialSeg3D，能够为单个 3D 资产生成可解耦的独立 PBR 材质信息，显著增强了现有 3D 资产在不同光照条件下的渲染真实性和合理性。

作者指出，未来的研究将专注于扩展数据集中物体元类的数量、通过生成伪标签扩大数据集规模以及对材质分割模型进行自训练，以便该生成范式能够直接应用于绝大多数种类的 3D 资产。

以上是3D資產生成領域福音：自動化所、北郵團隊聯合打造材質生成新典範的詳細內容。更多資訊請關注PHP中文網其他相關文章！