OpenSVBRDF發布：材質界的ImageNet等級的大規模6維材質實拍資料庫

在計算圖形學領域，材質的外觀描述了真實物體與光線之間的複雜物理交互作用。這種描述通常被稱為隨空間位置變化的雙向反射分佈函數（Spatially-Varying Bidirectional Reflectance Distribution Function，縮寫為 SVBRDF）。在視覺運算中，它是不可或缺的組成部分，並廣泛應用於文化遺產、電​​子商務、電子遊戲和視覺特效等領域

在過去的二十年中，特別是深度學習流行之後，學術界和工業界對於高精度、多樣化數位材質外觀的需求不斷增加。然而，由於技術方面的挑戰，採集大型資料庫仍然是一項相當困難的任務，目前能夠公開使用的材質外觀實拍資料庫數量非常有限

為此，浙江大學電腦輔助設計與圖形系統全國重點實驗室和杭州相芯科技有限公司的研究團隊聯合提出了一種新型集成系統，用於魯棒、高質量和高效地採集平面各向異性材質外觀。利用該系統，研究團隊建構了 OpenSVBRDF 公開材質資料庫。

以下是OpenSVBRDF資料庫中一些材質範例的展示，如圖1所示。每一行都屬於同一種材質類別

這是第一個大規模6 維SVBRDF 的實測資料庫，共有1,000 個高品質平面樣本，空間解析度為1,024×1,024， 等效為超過10 億個實測BRDF，涵蓋了包括木材、織物和金屬在內的9 個類別。

資料庫首頁：https://opensvbrdf.github.io/

目前，資料庫對非商業應用完全免費。只需在網站上提交基本資料申請帳號，經過審核後，即可直接下載包括GGX紋理貼圖在內的相關資料和代碼。相關研究論文《OpenSVBRDF: 一個包含測量空間變化反射性的資料庫》已被電腦圖形學頂級國際會議ACM SIGGRAPH ASIA 2023（期刊論文）接收

請點擊以下連結查看論文主頁：https://svbrdf.github.io/

#技術挑戰

##在不在改變原意的情況下，需要重寫的內容是：根據[Lawrence et al. 2006]，直接採樣方法是在不同的光照和觀察角度下對物理材質進行密集測量。儘管這種方法可以獲得高品質且穩定的採集結果，但它的效率較低，需要大量的時間和儲存成本。另一種選擇是基於先驗知識的重建方法，它可以從稀疏的採樣資料中重建材質。雖然這種方法提高了效率，但當先驗條件不滿足時，重建的品質可能不如人意[Nam et al. 2018]。此外，儘管目前的光路復用技術達到了較高的採集效率和重建質量，但在處理高度複雜的材質，如拉絲金屬和拋光木皮等方面，演算法的穩健性還有待提高[Kang et al. 2018]

###############圖2：現有材質採集研究的代表工作。由左至右分別是 [Lawrence et al. 2006]，[Nam et al. 2018] 以及 [Kang et al. 2018]。其中 [Kang et al. 2018] 為該團隊在 2018 年發表於 ACM SIGGRAPH 的早期工作。 ############硬體############為高效能掃描材質外觀，研究團隊搭建了一個接近半立方體的近場光照多路復用設備，其尺寸約70cm×70cm×40cm。樣本被放置在一塊透明的壓克力板上，可以透過抽屜滑軌快速滑入 / 滑出，來實現高吞吐率。該設備由 2 台機器視覺相機和 16,384 個高亮度 LED 組成，兩台相機分別從大約 90 度（主視角）和 45 度（次視角）的角度拍攝樣本，LED 分佈在設備的 6 個面上。自主研發的高效能控制電路負責對每個 LED 進行獨立亮度控制，並在硬體層面實現了光源投射和相機曝光的高精度同步。 ################

請看圖3：採集裝置的外觀以及從兩個不同角度拍攝的照片

#採集重建

本系統獨特地融合了目前流行的基於網路預測和基於微調的兩種方法，以提高實體採集的效率。透過可微分光照圖案的優化，同時透過微調進一步提升結果的品質。這是首次實現對平面SVBRDF高魯棒性、高品質和高效率的採集和重建

#具體而言，為了重建物理樣本，研究人員首先通過在均勻照明下搭配密集的SIFT特徵來建立兩個相機視角之間的高精度對應關係。對於物理採集，首先將光照圖案作為自編碼器的一部分進行最佳化，以實現高效率的採集。這個自編碼器會自動學習如何基於兩個視角的測量值來重建複雜外觀，並將結果表示為中間神經表達。隨後，透過繪製影像誤差對神經表現進行微調，以提高最終結果的品質和穩健性，這是根據主視角相機在63個等效線性光源下拍攝的照片來進行的。圖3展示了整個系統的處理流程。詳細資訊請參閱原文論文

圖 4：整個系統的採集重建流程。

結果

研究團隊收集了外觀數據，並共採集了1,000個樣本，共分為9個類別。為了更方便地使用基於物理標準繪製管線（PBR），研究也將神經表現適配至業界標準的各向異性GGX BRDF模型參數。圖5展示了材料重建結果的分項參數和屬性。每個樣本都包含193張原始HDR照片（總大小為15GB）、中間神經表達（290MB）以及6張貼圖，其中包括表示GGX參數的紋理貼圖和透明度貼圖（總大小為55MB）。神經表現與紋理貼圖的空間解析度皆為1,024×1,024

#重寫後的內容：圖5：重建材質結果的分項屬性（包括神經表達、漫反射率、高光反射率、粗糙度等）

為了證明重建結果的正確性，研究人員將主視角下的照片（下圖第一行）和神經表達繪製結果（下圖第二行）進行了比較。定量誤差（以 SSIM/PSNR 表達）標註在繪製圖片的底部。由下圖結果可見，本系統實現了高品質材質重建（SSIM>=0.97, PSNR>=34db）。

圖 6：實拍照片和神經表現繪製結果在主視角下的比較。

為了進一步證明重建結果的視角域泛化性，研究人員將點光源照射下、兩個視角所拍攝的照片和使用GGX 擬合參數繪製的結果進行了比較，驗證了重建結果的跨視角正確性。

圖片7：比較實際拍攝照片和使用各向異性GGX 擬合參數繪製的結果在兩個視角下的對比

研究者也展示了這個資料庫在材質生成、材質分類、材質重建三方面的應用。具體細節請參考原始論文。

圖8展示了利用OpenSVBRDF訓練MaterialGAN來實現材質產生與內插的過程

圖9展示了利用OpenSVBRDF訓練主動光照以提升材質分類精確度的過程

重寫內容如下：圖片10：使用OpenSVBRDF來提高基於單點取樣（左）和光路多路復用（右）的BRDF重建品質

展望

研究人員將努力擴展現有資料庫，增加展現多樣性外觀的材質樣本。未來，他們也計劃建立同時包含材質外觀和幾何形狀的大規模高精度實測物體資料庫。此外，研究人員將基於 OpenSVBRDF 設計在材質估計、分類和生成等方向上的公開 Benchmark，透過客觀定量的標準測試，為推動相關研究的未來發展提供堅實的數據保障。

以上是OpenSVBRDF發布：材質界的ImageNet等級的大規模6維材質實拍資料庫的詳細內容。更多資訊請關注PHP中文網其他相關文章！