搜尋
首頁科技週邊人工智慧材質界的ImageNet,大規模6維材質實拍資料庫OpenSVBRDF發布|SIGGRAPH Asia

在計算圖形學領域,材質外觀刻畫了真實物體與光線之間的複雜物理交互,通常可表達為隨空間位置變化的雙向反射分佈函數(Spatially-Varying Bidirectional Reflectance Distribution Function,縮寫為SVBRDF) 。它是視覺運算中不可或缺的一部分,在文化遺產、電​​子商務、電子遊戲和視覺特效等領域中有著廣泛的應用。

在過去的二十年裡,特別是深度學習流行後,學術界與工業界對高精度、多樣化數位材質外觀的需求不斷增加。但由於技術上的挑戰,採集大型資料庫仍然十分困難,目前公開可用的材質外觀實拍資料庫的數量非常有限。

為此,浙江大學電腦輔助設計與圖形系統全國重點實驗室和杭州相芯科技有限公司的研究團隊聯合提出了一種新型整合系統,使用於魯棒、高品質和高效地採集平面各向異性材質外觀。利用該系統,研究團隊建構了 OpenSVBRDF 公開材質資料庫

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                               圖 1:OpenSVBRDF 資料庫中進行中的局部範例展示中展示。每一行同屬一個材質類別。

這是第一個大規模6 維SVBRDF 的實測資料庫,共有1,000 個高品質平面樣本,空間解析度為1,024×1,024 ,等效為超過10 億個實測BRDF,涵蓋了包括木材、織物和金屬在內的9 個類別。

資料庫首頁:https://opensvbrdf.github.io/

目前,資料庫對非商業應用完全免費。只需要提交基本資料在網站上申請帳號,通過審核後,即可直接下載包括 GGX 紋理貼圖在內的相關資料和代碼。相關研究論文《OpenSVBRDF: A Database of Measured Spatially-Varying Reflectance》已被電腦圖形學頂級國際會議 ACM SIGGRAPH ASIA 2023 (Journal Track) 長文接收。

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

論文首頁:https://svbrdf.github.io/

技術挑戰

直接取樣方法在不同的光照和觀察角度的組合下對物理材質進行密集測量 [Lawrence et al. 2006]。這麼做雖然能夠獲得高品質且穩健的採集結果,但其效率很低,需要高昂的時間和儲存成本。還有一種選擇是基於先驗知識的重建方法,可以從稀疏的採樣資料中重建材質。這樣雖然提高了效率,但當先驗條件不滿足時,其品質不盡人意 [Nam et al. 2018]。此外,目前SOTA光路復用技術,雖然達到了較高的採集效率和重建質量,但在處理如拉絲金屬和拋光木皮等高度複雜材質時,演算法還不夠魯棒 [Kang et al. 2018]。
材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia
圖 2:現有材質採集研究的代表工作。由左至右分別是 [Lawrence et al. 2006],[Nam et al. 2018] 以及 [Kang et al. 2018]。其中 [Kang et al. 2018] 為該團隊在 2018 年發表於 ACM SIGGRAPH 的早期工作。

硬體

#為高效能掃描材質外觀,研究團隊搭建了一個接近半立方體的近場光照多工設備,其尺寸約為70cm×70cm×40cm。樣本被放置在一塊透明的壓克力板上,可以透過抽屜滑軌快速滑入 / 滑出,來實現高吞吐率。該設備由 2 台機器視覺相機和 16,384 個高亮度 LED 組成,兩台相機分別從大約 90 度(主視角)和 45 度(次視角)的角度拍攝樣本,LED 分佈在設備的 6 個面上。自主研發的高效能控制電路負責對每個 LED 進行獨立亮度控制,並在硬體層面實現了光源投射和相機曝光的高精度同步。

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                圖 3:擷取裝置外觀中所使用的資料。

#採集重建

本系統創新地結合了目前基於網路預測和基於微調兩大類流行方法的優點,既能透過可微分光照圖案優化來增加物理採集效率,又能透過微調來進一步提升最終結果質量,從而首次實現了對於平面SVBRDF 的高魯棒性、高品質以及高效率的採集重建。

具體來說,為了重建物理樣本,研究者首先透過在均勻照明下匹配密集 SIFT 特徵來建立兩個相機視角之間的高精度對應關係。對於物理採集,首先將光照圖案作為自編碼器的一部分進行最佳化,實現高效採集。這個自編碼器自動學習如何基於兩個視角的測量值來重建複雜外觀,並將結果表示為中間神經表達。隨後,根據主視角相機在 63 個等效線性光源下拍攝的照片,透過繪製影像誤差對神經表達進行微調,以提高最終結果的品質和穩健性。圖 3 展示了整個系統的處理流程。更多詳細資訊請參閱原文論文。

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                               圖 4中建立系統中。

結果

#研究者共採集重建了9個類別,共計1,000 個樣本的外觀,為了方便基於物理的標準繪製管線(PBR)直接使用,該研究還將神經表達擬合到了業界標準的各向異性GGX BRDF 模型參數。圖 5 展示了材質重建結果的分項參數 / 屬性。每個樣本儲存了 193 張原始 HDR 照片(總大小 15GB)、中間神經表現(290MB),以及 6 張張貼圖,包括表示 GGX 參數的紋理貼圖和透明度貼圖(總大小 55MB)。神經表現和紋理貼圖的空間解析度均為 1,024×1,024。

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                 時中排位圖 5:材料粗化結果中分項特性(含神經反射與漫射率、高表現率)。

為了證明重建結果的正確性,研究者將主視角下的照片(下圖第一行)和神經表達繪製結果(下圖第二行)進行了比較。定量誤差(以 SSIM/PSNR 表達)標註在繪製圖片的底部。由下圖結果可見,本系統實現了高品質材質重建(SSIM>=0.97, PSNR>=34db)。

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                 之後中擷取中上的結果所顯示結果。

為了進一步證明重建結果的視角域泛化性,研究者將點光源照射下、兩個視角所拍攝的照片和使用GGX 擬合參數繪製的結果進行了比較,驗證了重建結果的跨視角正確性。

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                圖上繪製在兩個中對視圖與各向異性 GGX 擬合參數的結果繪製結果。

研究人員也展示了資料庫在材質生成、材質分類、材質重建三方面的應用。具體細節請參考原始論文。

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                    配備作用

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                   圖 9中使用中對式培養 9:利用 OpenBR            圖 9:利用 系統訓練 9:利用 OpenBR 分類精確分類。

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                圖10:利用以OpenSVBRDF時為基礎來提升基於單點取樣與基於單點取樣(基於複路和單點取樣)以提高單點方法的BRDF 重建品質。

展望

研究人員將努力擴展現有資料庫,增加展現多樣性外觀的材質樣本。未來,他們也計劃建立同時包含材質外觀和幾何形狀的大規模高精度實測物體資料庫。此外,研究人員將基於 OpenSVBRDF 設計在材質估計、分類和生成等方向上的公開 Benchmark,透過客觀定量的標準測試,為推動相關研究的未來發展提供堅實的數據保障。

以上是材質界的ImageNet,大規模6維材質實拍資料庫OpenSVBRDF發布|SIGGRAPH Asia的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:机器之心。如有侵權,請聯絡admin@php.cn刪除
微軟工作趨勢指數2025顯示工作場所容量應變微軟工作趨勢指數2025顯示工作場所容量應變Apr 24, 2025 am 11:19 AM

由於AI的快速整合而加劇了工作場所的迅速危機危機,要求戰略轉變以外的增量調整。 WTI的調查結果強調了這一點:68%的員工在工作量上掙扎,導致BUR

AI可以理解嗎?中國房間的論點說不,但是對嗎?AI可以理解嗎?中國房間的論點說不,但是對嗎?Apr 24, 2025 am 11:18 AM

約翰·塞爾(John Searle)的中國房間論點:對AI理解的挑戰 Searle的思想實驗直接質疑人工智能是否可以真正理解語言或具有真正意識。 想像一個人,對下巴一無所知

中國的'智能” AI助手回應微軟召回的隱私缺陷中國的'智能” AI助手回應微軟召回的隱私缺陷Apr 24, 2025 am 11:17 AM

與西方同行相比,中國的科技巨頭在AI開發方面的課程不同。 他們不專注於技術基準和API集成,而是優先考慮“屏幕感知” AI助手 - AI T

Docker將熟悉的容器工作流程帶到AI型號和MCP工具Docker將熟悉的容器工作流程帶到AI型號和MCP工具Apr 24, 2025 am 11:16 AM

MCP:賦能AI系統訪問外部工具 模型上下文協議(MCP)讓AI應用能夠通過標準化接口與外部工具和數據源交互。由Anthropic開發並得到主要AI提供商的支持,MCP允許語言模型和智能體發現可用工具並使用合適的參數調用它們。然而,實施MCP服務器存在一些挑戰,包括環境衝突、安全漏洞以及跨平台行為不一致。 Forbes文章《Anthropic的模型上下文協議是AI智能體發展的一大步》作者:Janakiram MSVDocker通過容器化解決了這些問題。基於Docker Hub基礎設施構建的Doc

使用6種AI街頭智能策略來建立一家十億美元的創業使用6種AI街頭智能策略來建立一家十億美元的創業Apr 24, 2025 am 11:15 AM

有遠見的企業家採用的六種策略,他們利用尖端技術和精明的商業敏銳度來創造高利潤的可擴展公司,同時保持控制。本指南是針對有抱負的企業家的,旨在建立一個

Google照片更新解鎖了您所有圖片的驚人Ultra HDRGoogle照片更新解鎖了您所有圖片的驚人Ultra HDRApr 24, 2025 am 11:14 AM

Google Photos的新型Ultra HDR工具:改變圖像增強的遊戲規則 Google Photos推出了一個功能強大的Ultra HDR轉換工具,將標準照片轉換為充滿活力的高動態範圍圖像。這種增強功能受益於攝影師

Descope建立AI代理集成的身份驗證框架Descope建立AI代理集成的身份驗證框架Apr 24, 2025 am 11:13 AM

技術架構解決了新興的身份驗證挑戰 代理身份集線器解決了許多組織僅在開始AI代理實施後發現的問題,即傳統身份驗證方法不是為機器設計的

Google Cloud Next 2025以及現代工作的未來Google Cloud Next 2025以及現代工作的未來Apr 24, 2025 am 11:12 AM

(注意:Google是我公司的諮詢客戶,Moor Insights&Strateging。) AI:從實驗到企業基金會 Google Cloud Next 2025展示了AI從實驗功能到企業技術的核心組成部分的演變,

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )專業的PHP整合開發工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版

mPDF

mPDF

mPDF是一個PHP庫,可以從UTF-8編碼的HTML產生PDF檔案。原作者Ian Back編寫mPDF以從他的網站上「即時」輸出PDF文件,並處理不同的語言。與原始腳本如HTML2FPDF相比,它的速度較慢,並且在使用Unicode字體時產生的檔案較大,但支援CSS樣式等,並進行了大量增強。支援幾乎所有語言,包括RTL(阿拉伯語和希伯來語)和CJK(中日韓)。支援嵌套的區塊級元素(如P、DIV),

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

將Eclipse與SAP NetWeaver應用伺服器整合。