搜尋
首頁科技週邊人工智慧材質界的ImageNet,大規模6維材質實拍資料庫OpenSVBRDF發布|SIGGRAPH Asia

在計算圖形學領域,材質外觀刻畫了真實物體與光線之間的複雜物理交互,通常可表達為隨空間位置變化的雙向反射分佈函數(Spatially-Varying Bidirectional Reflectance Distribution Function,縮寫為SVBRDF) 。它是視覺運算中不可或缺的一部分,在文化遺產、電​​子商務、電子遊戲和視覺特效等領域中有著廣泛的應用。

在過去的二十年裡,特別是深度學習流行後,學術界與工業界對高精度、多樣化數位材質外觀的需求不斷增加。但由於技術上的挑戰,採集大型資料庫仍然十分困難,目前公開可用的材質外觀實拍資料庫的數量非常有限。

為此,浙江大學電腦輔助設計與圖形系統全國重點實驗室和杭州相芯科技有限公司的研究團隊聯合提出了一種新型整合系統,使用於魯棒、高品質和高效地採集平面各向異性材質外觀。利用該系統,研究團隊建構了 OpenSVBRDF 公開材質資料庫

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                               圖 1:OpenSVBRDF 資料庫中進行中的局部範例展示中展示。每一行同屬一個材質類別。

這是第一個大規模6 維SVBRDF 的實測資料庫,共有1,000 個高品質平面樣本,空間解析度為1,024×1,024 ,等效為超過10 億個實測BRDF,涵蓋了包括木材、織物和金屬在內的9 個類別。

資料庫首頁:https://opensvbrdf.github.io/

目前,資料庫對非商業應用完全免費。只需要提交基本資料在網站上申請帳號,通過審核後,即可直接下載包括 GGX 紋理貼圖在內的相關資料和代碼。相關研究論文《OpenSVBRDF: A Database of Measured Spatially-Varying Reflectance》已被電腦圖形學頂級國際會議 ACM SIGGRAPH ASIA 2023 (Journal Track) 長文接收。

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

論文首頁:https://svbrdf.github.io/

技術挑戰

直接取樣方法在不同的光照和觀察角度的組合下對物理材質進行密集測量 [Lawrence et al. 2006]。這麼做雖然能夠獲得高品質且穩健的採集結果,但其效率很低,需要高昂的時間和儲存成本。還有一種選擇是基於先驗知識的重建方法,可以從稀疏的採樣資料中重建材質。這樣雖然提高了效率,但當先驗條件不滿足時,其品質不盡人意 [Nam et al. 2018]。此外,目前SOTA光路復用技術,雖然達到了較高的採集效率和重建質量,但在處理如拉絲金屬和拋光木皮等高度複雜材質時,演算法還不夠魯棒 [Kang et al. 2018]。
材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia
圖 2:現有材質採集研究的代表工作。由左至右分別是 [Lawrence et al. 2006],[Nam et al. 2018] 以及 [Kang et al. 2018]。其中 [Kang et al. 2018] 為該團隊在 2018 年發表於 ACM SIGGRAPH 的早期工作。

硬體

#為高效能掃描材質外觀,研究團隊搭建了一個接近半立方體的近場光照多工設備,其尺寸約為70cm×70cm×40cm。樣本被放置在一塊透明的壓克力板上,可以透過抽屜滑軌快速滑入 / 滑出,來實現高吞吐率。該設備由 2 台機器視覺相機和 16,384 個高亮度 LED 組成,兩台相機分別從大約 90 度(主視角)和 45 度(次視角)的角度拍攝樣本,LED 分佈在設備的 6 個面上。自主研發的高效能控制電路負責對每個 LED 進行獨立亮度控制,並在硬體層面實現了光源投射和相機曝光的高精度同步。

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                圖 3:擷取裝置外觀中所使用的資料。

#採集重建

本系統創新地結合了目前基於網路預測和基於微調兩大類流行方法的優點,既能透過可微分光照圖案優化來增加物理採集效率,又能透過微調來進一步提升最終結果質量,從而首次實現了對於平面SVBRDF 的高魯棒性、高品質以及高效率的採集重建。

具體來說,為了重建物理樣本,研究者首先透過在均勻照明下匹配密集 SIFT 特徵來建立兩個相機視角之間的高精度對應關係。對於物理採集,首先將光照圖案作為自編碼器的一部分進行最佳化,實現高效採集。這個自編碼器自動學習如何基於兩個視角的測量值來重建複雜外觀,並將結果表示為中間神經表達。隨後,根據主視角相機在 63 個等效線性光源下拍攝的照片,透過繪製影像誤差對神經表達進行微調,以提高最終結果的品質和穩健性。圖 3 展示了整個系統的處理流程。更多詳細資訊請參閱原文論文。

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                               圖 4中建立系統中。

結果

#研究者共採集重建了9個類別,共計1,000 個樣本的外觀,為了方便基於物理的標準繪製管線(PBR)直接使用,該研究還將神經表達擬合到了業界標準的各向異性GGX BRDF 模型參數。圖 5 展示了材質重建結果的分項參數 / 屬性。每個樣本儲存了 193 張原始 HDR 照片(總大小 15GB)、中間神經表現(290MB),以及 6 張張貼圖,包括表示 GGX 參數的紋理貼圖和透明度貼圖(總大小 55MB)。神經表現和紋理貼圖的空間解析度均為 1,024×1,024。

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                 時中排位圖 5:材料粗化結果中分項特性(含神經反射與漫射率、高表現率)。

為了證明重建結果的正確性,研究者將主視角下的照片(下圖第一行)和神經表達繪製結果(下圖第二行)進行了比較。定量誤差(以 SSIM/PSNR 表達)標註在繪製圖片的底部。由下圖結果可見,本系統實現了高品質材質重建(SSIM>=0.97, PSNR>=34db)。

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                 之後中擷取中上的結果所顯示結果。

為了進一步證明重建結果的視角域泛化性,研究者將點光源照射下、兩個視角所拍攝的照片和使用GGX 擬合參數繪製的結果進行了比較,驗證了重建結果的跨視角正確性。

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                圖上繪製在兩個中對視圖與各向異性 GGX 擬合參數的結果繪製結果。

研究人員也展示了資料庫在材質生成、材質分類、材質重建三方面的應用。具體細節請參考原始論文。

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                    配備作用

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                   圖 9中使用中對式培養 9:利用 OpenBR            圖 9:利用 系統訓練 9:利用 OpenBR 分類精確分類。

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                圖10:利用以OpenSVBRDF時為基礎來提升基於單點取樣與基於單點取樣(基於複路和單點取樣)以提高單點方法的BRDF 重建品質。

展望

研究人員將努力擴展現有資料庫,增加展現多樣性外觀的材質樣本。未來,他們也計劃建立同時包含材質外觀和幾何形狀的大規模高精度實測物體資料庫。此外,研究人員將基於 OpenSVBRDF 設計在材質估計、分類和生成等方向上的公開 Benchmark,透過客觀定量的標準測試,為推動相關研究的未來發展提供堅實的數據保障。

以上是材質界的ImageNet,大規模6維材質實拍資料庫OpenSVBRDF發布|SIGGRAPH Asia的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:机器之心。如有侵權,請聯絡admin@php.cn刪除
DSA如何弯道超车NVIDIA GPU?DSA如何弯道超车NVIDIA GPU?Sep 20, 2023 pm 06:09 PM

你可能听过以下犀利的观点:1.跟着NVIDIA的技术路线,可能永远也追不上NVIDIA的脚步。2.DSA或许有机会追赶上NVIDIA,但目前的状况是DSA濒临消亡,看不到任何希望另一方面,我们都知道现在大模型正处于风口位置,业界很多人想做大模型芯片,也有很多人想投大模型芯片。但是,大模型芯片的设计关键在哪,大带宽大内存的重要性好像大家都知道,但做出来的芯片跟NVIDIA相比,又有何不同?带着问题,本文尝试给大家一点启发。纯粹以观点为主的文章往往显得形式主义,我们可以通过一个架构的例子来说明Sam

阿里云通义千问14B模型开源!性能超越Llama2等同等尺寸模型阿里云通义千问14B模型开源!性能超越Llama2等同等尺寸模型Sep 25, 2023 pm 10:25 PM

2021年9月25日,阿里云发布了开源项目通义千问140亿参数模型Qwen-14B以及其对话模型Qwen-14B-Chat,并且可以免费商用。Qwen-14B在多个权威评测中表现出色,超过了同等规模的模型,甚至有些指标接近Llama2-70B。此前,阿里云还开源了70亿参数模型Qwen-7B,仅一个多月的时间下载量就突破了100万,成为开源社区的热门项目Qwen-14B是一款支持多种语言的高性能开源模型,相比同类模型使用了更多的高质量数据,整体训练数据超过3万亿Token,使得模型具备更强大的推

ICCV 2023揭晓:ControlNet、SAM等热门论文斩获奖项ICCV 2023揭晓:ControlNet、SAM等热门论文斩获奖项Oct 04, 2023 pm 09:37 PM

在法国巴黎举行了国际计算机视觉大会ICCV(InternationalConferenceonComputerVision)本周开幕作为全球计算机视觉领域顶级的学术会议,ICCV每两年召开一次。ICCV的热度一直以来都与CVPR不相上下,屡创新高在今天的开幕式上,ICCV官方公布了今年的论文数据:本届ICCV共有8068篇投稿,其中有2160篇被接收,录用率为26.8%,略高于上一届ICCV2021的录用率25.9%在论文主题方面,官方也公布了相关数据:多视角和传感器的3D技术热度最高在今天的开

百度文心一言全面向全社会开放,率先迈出重要一步百度文心一言全面向全社会开放,率先迈出重要一步Aug 31, 2023 pm 01:33 PM

8月31日,文心一言首次向全社会全面开放。用户可以在应用商店下载“文心一言APP”或登录“文心一言官网”(https://yiyan.baidu.com)进行体验据报道,百度计划推出一系列经过全新重构的AI原生应用,以便让用户充分体验生成式AI的理解、生成、逻辑和记忆等四大核心能力今年3月16日,文心一言开启邀测。作为全球大厂中首个发布的生成式AI产品,文心一言的基础模型文心大模型早在2019年就在国内率先发布,近期升级的文心大模型3.5也持续在十余个国内外权威测评中位居第一。李彦宏表示,当文心

AI技术在蚂蚁集团保险业务中的应用:革新保险服务,带来全新体验AI技术在蚂蚁集团保险业务中的应用:革新保险服务,带来全新体验Sep 20, 2023 pm 10:45 PM

保险行业对于社会民生和国民经济的重要性不言而喻。作为风险管理工具,保险为人民群众提供保障和福利,推动经济的稳定和可持续发展。在新的时代背景下,保险行业面临着新的机遇和挑战,需要不断创新和转型,以适应社会需求的变化和经济结构的调整近年来,中国的保险科技蓬勃发展。通过创新的商业模式和先进的技术手段,积极推动保险行业实现数字化和智能化转型。保险科技的目标是提升保险服务的便利性、个性化和智能化水平,以前所未有的速度改变传统保险业的面貌。这一发展趋势为保险行业注入了新的活力,使保险产品更贴近人民群众的实际

复旦大学团队发布中文智慧法律系统DISC-LawLLM,构建司法评测基准,开源30万微调数据复旦大学团队发布中文智慧法律系统DISC-LawLLM,构建司法评测基准,开源30万微调数据Sep 29, 2023 pm 01:17 PM

随着智慧司法的兴起,智能化方法驱动的智能法律系统有望惠及不同群体。例如,为法律专业人员减轻文书工作,为普通民众提供法律咨询服务,为法学学生提供学习和考试辅导。由于法律知识的独特性和司法任务的多样性,此前的智慧司法研究方面主要着眼于为特定任务设计自动化算法,难以满足对司法领域提供支撑性服务的需求,离应用落地有不小的距离。而大型语言模型(LLMs)在不同的传统任务上展示出强大的能力,为智能法律系统的进一步发展带来希望。近日,复旦大学数据智能与社会计算实验室(FudanDISC)发布大语言模型驱动的中

致敬TempleOS,有开发者创建了启动Llama 2的操作系统,网友:8G内存老电脑就能跑致敬TempleOS,有开发者创建了启动Llama 2的操作系统,网友:8G内存老电脑就能跑Oct 07, 2023 pm 10:09 PM

不得不说,Llama2的「二创」项目越来越硬核、有趣了。自Meta发布开源大模型Llama2以来,围绕着该模型的「二创」项目便多了起来。此前7月,特斯拉前AI总监、重回OpenAI的AndrejKarpathy利用周末时间,做了一个关于Llama2的有趣项目llama2.c,让用户在PyTorch中训练一个babyLlama2模型,然后使用近500行纯C、无任何依赖性的文件进行推理。今天,在Karpathyllama2.c项目的基础上,又有开发者创建了一个启动Llama2的演示操作系统,以及一个

快手黑科技“子弹时间”赋能亚运转播,打造智慧观赛新体验快手黑科技“子弹时间”赋能亚运转播,打造智慧观赛新体验Oct 11, 2023 am 11:21 AM

杭州第19届亚运会不仅是国际顶级体育盛会,更是一场精彩绝伦的中国科技盛宴。本届亚运会中,快手StreamLake与杭州电信深度合作,联合打造智慧观赛新体验,在击剑赛事的转播中,全面应用了快手StreamLake六自由度技术,其中“子弹时间”也是首次应用于击剑项目国际顶级赛事。中国电信杭州分公司智能亚运专班组长芮杰表示,依托快手StreamLake自研的4K3D虚拟运镜视频技术和中国电信5G/全光网,通过赛场内部署的4K专业摄像机阵列实时采集的高清竞赛视频,

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
2 週前By尊渡假赌尊渡假赌尊渡假赌
倉庫:如何復興隊友
4 週前By尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒險:如何獲得巨型種子
4 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

DVWA

DVWA

Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中

SecLists

SecLists

SecLists是最終安全測試人員的伙伴。它是一個包含各種類型清單的集合,這些清單在安全評估過程中經常使用,而且都在一個地方。 SecLists透過方便地提供安全測試人員可能需要的所有列表,幫助提高安全測試的效率和生產力。清單類型包括使用者名稱、密碼、URL、模糊測試有效載荷、敏感資料模式、Web shell等等。測試人員只需將此儲存庫拉到新的測試機上,他就可以存取所需的每種類型的清單。

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強大的PHP整合開發環境