OpenSVBRDFリリース：マテリアルワールドのImageNetレベルの大規模6次元マテリアルリアルショットデータベース

コンピューテーショナル グラフィックスの分野では、マテリアルの外観は、実際のオブジェクトと光の間の複雑な物理的相互作用を表します。この記述は、多くの場合、空間変化双方向反射率分布関数 (SVBRDF) と呼ばれます。これはビジュアル コンピューティングに不可欠なコンポーネントであり、文化遺産、電子商取引、ビデオ ゲーム、視覚効果などの分野で広く使用されてきました。

過去 20 年間、特にその後ディープラーニングの普及に伴い、学術界や産業界において高精度かつ多様なデジタル教材への需要が高まり続けています。しかし、技術的な課題により、大規模なデータベースを収集することは依然として非常に困難な作業であり、現在、公開されている材質外観リアルショット データベースの数は非常に限られています。 、浙江大学コンピュータ支援設計およびグラフィックスシステム国家重点研究所の研究チームと杭州翔新科技有限公司の研究チームは、平面異方性材料を堅牢かつ高品質かつ効率的に取得するための新しい統合システムを共同提案しました。外観＃ ＃＃。このシステムを使用して、研究チームは OpenSVBRDF 公開資料データベース

を構築しました。

#図 1 に示すように、OpenSVBRDF データベース内のいくつかの材料サンプルを以下に示します。各行は同じ材料カテゴリに属します。

これは、合計 1,000 の高品質平面サンプルと空間解像度1,024×1,024。

10 億以上の測定 BRDF

に相当し、木材、布地、金属を含む 9 つのカテゴリをカバーします。

データベースのホームページ: https://opensvbrdf.github.io/現在、データベースは非商用アプリケーションでは完全に無料です。アカウント申請はWebサイト上で基本情報を送信するだけで、審査後、GGXテクスチャマップを含む関連データやコードを直接ダウンロードできます。関連する研究論文「OpenSVBRDF: 空間的に変化する反射率を測定したデータベース」が、コンピュータ グラフィックスのトップ国際会議 ACM SIGGRAPH ASIA 2023 (雑誌論文)

## に採択されました。

## 論文のホームページを表示するには、次のリンクをクリックしてください: https://svbrdf.github.io/

技術的課題

# 元の意味が変更される場合、書き直す必要がある内容は次のとおりです: [Lawrence et al. 2006] によると、直接サンプリング方法は、さまざまな照明と視野角の下で物理的素材の高密度の測定を行うことです。この方法は高品質で安定した取得結果が得られますが、効率が悪く、時間とストレージコストがかかります。もう 1 つのオプションは、まばらなサンプリング データからマテリアルを再構築できる事前知識ベースの再構築方法です。この方法は効率を向上させますが、以前の条件が満たされていない場合、再構成の品質が満足のいくものではない可能性があります [Nam et al. 2018]。さらに、現在の光路多重化技術は高い取得効率と再構成品質を達成していますが、ブラッシュドメタルや研磨ベニヤなどの非常に複雑な材料を処理する場合には、アルゴリズムの堅牢性をまだ改善する必要があります [Kang et al. 2018]

図 2: 既存の資料収集研究の代表的な研究。左から右へ、[Lawrence et al. 2006]、[Nam et al. 2018]、および [Kang et al. 2018] です。その中の [Kang et al. 2018] は、2018 年に ACM SIGGRAPH に掲載されたチームの初期の研究です。

ハードウェア

物質の外観を効率的にスキャンするために、研究チームは、ほぼ半立方体の近接場照明多重化デバイスを構築しました。 . サイズは約70cm×70cm×40cmです。サンプルは透明なアクリル板上に置かれ、引き出しスライドを介して素早くスライドさせて出し入れすることで、高いスループットレートを実現します。このデバイスは、2 台のマシン ビジョン カメラと 16,384 個の高輝度 LED で構成されています。2 台のカメラは、約 90 度 (一次視野角) と 45 度 (二次視野角) の角度からサンプルをキャプチャします。LED はデバイスの 6 面に配置されています。 。自社開発の高性能制御回路は各LEDの独立した輝度制御を担い、光源投影とカメラ露光の高精度な同期をハードウェアレベルで実現します。

#図 3: 収集装置の外観と 2 つの異なる角度から撮影した写真を参照してください。

収集と再構築

このシステムは、現在一般的な 2 つの方法、ネットワークベースの予測と微調整を独自に組み合わせて、物理的な取得の効率を向上させます。微調整により結果の品質をさらに向上させながら、微分可能な照明パターンを最適化します。これは、平面 SVBRDF

の取得と再構成の高い堅牢性、高品質、高効率を初めて実現したものです。具体的には、物理​​サンプルを再構成するために、研究者らはまず次の方法でこれを達成しました。高密度の SIFT 特徴を照合して、2 つのカメラ ビュー間の高精度の対応関係を確立します。物理的な取得の場合、照明パターンは最初にオートエンコーダの一部として最適化され、効率的な取得を実現します。オートエンコーダーは、2 つのビューからの測定に基づいて複雑な外観を再構成する方法を自動的に学習し、結果を中間のニューラル表現として表します。続いて、63 個の同等の線状光源の下でプリンシパル ビュー カメラで撮影された写真に基づいて、画像誤差をプロットすることで神経表現が微調整され、最終結果の品質と堅牢性が向上しました。システム全体の処理フローを図3に示します。詳細については、元の論文を参照してください。

# 図 4: システム全体の取得と再構築のプロセス。

結果

研究チームは外観データを収集し、合計 1,000 個のサンプルを 9 つのカテゴリに分けて収集しました。物理ベースのレンダリング パイプライン (PBR) を使いやすくするために、この研究ではニューラル表現を業界標準の異方性 GGX BRDF モデル パラメーターに適合させました。図 5 は、マテリアル再構築結果のサブパラメータとプロパティを示しています。各サンプルには、193 枚の生の HDR 写真 (合計サイズ 15GB)、中間ニューラル表現 (290MB)、および GGX パラメータを表すテクスチャ マップと透明度マップを含む 6 つのマップ (合計サイズ 55MB) が含まれています。ニューラル表現とテクスチャ マップの両方の空間解像度は 1,024×1,024 です。

#書き換え後: 図 5: 再構成されたマテリアル結果のプロパティ (ニューラルを含む) の内訳

再構成結果の正確性を証明するために、研究者は主視点から写真を撮影しました (下の写真)。 1 行目) と神経表現マッピングの結果 (下の 2 行目) が比較されます。定量的誤差 (SSIM/PSNR として表される) がプロットの下部に示されています。以下の図の結果からわかるように、このシステムは高品質のマテリアル再構築 (SSIM>=0.97、PSNR>=34db) を実現しています。

図 6: 主要な視点から見た実際の写真と神経表現レンダリング結果の比較。

視野角領域における再構成結果の一般化をさらに証明するために、研究者らは点光源の照明下で 2 つの視野角から撮影した写真とその結果を比較しました。 GGX フィッティング パラメータを使用して描画され、比較により、再構成結果のクロスビューの正確さが検証されます。

図 7: 実際に撮影した写真と、異方性 GGX フィッティング パラメーターを使用して 2 つの視野角で描画した結果の比較

研究者らはまた、材料の生成、材料の分類、材料の再構成という 3 つの側面におけるデータベースの応用も実証しました。具体的な詳細については、元の論文を参照してください。

#図 8 は、OpenSVBRDF を使用してマテリアル GAN をトレーニングし、マテリアルの生成と補間を実現するプロセスを示しています。

図 9 は、OpenSVBRDF を使用してアクティブ ライティングをトレーニングし、マテリアル分類の精度を向上させるプロセスを示しています

書き換えられた内容は次のとおりです。 図 10: OpenSVBRDF を使用して、単一点サンプリング (左) と光路多重化 (右) に基づいた BRDF 再構成の品質を向上させます

Outlook

研究者は、既存のデータベースを拡張し、多様な外観を示す材料サンプルを追加するために懸命に努力します。将来的には、材質外観や幾何形状も含めた大規模かつ高精度な測定物体データベースの構築も予定している。さらに、研究者は、OpenSVBRDF に基づいて材料の推定、分類、生成の方向に向けた公開ベンチマークを設計し、客観的かつ定量的な標準テストを通じて関連研究の将来の発展を促進するための強固なデータ保証を提供します。

以上がOpenSVBRDFリリース：マテリアルワールドのImageNetレベルの大規模6次元マテリアルリアルショットデータベースの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。