3D アセット生成の分野における良いニュース: オートメーション研究所と北京郵電大学のチームが共同でマテリアル生成の新しいパラダイムを作成

AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

今日のデジタル時代では、3D アセットはメタバースの構築、デジタルツインの実現、仮想現実と拡張現実の応用において重要な役割を果たしています。技術革新とユーザーエクスペリエンスの向上を促進します。

既存の 3D アセット生成方法は通常、生成モデルを使用して、空間的に変化する双方向反射分布関数 (SVBRDF) に基づいて、プリセットされた照明条件下で表面位置のマテリアル プロパティを推測します。しかし、これらの方法では、周囲の一般的な物体の表面材質に対する人々の認識によって構築された強力で豊富な事前知識（たとえば、車のタイヤは外縁にゴムトレッドが巻かれた金属ホイールであるべきであるなど）がほとんど考慮されておらず、マテリアルは、オブジェクト自体の RGB カラーから分離する必要があります。 本来の意味を変えることなく、既存の 3D アセット生成方法では、空間的に変化する双方向反射率分布関数 (SVBRDF) に基づく生成モデルを利用して、事前に定義された照明条件下での表面位置を考慮してマテリアルの特性を推測することがよくありますが、これらの方法では強度が考慮されることはほとんどありません。そして、私たちの周りの一般的な物体の表面マテリアルを構築する際に人々が持つ豊富な予備知識（車のタイヤには外縁の金属リムを覆うゴムトレッドが必要であるという事実など）があり、彼らはマテリアルとオブジェクトのRGBカラーの間の切り離しを無視しています。したがって、オブジェクトの表面マテリアルに関する人間の事前知識をマテリアル生成プロセスに効果的に統合し、それによって既存の 3D アセットの全体的な品質を向上させる方法が、現在の研究の重要なテーマとなっています。

最近、中国科学院オートメーション研究所、北京郵政大学、香港理工大学を含む北京と香港の研究チームが、「マテリアルセグメント3D：高密度マテリアルのセグメント化」というタイトルの論文を発表した。 「3D アセットのための 2D プライア」 この論文は、複数のタイプの複雑なマテリアル オブジェクト用に最初の 2D マテリアル セグメンテーション データ セット MIO を構築しました。これには、複数のセマンティック カテゴリに基づく単一オブジェクトおよびさまざまなカメラ アングルのピクセル レベルのマテリアル ラベルが含まれています。この研究では、2D セマンティック事前分布を活用して、UV 空間内の 3D アセットの表面マテリアルを推測できるマテリアル生成スキーム、MaterialSeg3D を提案します。

論文: https://arxiv.org/pdf/2404.13923
コードアドレス: https://github.com/PROPHETE-pro/materialSeg3D_
プロジェクトWebサイト: https:/ / /materialseg3d.github.io/

• 

3D モデラーは通常、常識または現実世界のオブジェクトのプロトタイプに基づいてアセット サーフェスのマテリアルを定義します。対照的に、生成モデルに基づいて 3D アセットを構築する方法では、SVBRDF を使用してマテリアル情報を推論しますが、正確で高品質の 3D アセット サンプルが不足しているため、これらの方法では、高い汎用性と忠実度を備えた物理マテリアル チャネル情報を生成するのが困難です。さらに、このタイプの方法では、公共の Web サイトにある大量の Web 画像データを利用して、物体表面の材質情報についての事前知識を強化することもできません。
そのため、この記事では、2D 画像のマテリアルに関する事前知識を、3D アセットのマテリアル情報の定義を解決するタスクに導入する方法に焦点を当てます。

MIO データセット

この論文では、まず既存の 3D アセット データセットからマテリアル分類の事前知識を抽出しようとします。ただし、データセット内のサンプルが少なすぎることと単一のスタイルのため、セグメンテーション モデルが正しい事前知識を学習することは困難です。

3D アセットと比較して、2D 画像は公開 Web サイトやデータセットでより広く入手できます。ただし、既存の注釈付き 2D 画像データセットと 3D アセット レンダリングの分布には大きなギャップがあり、マテリアルに関する十分な事前知識を直接提供することはできません。

したがって、この記事では、カスタマイズされたデータセット MIO (具体化された個別オブジェクト) を構築しました。これは、マルチカテゴリーの単一の複雑なマテリアルアセットの現在最大の 2D マテリアル セグメンテーション データ セットであり、さまざまなカメラ アングルからサンプリングされ、コンパイルされた画像が含まれています。正確なメモ。

^{マテリアル クラスのアノテーションと P の視覚的な例BR マテリアルの球体マッピング。}

このデータセットを構築するとき、この記事は次のルールに従います:

• 各サンプリングされた画像には、目立つ前景オブジェクトが 1 つだけ含まれます

• 実際のシーンの 2D 画像と 3D アセット レンダリングを同数収集します

• 上面図や底面図などの特別な視点を含む、さまざまなカメラ角度から画像サンプルを収集します

MIO データセットの独自性は、各マテリアル カテゴリのピクセル レベルのラベルを構築するだけでなく、それらを個別に構築することです。各材料カテゴリと PBR 材料値の間の 1 対 1 のマッピング関係。これらのマッピング関係は、9 人のプロの 3D モデラーによる議論の後に決定されました。この記事では、公開マテリアル ライブラリから 1,000 個を超える実際の PBR マテリアル ボールを候補マテリアルとして収集し、モデラーの専門知識に基づいてスクリーニングおよび特定しました。最終的に 14 のマテリアル カテゴリが決定され、それらの PBR マテリアルとのマッピング関係がラベルのようになりました。データセットのスペース。

MIO データセットには、単一の複雑なオブジェクトの合計 23,062 枚のマルチビュー画像が含まれており、家具、車、建物、楽器、植物の 5 つの大きなメタ カテゴリに分類できます。 MIO データセットには約 4,000 枚のトップビュー画像が含まれており、既存の 2D データセットではめったに見られないユニークな視点を提供していることは特に注目に値します。

MaterialSeg3D

この論文では、材料情報の事前知識の信頼できるソースとして MIO データセットを使用し、与えられた妥当な生成条件に対して、MaterialSeg3D という名前の 3D アセットの表面材料予測のための新しいパラダイムを提案します。アセット表面上の PBR マテリアル。照明、影、反射などのオブジェクトの物理的特性を正確にシミュレートできるため、3D オブジェクトはさまざまな環境で高度な信頼性と一貫性を示すことができ、既存の 3D の新しい基盤を提供します。重要な情報の欠如の問題に対する効果的な解決策を提案します。

MaterialSeg3D 全体の処理フローには、3D アセットのマルチビュー レンダリング、マルチビューでのマテリアル予測、および 3D マテリアル UV 生成の 3 つの部分が含まれます。マルチビュー レンダリングの段階では、トップ ビュー、サイド ビュー、および 12 のサラウンド アングルのカメラ ポーズが決定され、2D レンダリング イメージを生成するためのランダム ピッチ角度も決定されました。マテリアル予測段階では、MIO データセットに基づいてトレーニングされたマテリアル セグメンテーション モデルを使用して、マルチビュー レンダリングのピクセル レベルのマテリアル ラベルを予測します。マテリアル UV 生成段階では、マテリアル予測結果が一時 UV マップにマッピングされ、最終的なマテリアル ラベル UV が重み付き投票メカニズムを通じて取得され、PBR マテリアル マップに変換されます。

視覚化された効果と実験

MaterialSeg3D の有効性を評価するために、この論文では、単一画像から 3D アセットへの生成方法、テクスチャ生成、および公開 3D アセットの 3 つの側面に焦点を当てて、最近の研究と同様の定量的および定性的な実験分析を実施します。単一画像から 3D アセットへの生成方法については、アセットの特定の参照ビューを入力として受け取り、テクスチャ機能を備えた 3D オブジェクトを直接生成する Wonder3D、TripoSR、および OpenLRM との比較が行われました。視覚的なイメージを通じて、マテリアルセグ 3D によって処理されたアセットは、以前の作業と比較してレンダリングのリアリズムが大幅に向上していることがわかります。この論文では、Fantasia3D、Text2Tex などの既存のテクスチャ生成方法と、テキスト プロンプト情報に基づいてテクスチャ結果を生成できる Meshy Web サイトが提供するオンライン機能も比較しています。

これに基づいて、MaterialSeg3D はさまざまな照明条件下で正確な PBR マテリアル情報を生成し、レンダリング効果をより現実的にすることができます。

定量的実験では、CLIP類似度、PSNR、SSIMを評価指標として使用し、Objaverse-1.0データセット内のアセットをテストサンプルとして選択し、新しいビューとして3つのカメラアングルをランダムに選択します。

これらの実験は、MaterialSeg3D の有効性を証明します。公開されている 3D アセットにはない PBR マテリアル情報を生成し、モデラーやその後の研究作業により高品質なアセットを提供できます。

概要と展望

このペーパーでは、3D アセットのサーフェス マテリアル生成の問題を調査し、カスタマイズされた 2D マテリアル セグメンテーション データ セット MIO を構築します。この信頼性の高いデータ セットのサポートにより、新しい 3D アセット サーフェス マテリアル生成パラダイム MaterialSeg3D が提案されます。これは、単一の 3D アセットに対して分離された独立した PBR マテリアル情報を生成し、さまざまな照明条件下での既存の 3D アセットのレンダリングのパフォーマンスを大幅に向上させることができます。現実的で合理的です。

今後の研究は、データセット内のオブジェクトメタクラスの数の拡大、擬似ラベルの生成によるデータセットのサイズの拡大、およびこの生成パラダイムを実現できるようにマテリアルセグメンテーションモデルの自己学習に焦点を当てることになると著者は指摘しています。ほとんどのタイプの 3D アセットに直接適用されます。

以上が3D アセット生成の分野における良いニュース: オートメーション研究所と北京郵電大学のチームが共同でマテリアル生成の新しいパラダイムを作成の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。