3D モデルのテクスチャ マッピングは 30 秒で簡単に完了でき、シンプルかつ効率的です。

拡散モデルを使用して 3D オブジェクトのテクスチャを生成するこれは 1 つの文で実行できます!

「茶色と黒の幾何学模様の椅子」と入力すると、拡散モデルによってすぐに古代のテクスチャが追加され、時代の雰囲気が与えられます

AI は、デスクトップがどのようなものであるかを判断できないスクリーンショットだけでも、想像力によってすぐに詳細な木のテクスチャをデスクトップに追加できます

ご存知のとおり、追加テクスチャを 3D オブジェクトに追加することは、単に「色を変更する」というだけではありません。

マテリアルを設計するときは、粗さ、反射、透明度、渦、ブルームなどの複数のパラメータを考慮する必要があります。良いエフェクトをデザインするには、マテリアル、ライティング、レンダリングなどの知識を理解するだけでなく、レンダリングのテストと修正を繰り返す必要があります。マテリアルが変更された場合は、デザインをやり直す必要がある場合があります

#書き直す必要がある内容は次のとおりです: ゲーム シーンでのテクスチャ損失の影響

しかし、以前は人工知能によって設計されたテクスチャは見た目が理想的ではないため、テクスチャの設計は常に時間と労力がかかる作業であり、そのためコストも高くなります。

HKU の研究者, 香港の中国人とTCLは最近、3Dオブジェクトのテクスチャを設計するための新しい人工知能手法を開発しました。この方法は、オブジェクトの元の形状を完全に保持するだけでなく、オブジェクトの表面に完全にフィットする、より現実的なテクスチャをデザインすることもできます。

この研究は、ICCV 2023 の口頭報告論文として収録されました

##書き直す必要があるのは、この問題の解決策は何でしょうか?見てみましょう

拡散モデルを使用すると、一文で 3D テクスチャを実行できます

以前、人工知能を使用して 3D テクスチャを設計する場合、主に 2 種類の問題がありました

生成 テクスチャは現実的ではなく、詳細が限られています。

生成プロセス中に、3D オブジェクト自体のジオメトリが特別に処理されるため、生成されたテクスチャは、元のオブジェクトに完全にフィットすると、奇妙な形状が「飛び出し」ます

したがって、詳細でリアルなテクスチャを生成しながら 3D オブジェクト構造の安定性を確保するために、これは研究では Point-UV diffusion

フレームワークと呼ばれるツールを設計しました。

このフレームワークには「ラフデザイン」と「仕上げ」という2つのモジュールが含まれており、どちらも普及モデル

に基づいていますが、2つで使用される普及モデルは異なります。

最初の「ラフデザイン」モジュールでは、オブジェクトの形状を予測するための入力条件として形状特徴 (表面法線、座標、マスクを含む)

を使用して 3D 拡散モデルをトレーニングします。

「仕上げ」モジュールでは、さらに活用できるように 2D 拡散モデルも設計されています。以前に生成されたラフテクスチャ画像とオブジェクトの形状を入力条件として使用し、より細かいテクスチャを生成します。

この設計構造を採用した理由は、以前の高解像度点群生成の計算コストにあります。この方法は通常高すぎます。

この 2 段階の生成方法では、計算コストが節約されるだけでなく、2 つの拡散モデルがそれぞれの役割を果たすことができます。また、以前の方法と比較して、オリジナル 3D オブジェクトの構造や生成されるテクスチャもより洗練されています。

テキストや画像を入力して生成される効果を制御することについては、

CLIP

の「貢献」です。

元の意味を変えないように、内容を中国語に書き直す必要があります。書き直す必要があるのは、入力に関して、作成者はまず事前にトレーニングされた CLIP モデルを使用してテキストまたは画像の埋め込みベクトルを抽出し、次にそれを MLP モデルに入力し、最後に条件を「ラフな設計」に統合します。 「」と「仕上げ」の 2 段階のネットワーク

# では、テキストと画像を通じて生成されるテクスチャを制御することで、最終的な出力結果を実現できます。

それでは、このモデルの実装効果は何でしょうか。 ?

生成速度が 10 分から 30 秒に短縮されました

まず点 UV 拡散の生成効果を見てみましょう

レンダリングからわかるように、テーブルや椅子に加えて、Point-UV 拡散は車などのオブジェクトのテクスチャをより豊富に生成することもできます。

テキストに基づいてテクスチャを生成するだけではありません:

対応するオブジェクトのテクスチャ効果は、画像に基づいて生成することもできます。

著者らはまた、前の方法で Point-UV 拡散によって生成されたテクスチャ効果

チャートを観察すると、Texture Fields、Texturify、PVD-Tex などの他のテクスチャ生成モデルと比較して、Point-UV が確認できることがわかります。拡散は、構造と細かさの点でより良い結果を示します

著者はまた、同じハードウェア構成の下では、計算に 10 分かかる Text2Mesh と比較して、Point-UV 拡散の方が優れているとも述べています。所要時間は 30 秒 だけです。

ただし、著者は点 UV 拡散の現在の制限もいくつか指摘しました。たとえば、UV マップ内に「断片化」された部分が多すぎる場合でも、シームレスなテクスチャ効果を実現することはできません。また、トレーニングを 3D データに依存しているため、現時点では 3D データの洗練された質と量が 2D データのレベルに達していないため、生成されるエフェクトはまだ 2D 画像生成の洗練されたエフェクトを実現できません。

この研究に興味がある方は、以下のリンクをクリックして論文を読むことができます~

論文アドレス:

https: //cvmi-lab.github.io/Point-UV-Diffusion/paper/point_uv_diffusion.pdf

プロジェクト アドレス (まだ作成中):

https:/ /github.com/CVMI-Lab/Point-UV-Diffusion

以上が3D モデルのテクスチャ マッピングは 30 秒で簡単に完了でき、シンプルかつ効率的です。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。