ICML 2024｜複雑な組み合わせの3Dシーン生成、LLMsの会話型3D制御可能な生成・編集フレームワークが登場

AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出電子メール: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

この論文の筆頭著者と責任著者はいずれも、北京大学王宣コンピュータ研究所の VDIG (Visual Data Interpreting and Generation) Laboratory の出身です。最初の著者は博士課程の学生、周暁宇氏、責任著者は博士指導教員の王永濤氏です。近年、VDIG ラボは、IJCV、CVPR、AAAI、ICCV、ICML、ECCV などのトップカンファレンスで数々の代表的な成果を発表しており、CV 分野のヘビー級大会で優勝および準優勝を獲得しています。国内外の著名な大学から何度も賞を受賞しており、科学研究機関とも幅広く協力しています。

近年、単一オブジェクトの Text-to-3D メソッドは一連の画期的な進歩を遂げてきましたが、テキストから制御可能で高品質で複雑なマルチオブジェクト 3D シーンを生成するには、依然として大きな課題に直面しています。以前の方法には、生成されたシーンの複雑さ、幾何学的品質、テクスチャの一貫性、マルチオブジェクトの相互作用、制御性および編集性において大きな欠陥がありました。

最近、北京大学王宣コンピュータサイエンス研究所のVDIG研究チームとその協力者は、最新の研究結果GALA3Dを発表しました。マルチオブジェクトの複雑な 3D シーンの生成のために、この研究では、複数のオブジェクトと複雑なインタラクティブな関係を含む高品質で一貫性の高い 3D シーンを生成できる、複雑な 3D シーン用の LLM ガイドによる制御可能な生成フレームワーク GALA3D を提案します。会話型インタラクションの編集者である論文は ICML 2024 に受理されました。

• 論文タイトル: GALA3D: Towards Text-to-3D Complex Scene Generation via Layout-guided Generative Gaussian Splatting

• 論文リンク: https://arxiv.org/pdf/2402.07207

• ペーパーコード: https://github.com/VDIGPKU/GALA3D

• プロジェクト Web サイト: https://gala3d.github.io/

GALA3D は、高品質の Text-to-3D 複合体です。シーン生成と制御可能な編集フレームワークを組み合わせたもの。ユーザーが説明テキストを入力すると、GALA3D は複数のオブジェクトと複雑なインタラクティブな関係を備えた対応する 3 次元シーンをゼロショットで生成できます。 GALA3D は、生成された 3D シーンがテキストと高度に一致していることを保証しながら、シーンの品質、複数のオブジェクトの複雑な相互作用、およびシーンの幾何学的一貫性を生成する際に優れたパフォーマンスを発揮します。さらに、GALA3D はユーザーフレンドリーなエンドツーエンドの生成と制御された編集をサポートしており、一般ユーザーが会話の中で 3D シーンを簡単にカスタマイズおよび編集できるようになります。 GALA3D は、ユーザーとのコミュニケーションにおいて、複雑な 3D シーンの会話型の制御可能な編集を正確に実現し、複雑な 3D シーンのレイアウト変換、デジタル アセットの埋め込み、ユーザーの対話に基づく装飾スタイルの変更など、多様な制御可能な編集ニーズを実現します。

方法の紹介

GALA3D の全体的なアーキテクチャを以下の図に示します:

GALA3D は、初期レイアウトを生成するために大規模言語モデル (LLM) を使用し、構築するためのレイアウトガイドに基づく生成 3D ガウス表現を提案します。複雑な 3D シーン。 GALA3D Design は、適応ジオメトリ制御を通じて 3D ガウスの形状と分布を最適化し、一貫したジオメトリ、テクスチャ、スケール、正確なインタラクションを備えた 3D シーンを生成します。さらに、GALA3D は、条件付き拡散事前分布とヴィンセンチアン グラフ モデルを組み合わせて、一貫したスタイルを持つ 3D マルチオブジェクト シーンを共同生成すると同時に、LLM から抽出された初期レイアウト事前分布を繰り返し最適化して、より現実的で正確な実際のシーンを取得する複合最適化メカニズムも提案しています。空間レイアウト。広範な定量的実験と定性的研究により、GALA3D がテキストから複雑な 3D シーンの生成において、既存の Vincent 3D シーン手法を上回る重要な結果を達成することが実証されています。

a、LLMに基づいた事前のシーンレイアウト

대형 언어 모델은 뛰어난 자연어 이해 및 추론 기능을 보여줍니다. 이 기사에서는 복잡한 3D 장면에서 LLM 대규모 언어 모델의 추론 및 레이아웃 생성 기능을 자세히 살펴봅니다. 수동 설계 없이 상대적으로 합리적인 레이아웃을 얻는 방법은 장면 모델링 및 생성 비용을 줄이는 데 도움이 될 수 있습니다. 이를 위해 우리는 LLM(예: GPT-3.5)을 사용하여 텍스트 입력 인스턴스와 공간 관계를 추출하고 해당 레이아웃 사전을 생성합니다. 그러나 3D 공간 레이아웃과 LLM이 해석한 장면 이전의 레이아웃과 실제 장면 사이에는 일정한 차이가 있으며, 이로 인해 일반적으로 정지/통과 개체가 생성되거나 비율이 지나치게 다른 개체의 조합 등이 발생합니다. 또한, 위에서 생성된 개략적인 레이아웃을 비전 기반 Diffusion Prior 및 Layout-guided Generative 3D Gaussian을 통해 조정하고 최적화하는 Layout Refinement 모듈을 제안합니다.

b, 레이아웃 개선

GALA3D는 위의 LLM에서 생성된 레이아웃을 최적화하기 전에 확산 기반의 레이아웃 레이아웃 최적화 모듈을 사용합니다. 구체적으로 3D 생성 프로세스에 레이아웃 기반 3D 가우시안 공간 레이아웃의 그래디언트 최적화를 추가하고 ControlNet을 통해 LLM 생성 레이아웃의 공간 위치, 회전 각도 및 크기 비율을 조정했습니다. 그림은 3D 장면과 레이아웃을 보여줍니다. 최적화 후. 최적화된 레이아웃은 보다 정확한 공간 위치와 규모를 가지며 3D 장면의 여러 개체 간의 상호 작용을 보다 합리적으로 만듭니다.

c, 레이아웃 기반 생성 3D 가우스 표현

3D 가우시안 표현에 3D 레이아웃 제약 조건을 처음으로 도입하고, 복잡한 빈센트 3D 장면에 대한 레이아웃 기반 생성 3D 가우시안을 제안합니다. 레이아웃 기반 3D 가우스 표현에는 의미론적으로 추출된 여러 인스턴스 개체가 포함되어 있습니다. 여기서 각 인스턴스 개체의 레이아웃 이전은 다음과 같이 매개변수화될 수 있습니다.

여기서 N은 장면에 있는 총 인스턴스 개체 수를 나타냅니다. 구체적으로, 각 인스턴스 3D 가우시안은 적응형 형상 제어를 통해 최적화되어 인스턴스 수준 객체 3D 가우시안 표현을 얻습니다. 또한 상대 위치 관계에 따라 여러 객체 가우시안을 전체 장면으로 결합하고 레이아웃 기반 글로벌 3D 가우시안을 생성하며 글로벌 가우시안 스플래팅을 통해 전체 장면을 렌더링합니다.

d, 적응형 기하 제어

생성 과정에서 3차원 가우시안의 공간적 분포와 기하학적 형태를 더 잘 제어하기 위해 생성적 3차원 가우시안을 위한 적응형 기하 제어 방법을 제안합니다. 첫째, 초기 가우스 세트가 주어지면 레이아웃 범위 내에서 3D 가우스를 제한하기 위해 GALA3D는 밀도 분포 함수 세트를 사용하여 가우스 타원체의 공간 위치를 제한합니다. 그런 다음 분포 함수에 맞게 레이아웃 표면 근처의 가우스를 샘플링합니다. 이후, 우리는 형상 정규화를 사용하여 3D 가우시안의 기하학을 제어할 것을 제안합니다. 3D 생성 프로세스 중에 적응형 형상 제어는 가우시안의 분포와 형상을 지속적으로 최적화하여 더 많은 텍스처 디테일과 규칙적인 형상을 갖춘 3D 다중 객체 및 장면을 생성합니다. 적응형 형상 제어는 또한 레이아웃 기반 생성 3D 가우시안의 더 큰 제어 가능성과 일관성을 보장합니다.

실험 결과

기존 Text-to-3D 생성 방법과 비교하여 GALA3D는 더 나은 3D 장면 생성 품질과 일관성을 보여줍니다. 정량적 실험 결과는 다음 표에 나와 있습니다.

우리는 또한 광범위하고 효과적인 사용자 설문 조사가 실시되었으며, 참가자 125명(그 중 39.2%는 관련 분야의 전문가 및 실무자)을 초청하여 본 논문의 방법과 기존 방법의 생성 시나리오에 대한 다각적 평가를 수행했습니다. 그 결과는 다음과 같습니다. 표:

실험 결과에 따르면 장면 품질, 기하학적 충실도, 텍스트 일관성, 장면 일관성 등과 같은 다차원 평가 지표에서 GALA3D가 기존 방법을 능가하고 최적의 생성 품질을 달성하는 것으로 나타났습니다.

아래 그림의 정성적 실험 결과에서 볼 수 있듯이 GALA3D는 제로 샷에서 우수한 일관성을 유지하면서 복잡한 다중 객체 조합 3D 장면을 생성할 수 있습니다.

아래 그림은 GALA3D가 사용자 친화적인 대화형을 지원할 수 있음을 보여줍니다. 제어 가능한 생성 및 편집:

자세한 연구 내용은 원본 논문을 참조하세요.

以上がICML 2024｜複雑な組み合わせの3Dシーン生成、LLMsの会話型3D制御可能な生成・編集フレームワークが登場の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。