ICML 2024 | 복잡한 조합의 3D 장면 생성, LLM 대화형 3D 제어 가능 생성 및 편집 프레임워크 출시

AIxiv 칼럼은 본 사이트에 학술적, 기술적 내용을 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

본 논문의 제1저자와 교신저자는 모두 북경대학교 왕쉬안 컴퓨터 연구소의 VDIG(시각적 데이터 해석 및 생성) 연구소 출신입니다. 첫 번째 저자는 박사과정 학생 Zhou Xiaoyu이고, 교신저자는 박사 지도교수 Wang Yongtao입니다. 최근 몇 년 동안 VDIG 연구소는 IJCV, CVPR, AAAI, ICCV, ICML, ECCV 등 최고의 컨퍼런스에서 다수의 대표적인 결과를 발표했으며 국내 헤비급 대회에서 우승 및 준우승을 차지했습니다. 해외 CV 분야에서도 국내외 유명 대학으로부터 수상 경력이 있으며, 과학 연구 기관과도 폭넓게 협력하고 있습니다.

최근 몇 년 동안 단일 개체에 대한 텍스트-3D 방법은 일련의 획기적인 발전을 이루었지만 텍스트에서 제어 가능한 고품질의 복잡한 다중 개체 3D 장면을 생성하는 것은 여전히 ​​큰 과제에 직면해 있습니다. 이전 방법은 생성된 장면의 복잡성, 기하학적 품질, 텍스처 일관성, 다중 객체 상호 작용, 제어 가능성 및 편집 가능성에 큰 결함이 있습니다.

최근 북경 대학교 왕쉬안 컴퓨터 과학 연구소의 VDIG 연구팀과 협력자들은 최신 연구 결과 GALA3D를 발표했습니다. 다중 객체의 복잡한 3D 장면 생성을 위해 이 연구에서는 다중 객체와 복잡한 대화형 관계가 있는 고품질, 일관성이 높은 3D 장면을 생성할 수 있는 복잡한 3D 장면을 위한 LLM 기반 제어 가능한 생성 프레임워크인 GALA3D를 제안하고 지원합니다. 대화식 상호 작용. 편집자를 제어하여 논문이 ICML 2024에 승인되었습니다.

• 페이퍼 제목 : Gala3d : 레이아웃 유도 생성 가우시안 스플릿 페이퍼 링크를 통한 텍스트-3D 복잡한 장면 생성을 향해 종이 코드: https://github.com/VDIGPKU/GALA3D

• 프로젝트 웹사이트: https://gala3d.github.io/

• GALA3D는 고품질 텍스트-3D 복합체입니다. 결합된 장면 생성 및 제어 가능한 편집 프레임워크. 사용자가 설명 텍스트를 입력하면 GALA3D는 여러 객체와 복잡한 상호 작용을 통해 해당 3차원 장면을 제로샷으로 생성할 수 있습니다. GALA3D는 생성된 3D 장면이 텍스트와 고도로 정렬되도록 보장하는 동시에 장면 품질, 여러 개체의 복잡한 상호 작용 및 장면 형상 일관성을 생성하는 데 탁월한 성능을 보여줍니다. 또한 GALA3D는 사용자 친화적인 엔드투엔드 생성 및 제어된 편집을 지원하므로 일반 사용자도 대화 대화에서 3D 장면을 쉽게 사용자 정의하고 편집할 수 있습니다. GALA3D는 사용자와 소통하면서 복잡한 3D 장면의 대화형 및 제어 가능한 편집을 정확하게 실현할 수 있으며, 복잡한 3D 장면의 레이아웃 변환, 디지털 자산 임베딩, 사용자 대화를 기반으로 한 장식 스타일 변경 등 다양한 제어 가능한 편집 요구를 실현할 수 있습니다.

방법 소개

GALA3D의 전체 아키텍처는 아래 그림에 나와 있습니다.

GALA3D는 대규모 언어 모델(LLM)을 사용하여 초기 레이아웃을 생성하고 레이아웃 기반 생성 3D 가우스 표현을 제안하여 구성합니다. 복잡한 3D 장면. GALA3D Design은 적응형 기하학 제어를 통해 3D 가우시안의 모양과 분포를 최적화하여 일관된 기하학, 질감, 규모 및 정밀한 상호 작용을 갖춘 3D 장면을 생성합니다. 또한 GALA3D는 조건부 확산 사전확률과 Vincentian 그래프 모델을 결합하여 일관된 스타일의 3D 다중 객체 장면을 공동으로 생성하는 동시에 LLM에서 추출된 초기 레이아웃 사전확률을 반복적으로 최적화하여 보다 현실적이고 정확한 실제 장면을 얻는 결합 최적화 메커니즘도 제안합니다. 공간배치. 광범위한 정량적 실험과 정성적 연구를 통해 GALA3D가 텍스트-복합 3D 장면 생성에서 기존 Vincent 3D 장면 방법을 능가하는 중요한 결과를 달성한다는 사실이 입증되었습니다.

a, LLM을 기반으로 한 장면 레이아웃

대형 언어 모델은 뛰어난 자연어 이해 및 추론 기능을 보여줍니다. 이 기사에서는 복잡한 3D 장면에서 LLM 대규모 언어 모델의 추론 및 레이아웃 생성 기능을 자세히 살펴봅니다. 수동 설계 없이 상대적으로 합리적인 레이아웃을 얻는 방법은 장면 모델링 및 생성 비용을 줄이는 데 도움이 될 수 있습니다. 이를 위해 우리는 LLM(예: GPT-3.5)을 사용하여 텍스트 입력 인스턴스와 공간 관계를 추출하고 해당 레이아웃 사전을 생성합니다. 그러나 3D 공간 레이아웃과 LLM이 해석한 장면 이전의 레이아웃과 실제 장면 사이에는 일정한 차이가 있으며, 이로 인해 일반적으로 정지/통과 개체가 생성되거나 비율이 지나치게 다른 개체의 조합 등이 발생합니다. 또한, 위에서 생성된 개략적인 레이아웃을 비전 기반 Diffusion Prior 및 Layout-guided Generative 3D Gaussian을 통해 조정하고 최적화하는 Layout Refinement 모듈을 제안합니다.

b, 레이아웃 개선

GALA3D는 위의 LLM에서 생성된 레이아웃을 최적화하기 전에 확산 기반의 레이아웃 레이아웃 최적화 모듈을 사용합니다. 구체적으로 3D 생성 프로세스에 레이아웃 기반 3D 가우시안 공간 레이아웃의 그래디언트 최적화를 추가하고 ControlNet을 통해 LLM 생성 레이아웃의 공간 위치, 회전 각도 및 크기 비율을 조정했습니다. 그림은 3D 장면과 레이아웃을 보여줍니다. 최적화 후. 최적화된 레이아웃은 보다 정확한 공간 위치와 규모를 가지며 3D 장면의 여러 개체 간의 상호 작용을 보다 합리적으로 만듭니다.

c, 레이아웃 기반 생성 3D 가우스 표현

3D 가우시안 표현에 3D 레이아웃 제약 조건을 처음으로 도입하고, 복잡한 빈센트 3D 장면에 대한 레이아웃 기반 생성 3D 가우시안을 제안합니다. 레이아웃 기반 3D 가우스 표현에는 의미론적으로 추출된 여러 인스턴스 개체가 포함되어 있습니다. 여기서 각 인스턴스 개체의 레이아웃 이전은 다음과 같이 매개변수화될 수 있습니다.

여기서 N은 장면에 있는 총 인스턴스 개체 수를 나타냅니다. 구체적으로, 각 인스턴스 3D 가우시안은 적응형 형상 제어를 통해 최적화되어 인스턴스 수준 객체 3D 가우시안 표현을 얻습니다. 또한 상대 위치 관계에 따라 여러 객체 가우시안을 전체 장면으로 결합하고 레이아웃 기반 글로벌 3D 가우시안을 생성하며 글로벌 가우시안 스플래팅을 통해 전체 장면을 렌더링합니다.

d, 적응형 기하 제어

생성 과정에서 3차원 가우시안의 공간적 분포와 기하학적 형태를 더 잘 제어하기 위해 생성적 3차원 가우시안을 위한 적응형 기하 제어 방법을 제안합니다. 첫째, 초기 가우스 세트가 주어지면 레이아웃 범위 내에서 3D 가우스를 제한하기 위해 GALA3D는 밀도 분포 함수 세트를 사용하여 가우스 타원체의 공간 위치를 제한합니다. 그런 다음 분포 함수에 맞게 레이아웃 표면 근처의 가우스를 샘플링합니다. 이후, 우리는 형상 정규화를 사용하여 3D 가우시안의 기하학을 제어할 것을 제안합니다. 3D 생성 프로세스 중에 적응형 형상 제어는 가우시안의 분포와 형상을 지속적으로 최적화하여 더 많은 텍스처 디테일과 규칙적인 형상을 갖춘 3D 다중 객체 및 장면을 생성합니다. 적응형 형상 제어는 또한 레이아웃 기반 생성 3D 가우시안의 더 큰 제어 가능성과 일관성을 보장합니다.

실험 결과

기존 Text-to-3D 생성 방법과 비교하여 GALA3D는 더 나은 3D 장면 생성 품질과 일관성을 보여줍니다. 정량적 실험 결과는 다음 표에 나와 있습니다.

우리는 또한 광범위하고 효과적인 사용자 설문조사가 실시되었으며, 참가자 125명(그 중 39.2%는 관련 분야의 전문가 및 실무자)을 초청하여 본 방법의 생성 시나리오와 기존 방법에 대한 다각적 평가를 수행했으며 그 결과는 다음 표와 같습니다. :

실험 결과 GALA3D는 장면 품질, 기하학적 충실도, 텍스트 일관성, 장면 일관성 등 다차원 평가 지표에서 기존 방식을 능가하며 최적의 생성 품질을 구현하는 것으로 나타났습니다.

아래 그림의 정성적 실험 결과에서 볼 수 있듯이 GALA3D는 제로 샷에서 우수한 일관성을 유지하면서 복잡한 다중 객체 조합 3D 장면을 생성할 수 있습니다.

아래 그림은 GALA3D가 사용자 친화적인 대화형을 지원할 수 있음을 보여줍니다. 제어 가능한 생성 및 편집:

자세한 연구 내용은 원본 논문을 참조하세요.

위 내용은 ICML 2024 | 복잡한 조합의 3D 장면 생성, LLM 대화형 3D 제어 가능 생성 및 편집 프레임워크 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!