3D 편집을 PS만큼 쉽게 만들어 보세요. 새로운 알고리즘 GaussianEditor는 몇 분 안에 3D 장면의 추가, 삭제 및 수정을 완료할 수 있습니다.

3D 편집은 게임, 가상현실 등의 분야에서 중요한 역할을 합니다. 하지만 기존의 3D 편집은 장시간 소모, 제어성 저하 등의 문제로 인해 실제 장면에 적용하기가 어려웠습니다. 최근 난양기술대학교, 칭화대학교, SenseTime은 새로운 3D 편집 알고리즘인 GaussianEditor를 제안했습니다. 이 알고리즘은 처음으로 이전 3D 편집 작업을 완전히 능가하는 2~7분 만에 3D 장면의 제어 가능하고 다양한 편집을 달성했습니다.

최근 몇 년 동안 3D 편집 분야의 연구는 일반적으로 신경방사선장(NeRF)에 중점을 두었습니다. 이는 NeRF가 높은 수준의 현실감으로 3D 장면 모델링을 수행할 수 있을 뿐만 아니라 암시적 특성으로 인해 확장성이 크게 향상되어 기존 포인트 클라우드 및 메시 방법에 비해 상당한 이점을 갖기 때문입니다. 그러나 NeRF는 고차원 다층 퍼셉트론 네트워크(MLP)를 사용하여 장면 데이터를 인코딩하므로 특정 제한 사항도 발생합니다. 이는 장면의 특정 부분을 직접 수정하기 어렵게 만들고 이미지 복원, 장면 구성 등 작업의 복잡성을 증가시킵니다. 이러한 복잡성은 훈련 과정에 영향을 미칠 뿐만 아니라 실제 응용에서의 사용을 제한합니다

GaussianEditor 위의 문제를 해결하기 위해 새로운 접근 방식을 취하고 3D 표현으로 Gaussian Sputtering을 선택했습니다. Gaussian Splatting은 반년 전에 제안된 새로운 유형의 3D 표현으로, 3D 및 4D 재구성 등 많은 3D 작업에서 NeRF를 능가했으며 출시되자마자 3D 분야에서 폭넓은 관심을 끌었습니다. 올해 3D 분야의 가장 큰 혁신입니다. Gaussian Splatting은 뛰어난 전망과 잠재력을 가지고 있으며 GaussianEditor는 이 3D 표현의 편집을 구현한 최초의 회사입니다. 이 프로젝트는 오픈 소스이며 쉽게 배우고 사용할 수 있도록 WebUI 인터페이스를 제공합니다.

• 논문 주소: https://arxiv.org/abs/2311.14521
• 홈 페이지 주소: https://buaacyw.github.io/gaussian-editor/

하지만 Gaussian Gaussian Splatting에는 효율적인 렌더링 알고리즘이 있지만 디스플레이 표현으로 편집하면 상당한 어려움이 따릅니다. 가장 큰 문제는 정확하고 제어 가능한 편집에 중요한 편집 대상을 정확하게 식별하는 효율적인 방법이 부족하다는 것입니다. 또한 Stable Diffusion과 같은 생성 확산 모델과 같이 고도로 확률론적인 생성 지침을 사용하여 GS(가우스 스프레이)를 최적화하는 데 상당한 어려움이 있는 것으로 나타났습니다. 이는 신경망 버퍼링의 암시적 표현과 달리 GS가 손실의 무작위성에 직접적인 영향을 받기 때문일 수 있습니다. 이러한 직접적인 노출은 불안정한 업데이트로 이어지며 훈련 중에 가우시안 포인트의 속성이 직접 변경됩니다. 또한 GS의 각 훈련 단계에는 많은 수의 가우시안 포인트 업데이트가 포함될 수 있으며 이 프로세스에는 신경망 스타일 버퍼링 메커니즘이 없습니다. 이러한 문제는 GS의 과도한 유동성으로 이어져 훈련 시 암시적 표현과 같은 미세한 결과로의 수렴을 방해합니다

위 문제를 해결하기 위해 팀에서는 먼저 Gaussian Semantic Tracking을 도입하여 Gaussian Splatting(GS ) 정확한 제어. 가우스 의미론적 추적은 훈련 과정 중에 편집해야 하는 가우스 점을 항상 식별할 수 있습니다. 이는 종종 정적 2D 또는 3D 마스크에 의존하는 기존 3D 편집 방법과 다릅니다. 훈련 중에 3D 모델의 형상과 모양이 변경됨에 따라 이러한 마스크는 점차적으로 효과가 없게 됩니다. 가우스 의미 체계 추적은 2D 분할 마스크를 3D 가우스 점에 투영하고 의미 체계 레이블을 각 가우스 점에 할당하여 교육 프로세스 전반에 걸쳐 추적을 달성합니다. 훈련 중에 가우시안 포인트가 변경되면 이러한 의미 라벨을 사용하여 특정 대상 가우스 포인트를 추적할 수 있습니다. 가우스 의미 추적 알고리즘은 대상 영역만 수정되도록 보장하여 정밀하고 제어된 편집을 가능하게 합니다.

아래 그림의 빨간색 영역은 추적 대상 영역입니다. 의미 추적 영역은 효율성을 보장하기 위해 학습 프로세스에 따라 동적으로 업데이트됩니다.

또한, 매우 무작위로 생성될 때 좋은 결과를 얻기 어려운 GS(Gaussian Splatting)의 주요 문제를 해결하기 위해 GaussinEditor는 새로운 GS 표현인 Hierarchical Gaussian Splatting, HGS를 채택했습니다. HGS에서 가우스 포인트는 훈련 중 밀도화 순서에 따라 여러 세대로 구성됩니다. 초기 치밀화 과정에서 형성된 가우스 점은 이전 세대로 간주되며 원래 상태를 유지하고 이동성을 줄이기 위해 더 엄격한 제약을 받습니다. 대조적으로, 후기 단계에서 형성된 가우스 포인트는 적합도를 향상시키기 위한 제약이 거의 없거나 전혀 없는 젊은 세대로 취급됩니다. HGS의 디자인은 새로운 세대의 유연성을 유지하면서 이전 세대에 대한 제한을 가함으로써 GS의 이동성을 효과적으로 규제합니다. 이 접근 방식을 사용하면 신경망을 통해 구현된 암시적 표현의 버퍼링 기능을 시뮬레이션하여 더 나은 결과를 향해 지속적으로 최적화할 수 있습니다.

GaussianEditor는 이를 기반으로 Gaussian Splash를 제안했습니다. 방사형에 대한 추가 및 삭제 알고리즘 대표. 타겟 삭제 측면에서 팀은 객체와 장면 사이의 인터페이스에서 아티팩트를 효과적으로 제거하는 전문적인 로컬 복구 알고리즘을 개발했습니다. 대상 추가 측면에서 GaussianEditor는 사용자가 제공한 텍스트 프롬프트 및 2D 마스크를 기반으로 지정된 영역에 지정된 대상을 추가할 수 있습니다. GaussianEditor는 먼저 2D 이미지 인페인팅 알고리즘을 사용하여 추가할 개체의 단일 보기 이미지를 생성합니다. 그런 다음 이 이미지는 Image to 3D 알고리즘을 사용하여 3D GS로 변환됩니다. 마지막으로 대상이 가우스 장면에 통합됩니다.

비교 실험에서 GaussianEditor는 시각적 품질, 정량적 지표, 제어 가능성 및 생성 속도 측면에서 이전 작업을 크게 능가했습니다.

팀은 또한 절제 실험을 통해 유효성을 확인했습니다. Gaussian 의미 추적 및 계층적 가우스 표현 제안

GaussianEditor는 고급 3D 편집 알고리즘으로 3D 장면을 유연하고 빠르게 편집하는 데 중점을 두고 있으며, 최초로 Gaussian 스퍼터링용 Editor를 구현했습니다.

이 알고리즘의 주요 기능은 다음과 같습니다.

1. Gaussian semantic Tracking: 훈련 과정에서 편집해야 하는 가우스 지점을 지속적으로 식별하여 대상 영역만 편집되도록 할 수 있습니다.
2. Hierarchical Gaussian Splatting (HGS): 이는 서로 다른 훈련 단계에서 형성된 가우시안 점 사이에 계층적 구조를 설정하여 GS 장면의 유동성을 효과적으로 관리하고 신경망의 버퍼링 기능을 시뮬레이션하는 새로운 GS 표현입니다. 암시적 표현의 네트워크.
3. 3D 장면 추가 및 삭제 알고리즘: GaussianEditor는 장면에서 특정 개체를 효율적으로 제거하거나 추가할 수 있는 GS용 3D 장면 추가 및 삭제 알고리즘을 특별히 개발 및 설계했습니다.

위 내용은 3D 편집을 PS만큼 쉽게 만들어 보세요. 새로운 알고리즘 GaussianEditor는 몇 분 안에 3D 장면의 추가, 삭제 및 수정을 완료할 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!