Stable Video 3D는 충격적인 데뷔를 합니다. 단일 이미지로 사각지대가 없는 3D 비디오를 생성하고 모델 가중치가 공개됩니다.

안정성 AI에는 대규모 모델 제품군에 새로운 구성원이 있습니다.

어제 Stable Diffusion과 Stable Video Diffusion을 출시한 후 Stability AI는 대형 3D 비디오 생성 모델인 "Stable Video 3D"(줄여서 SV3D)를 커뮤니티에 선보였습니다.

이 모델은 Stable Video Diffusion을 기반으로 제작되었으며, 주요 장점은 3D 생성 품질과 다중 뷰 일관성이 크게 향상된다는 것입니다. Stability AI와 공동 오픈 소스 Zero123-XL이 출시한 이전 Stable Zero123과 비교하면 이 모델의 효과는 더욱 좋습니다.

현재 Stable Video 3D는 Stability AI 멤버십(회원 가입)이 필요한 상업용 사용과 사용자가 Hugging Face에서 모델 가중치를 다운로드할 수 있는 비상업적 사용을 모두 지원합니다.

Stability AI는 SV3D_u와 SV3D_p라는 두 가지 모델 변형을 제공합니다. SV3D_u는 카메라 조정 없이 단일 이미지 입력을 기반으로 궤도 비디오를 생성하는 반면, SV3D_p는 단일 이미지와 궤도 관점을 적용하여 생성 기능을 더욱 확장하여 사용자가 지정된 카메라 경로를 따라 3D 비디오를 생성할 수 있도록 합니다.

현재 Stable Video 3D에 관한 연구 논문이 발표되었으며, 핵심 저자는 3명입니다.

• 논문 주소: https://stability.ai/s/SV3D_report.pdf
• 블로그 주소: https://stability.ai/news/introducing-stable-video- 3d
• Huggingface 주소: https://huggingface.co/stabilityai/sv3d

기술 개요

Stable Video 3D는 3D 생성 분야, 특히 새로운 뷰 생성 합성 분야에서 상당한 발전을 이루었습니다. , NVS) 측면.

이전 방법은 제한된 시야각과 일관되지 않은 입력 문제를 해결하는 경향이 있었지만 Stable Video 3D는 주어진 각도에서 일관된 시야를 제공하고 잘 일반화할 수 있습니다. 결과적으로 이 모델은 포즈 제어성을 향상시킬 뿐만 아니라 여러 뷰에서 일관된 개체 모양을 보장하여 현실적이고 정확한 3D 생성에 영향을 미치는 주요 문제를 더욱 개선합니다.

아래 그림에서 볼 수 있듯이 Stable Zero123 및 Zero-XL과 비교하여 Stable Video 3D는 더욱 강력한 디테일, 입력 이미지에 대한 충실도 및 보다 일관된 다중 시점을 갖춘 새로운 다중 시점을 생성할 수 있습니다.

또한 Stable Video 3D는 다중 뷰 일관성을 활용하여 NeRF(3D Neural Radiance Fields)를 최적화하여 새로운 뷰에서 직접 생성된 3D 메시의 품질을 향상시킵니다.

이를 위해 Stability AI는 예측 뷰에서 보이지 않는 영역의 3D 품질을 더욱 향상시키는 마스크 분별 증류 샘플링 손실을 설계했습니다. 또한 구운 조명 문제를 완화하기 위해 Stable Video 3D는 3D 모양과 질감에 최적화된 분리된 조명 모델을 사용합니다.

아래 그림은 Stable Video 3D 모델과 그 출력을 사용할 때 3D 최적화를 통해 향상된 3D 메쉬 생성의 예를 보여줍니다.

아래 그림은 Stable Video 3D를 사용하여 생성된 3D 메쉬 결과와 EscherNet 및 Stable Zero123에서 생성된 결과를 비교한 것입니다.

아키텍처 세부 정보

Stable Video 3D 모델의 아키텍처는 아래 그림 2에 나와 있으며 Stable Video Diffusion 아키텍처를 기반으로 구축되었으며 각 레이어가 여러 레이어로 구성된 UNet을 포함합니다. 레이어 또한 Conv3D 레이어가 있는 일련의 잔차 블록과 주의 레이어(공간 및 시간)가 있는 두 개의 변환기 블록이 포함되어 있습니다.

구체적인 프로세스는 다음과 같습니다.

(i) "fps id" 및 "motion bucket id"의 벡터 조건은 Stable Video 3D와 관련이 없으므로 삭제합니다.

(ii) 조건부 이미지 통과 Stable Video Diffusion의 VAE 인코더는 잠재 공간에 삽입된 다음 UNet으로 이어지는 잡음 시간 간격 t에서 잡음 잠재 상태 입력 zt에 연결됩니다.

(iii) 조건부 이미지의 CLIPembedding 행렬이 제공됩니다. 각 변환기 블록에 대해 Cross-attention 레이어는 키와 값으로 작동하고 쿼리는 해당 레이어의 기능이 됩니다.

(iv) 카메라 궤적은 확산 노이즈 시간 단계를 따라 잔여 블록에 공급됩니다. 카메라 자세 각도 ei 및 ai와 잡음 시간 단계 t는 먼저 정현파 위치 임베딩에 삽입된 다음 선형 변환을 위해 카메라 자세 임베딩을 함께 연결하고 잡음 시간 단계 임베딩에 추가한 다음 마지막으로 각 잔여 블록과 블록의 입력 기능에 추가됩니다.

또한 Stability AI는 아래 그림 3과 같이 카메라 포즈 조정의 영향을 연구하기 위해 정적 궤도와 동적 궤도를 설계했습니다.

정적 궤도에서 카메라는 조건 이미지와 동일한 앙각을 사용하여 등거리 방위각으로 물체를 중심으로 회전합니다. 단점은 조정된 앙각에 따라 물체의 상단이나 하단에 대한 정보를 얻을 수 없다는 것입니다. 동적 궤도에서는 방위각이 동일하지 않을 수 있으며 각 뷰의 앙각도 다를 수 있습니다.

동적 궤도를 구축하기 위해 Stability AI는 정적 궤도를 샘플링하고 방위각에 작은 무작위 노이즈를 추가하고 고도에 다양한 주파수의 정현파의 무작위 가중치 조합을 추가합니다. 이렇게 하면 시간적 매끄러움이 제공되고 카메라 궤적이 조건 이미지와 동일한 방위각 및 고도 루프를 따라 끝나는 것을 보장합니다.

실험 결과

안정성 AI는 보이지 않는 GSO 및 OmniObject3D 데이터세트의 정적 및 동적 궤도에 대한 안정적인 비디오 3D 복합 멀티뷰 효과를 평가합니다. 아래 표 1~4에 표시된 결과는 Stable Video 3D가 새로운 다시점 합성에서 최첨단 성능을 달성했음을 보여줍니다.

표 1과 표 3은 정적 궤도의 다른 모델과 비교하여 Stable Video 3D의 결과를 보여 주며, 포즈 조정이 없는 모델 SV3D_u도 이전의 모든 방법보다 더 나은 성능을 발휘한다는 것을 보여줍니다.

Ablation 분석 결과에 따르면 SV3D_c 및 SV3D_p는 정적 궤적 생성에서 SV3D_u보다 성능이 우수하지만 후자는 정적 궤적에 대해서만 학습되었습니다.

아래 표 2와 표 4는 자세 조정 ​​모델 SV3D_c 및 SV3D_p를 포함한 동적 궤도의 생성 결과를 보여줍니다. 후자는 모든 측정 항목에서 SOTA를 달성합니다.

아래 그림 6의 시각적 비교 결과는 이전 작업과 비교하여 Stable Video 3D에서 생성된 이미지가 더 자세하고 조건부 이미지에 더 충실하며 여러 관점에서 더 일관적임을 보여줍니다. .

자세한 기술적 세부사항과 실험 결과는 원본 논문을 참조하세요.

위 내용은 Stable Video 3D는 충격적인 데뷔를 합니다. 단일 이미지로 사각지대가 없는 3D 비디오를 생성하고 모델 가중치가 공개됩니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!