시간과 공간을 통제할 수 있는 영상 생성이 현실이 되었고, 알리바바의 새로운 대형 모델인 VideoComposer가 인기를 끌었습니다.

AI 페인팅 분야에서는 알리바바가 제안한 Composer와 스탠포드가 제안한 안정적인 확산을 기반으로 하는 ControlNet이 제어 가능한 이미지 생성의 이론적 발전을 주도해 왔습니다. 그러나 제어 가능한 비디오 생성에 대한 업계의 탐구는 여전히 상대적으로 공백 상태입니다.

이미지 생성에 비해 제어 가능한 비디오는 더 복잡합니다. 왜냐하면 비디오 콘텐츠의 공간 제어 가능성 외에도 시간 차원의 제어 가능성도 충족해야 하기 때문입니다. 이를 바탕으로 알리바바와 앤트그룹 연구팀이 주도적으로 시도한 결과, 결합세대 패러다임을 통해 시공간 차원에서 영상 제어성을 동시에 구현하는 VideoComposer를 제안했다.

• 논문 주소: https://arxiv.org/abs/2306.02018
• 프로젝트 홈페이지: https://videocomposer.github.io

앞 섹션 당시 ​​알리바바는 매직 커뮤니티와 허깅 페이스에 빈센트 영상 모델을 오픈소스로 공개했는데, 이는 의외로 국내외 개발자들로부터 큰 관심을 끌었고, 모델이 제작한 영상은 머스크 본인에게서도 반응을 얻었고, 이 모델은 매직 커뮤니티에서 계속 인기를 얻었으며 여러 날 동안 하루에 수만 명의 해외 방문을 받았습니다.

Text-to-Video Twitter

VideoComposer가 연구팀으로 참여 국제사회에서 큰 호응을 얻었습니다 에 집중하세요. Twitter의 V ideoComposer

사실 제어 가능성은 시각적 콘텐츠가 되었습니다. 맞춤형 이미지 생성에서 상당한 진전을 이루었지만 여전히 비디오 생성 분야에서는 세 가지 주요 과제가 있는 창작에 대한 더 높은 벤치마크입니다.

• 복잡한 데이터 구조, 생성된 비디오는 시간 차원의 동적 변화의 다양성과 시공간 차원의 내용 일관성을 모두 충족해야 합니다.
• 복잡한 안내 조건, 기존 제어 가능한 비디오 생성이 복잡해야 합니다. 조건은 수동으로 구성할 수 없습니다. 예를 들어 Runway에서 제안한 Gen-1/2는 깊이 시퀀스를 조건으로 의존해야 합니다. 비디오 간의 구조적 이동을 더 잘 구현할 수 있지만 제어성 문제를 잘 해결할 수는 없습니다.
• 패턴은 부족합니다. 비디오의 복잡하고 추상적인 속성과 모션 제어성은 비디오 생성의 제어성을 해결하기 위한 필수 조건이다.

이에 앞서 Alibaba가 제안한 Composer는 구성성이 이미지 생성의 제어 가능성을 향상시키는 데 매우 도움이 된다는 것을 입증했습니다. 또한 VideoComposer는 구성 생성 패러다임을 기반으로 하며 위의 세 가지 문제를 해결하면서 유연성을 향상시킵니다. 비디오 세대. 구체적으로 비디오를 텍스트 조건, 공간 조건, 비디오별 타이밍 조건이라는 세 가지 안내 조건으로 분해한 후 이를 기반으로 비디오 LDM(Video Latent Diffusion Model)을 학습시킵니다. 특히 효율적인 모션 벡터를 중요한 명시적 타이밍 조건으로 사용하여 비디오의 모션 패턴을 학습하고, 조건 기반 비디오의 시공간 연속성을 보장하기 위해 간단하고 효과적인 시공간 조건 인코더 STC-인코더를 설계합니다. 추론 단계에서는 다양한 조건을 무작위로 결합하여 비디오 콘텐츠를 제어할 수 있습니다.

실험 결과 VideoComposer는 단일 사진, 손으로 그린 ​​그림 등을 통해 특정 영상을 생성하는 등 영상의 시공간적 패턴을 유연하게 제어할 수 있으며, 간단한 방법을 통해 대상의 움직임 스타일도 쉽게 제어할 수 있는 것으로 나타났습니다. 손으로 그린 ​​방향. 본 연구에서는 9가지 기존 작업에서 VideoComposer의 성능을 직접 테스트했으며 모두 만족스러운 결과를 얻었으며 VideoComposer의 다양성을 입증했습니다.

그림 (a-c) VideoComposer는 텍스트, 공간 및 시간 조건 또는 그 하위 집합을 충족하는 비디오를 생성할 수 있습니다. (d) VideoComposer는 반 고흐 스타일을 충족하는 비디오를 생성하기 위해 두 개의 스트로크만 사용할 수 있습니다. 만족스러운 예상 모션 모드(빨간색 선) 및 모양 모드(흰색 선)

방법 소개

동영상 LDM

숨겨진 공간. Video LDM은 먼저 사전 훈련된 인코더를 도입하여 입력 비디오 를 잠재 공간 표현(여기서

)에 매핑합니다. 그런 다음 사전 훈련된 디코더 D를 사용하여 잠재 공간을 픽셀 공간에 매핑합니다. VideoComposer에서 매개변수 설정

.

확산 모델. 실제 영상 콘텐츠 유통을 배우려면

, 확산 모델은 실제 시각적 콘텐츠를 복원하기 위해 정규 분포 노이즈에서 점진적으로 노이즈를 제거하는 방법을 학습합니다. 이 프로세스는 실제로 길이가 T=1000인 가역적 마르코프 체인을 시뮬레이션합니다. 잠재 공간에서 가역적 프로세스를 수행하기 위해 비디오 LDM은

에 노이즈를 주입하여 노이즈가 주입된 잠재 변수

를 얻습니다. 그런 다음 노이즈 제거 기능

을 사용하여

및 입력 조건 c에 따라 작동합니다. 최적화 목표는 다음과 같습니다. 유도 바이어스 및 시퀀스 시간 유도 바이어스를 사용한 노이즈 제거를 위해 VideoComposer는 시간 컨볼루션 연산자와 교차 주의 메커니즘을 모두 사용하여

을 3D UNet으로 인스턴스화합니다.

VideoComposer

결합 조건.

VideoComposer는 비디오를 텍스트 조건, 공간 조건, 임계 타이밍 조건이라는 세 가지 유형의 조건으로 분해하며, 이 조건이 함께 비디오의 공간적 및 시간적 패턴을 결정합니다. VideoComposer는 일반적인 결합 비디오 생성 프레임워크이므로 아래 나열된 조건에 국한되지 않고 다운스트림 애플리케이션에 따라 더 많은 사용자 정의 조건을 VideoComposer에 통합할 수 있습니다.

텍스트 조건: 텍스트(텍스트) 설명은 다음으로 시작합니다. 콘텐츠 및 모션 측면은 T2V에 일반적으로 사용되는 조건인 비디오의 직관적인 표시를 제공합니다.

공간 조건:
단일 이미지, 주어진 비디오 선택 첫 번째 프레임이 사용됩니다. 비디오의 내용과 구조를 표현하기 위해 이미지를 비디오로 생성하는 공간 조건으로

Single Sketch, PiDiNet을 사용하여 두 번째 공간 조건으로 첫 번째 비디오 프레임의 스케치를 추출합니다. ), 단일 이미지의 스타일을 합성된 비디오에 추가로 전달하기 위해 이미지 임베딩이 스타일 가이드로 선택됩니다.

• 타이밍 조건:
• Motion Vector(모션 벡터)는 영상의 고유한 요소인 모션 벡터를 2차원 벡터, 즉 수평 방향과 수직 방향으로 표현합니다. 인접한 두 프레임 사이의 픽셀별 이동을 명시적으로 인코딩합니다. 모션 벡터의 자연스러운 특성으로 인해 이 조건은 압축된 비디오에서 표준 MPEG-4 형식의 모션 벡터를 추출하는 시간적으로 부드러운 합성 모션 제어 신호로 간주됩니다. 비디오 레벨 소개 비디오 프레임의 깊이 맵을 추출하기 위해 PiDiNet에서 사전 훈련된 모델을 사용하는 깊이 정보
• 마스크 시퀀스(Mask Sequence), 관형 마스크를 도입하여 로컬 시공간 콘텐츠를 마스크하고 모델에 강제 적용 관찰 가능한 정보를 기반으로 예측합니다.
• 단일 스케치보다 더 많은 제어 세부 사항을 제공하여 정확한 사용자 정의 구성을 가능하게 하는 스케치 시퀀스.
시공간 조건부 인코더.

순차 조건에는 풍부하고 복잡한 시공간 종속성이 포함되어 있어 제어 가능한 명령에 큰 어려움을 겪습니다. 입력 조건에 대한 시간적 인식을 향상시키기 위해 본 연구에서는 시공간 관계를 통합하는 시공간 조건 인코더(STC-인코더)를 설계했습니다. 구체적으로, 두 개의 2D 컨볼루션과 avgPooling을 포함하는 경량 공간 구조를 먼저 적용하여 지역 공간 정보를 추출한 후 결과 조건 시퀀스를 시간적 모델링을 위한 시간적 변환기 레이어에 입력합니다. 이러한 방식으로 STC 인코더는 시간적 단서의 명시적 임베딩을 용이하게 하고 다양한 입력에 대한 조건부 임베딩을 위한 통합 항목을 제공하여 프레임 간 일관성을 향상시킬 수 있습니다. 또한 단일 이미지와 단일 스케치의 공간적 조건을 시간적 차원에서 반복하여 시간적 조건과의 일관성을 보장함으로써 조건 임베딩 과정을 용이하게 했습니다. STC 인코더를 통해 조건을 처리한 후 최종 조건 시퀀스는 와 동일한 공간 모양을 가지며 요소별 추가를 통해 융합됩니다. 마지막으로, 병합된 조건부 시퀀스는 제어 신호로서 채널 차원을 따라 연결됩니다. 텍스트 및 스타일 조건의 경우 교차 주의 메커니즘을 사용하여 텍스트 및 스타일 지침을 삽입합니다.

훈련 및 추론

2단계 훈련 전략.

VideoComposer는 이미지 LDM의 사전 학습을 통해 초기화할 수 있어 학습 난이도를 어느 정도 완화할 수 있지만, 모델이 시간 역학을 인식하는 능력과 다양한 조건을 생성하는 능력을 갖추기는 어렵습니다. 동시에 교육 결합 비디오 생성 난이도가 높아집니다. 따라서 본 연구에서는 1단계에서 T2V 트레이닝을 통해 모델에 타이밍 모델링 기능을 탑재하고, 2단계에서는 결합 트레이닝을 통해 VideoComposer를 최적화하여 더 나은 성능을 달성하는 2단계 최적화 전략을 채택했습니다.

추론.

추론 과정에서 추론 효율성을 높이기 위해 DDIM이 사용됩니다. 그리고 생성된 결과가 지정된 조건을 충족하는지 확인하기 위해 분류자 없는 지침을 채택합니다. 생성 프로세스는 다음과 같이 공식화될 수 있습니다.

여기서 Ω는 가이드 비율이며 c1과 c2는 두 가지 조건 세트입니다. 이 안내 메커니즘은 두 가지 조건의 집합을 판단하고 강도 제어를 통해 모델에 보다 유연한 제어를 제공할 수 있습니다.

실험 결과

실험적 탐색에서 이 연구는 VideoComposer가 통합 모델로서 범용 생성 프레임워크를 가지고 있음을 입증하고 9가지 기본 작업에 대한 VideoComposer의 기능을 검증했습니다.

이 연구의 일부 결과는 다음과 같습니다: 정적 사진에서 비디오 생성(그림 4), 비디오 인페인팅(그림 5), 정적 스케치 생성에서 비디오(그림 6), 손으로 그린 ​​모션 제어 비디오(그림 8) ), 모션 전송(그림 A12)은 모두 제어 가능한 비디오 생성의 장점을 반영할 수 있습니다.

팀 소개

공개 정보에 따르면 Alibaba의 시각적 기본 모델 연구는 주로 시각적 표현형 대형 모델, 시각적 생성형 대형 모델 및 그 다운스트림 애플리케이션을 개발했으며 관련 분야에서 60개 이상의 CCF-A 논문을 발표했으며 제어 가능한 이미지 생성 방법 Composer, 그래픽 및 텍스트 사전 훈련 방법 RA-CLIP 및 RLEG와 같은 여러 산업 대회에서 10개 이상의 국제 챔피언십을 수상했습니다. , 크롭되지 않은 장편 영상 자기 지도 학습 HiCo/HiCo++, 말하는 얼굴 생성 방법 LipFormer 등이 모두 이 팀의 제품입니다.

위 내용은 시간과 공간을 통제할 수 있는 영상 생성이 현실이 되었고, 알리바바의 새로운 대형 모델인 VideoComposer가 인기를 끌었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!