찾다
기술 주변기기일체 포함Fudan University와 Huawei Noah는 반복적인 고품질 비디오 생성을 달성하기 위해 VidRD 프레임워크를 제안합니다.

Fudan University의 연구원과 Huawei의 Noah's Ark Laboratory는 LDM(이미지 확산 모델) - VidRD(재사용 및 확산)를 기반으로 고품질 비디오를 생성하기 위한 반복 솔루션을 제안했습니다. 이 솔루션은 생성된 비디오의 품질과 시퀀스 길이를 혁신하고 제어 가능한 고품질의 긴 시퀀스 비디오 생성을 달성하는 것을 목표로 합니다. 생성된 비디오 프레임 간의 지터 문제를 효과적으로 줄이고, 높은 연구 성과 가치를 가지며, 현재 뜨거운 AIGC 커뮤니티에 기여합니다.

Latent Diffusion Model(LDM)은 Denoising Autoencoder를 기반으로 한 생성 모델로, 점진적으로 노이즈를 제거하여 무작위로 초기화된 데이터에서 고품질 샘플을 생성할 수 있습니다. 그러나 모델 교육 및 추론 중 계산 및 메모리 제한으로 인해 단일 LDM은 일반적으로 매우 제한된 수의 비디오 프레임만 생성할 수 있습니다. 기존 연구에서는 더 많은 비디오 프레임을 생성하기 위해 별도의 예측 모델을 사용하려고 시도했지만 이로 인해 추가 훈련 비용이 발생하고 프레임 수준의 지터가 발생합니다.

이 문서에서는 이미지 합성에서 LDM(잠재 확산 모델)의 놀라운 성공에 영감을 받아 "재사용 및 확산"(줄여서 VidRD)이라는 프레임워크를 제안합니다. 이 프레임워크는 LDM에서 이미 생성된 소수의 비디오 프레임 이후에 더 많은 비디오 프레임을 생성할 수 있으므로 더 길고 고품질이며 다양한 비디오 콘텐츠를 반복적으로 생성할 수 있습니다. VidRD는 효율적인 훈련을 위해 사전 훈련된 이미지 LDM 모델을 로드하고 노이즈 제거를 위해 시간 정보가 추가된 U-Net 네트워크를 사용합니다.

Fudan University와 Huawei Noah는 반복적인 고품질 비디오 생성을 달성하기 위해 VidRD 프레임워크를 제안합니다.


  • 논문 제목: 재사용 및 확산: 텍스트-비디오 생성을 위한 반복적 노이즈 제거
  • 논문 주소: https://arxiv.org/abs/2309.03549
  • 프로젝트 홈페이지: https://anonymous0x233.github.io/ReuseAndDiffuse/

이 기사의 주요 기여는 다음과 같습니다.

  1. 더 원활한 비디오를 생성하기 위해 이 기사에서는 다음을 기반으로 하는 반복 방법을 제안합니다. 타이밍 인식 LDM 모델 "텍스트-비디오" 생성 방법. 이 방법은 이미 생성된 비디오 프레임의 잠재 공간 특징을 재사용하고 매번 이전 확산 프로세스를 따라 반복적으로 더 많은 비디오 프레임을 생성할 수 있습니다.
  2. 이 기사에서는 고품질 "텍스트-비디오" 데이터 세트를 생성하기 위한 일련의 데이터 처리 방법을 설계합니다. 기존 동작 인식 데이터 세트에 대해 본 논문에서는 다중 모드 대형 언어 모델을 사용하여 비디오에 텍스트 설명을 제공합니다. 이미지 데이터의 경우 이 문서에서는 무작위 크기 조정 및 변환 방법을 사용하여 더 많은 비디오 교육 샘플을 생성합니다.
  3. UCF-101 데이터 세트에서 FVD와 IS의 두 가지 평가 지표와 시각화 결과를 검증한 결과, 정량적, 정성적 결과를 보면 VidRD 모델이 기존 방법보다 더 나은 결과를 얻은 것으로 나타났습니다.

방법 소개

Fudan University와 Huawei Noah는 반복적인 고품질 비디오 생성을 달성하기 위해 VidRD 프레임워크를 제안합니다.

그림 1. 이 기사에서 제안한 VidRD 비디오 생성 프레임워크의 도식

이 기사에서는 사전 훈련된 이미지 LDM을 LDM 훈련의 출발점으로 사용한다고 믿습니다. 고품질 비디오 합성을 위해서는 효율적이고 현명하게 선택하세요. 동시에, 이 견해는 [1, 2]와 같은 연구 작업에 의해 더욱 뒷받침됩니다. 이러한 맥락에서 이 기사에서 신중하게 설계된 모델은 사전 훈련된 안정적인 확산 모델을 기반으로 구축되었으며, 우수한 특성을 완전히 학습하고 상속합니다. 여기에는 정확한 잠재 표현을 위한 VAE(변형 자동 인코더)와 강력한 잡음 제거 네트워크 U-Net이 포함됩니다. 그림 1은 모델의 전체 아키텍처를 명확하고 직관적인 방식으로 보여줍니다.

이 기사의 모델 설계에서 주목할만한 특징은 사전 훈련된 모델 가중치를 최대한 활용한다는 것입니다. 특히, VAE의 구성요소와 U-Net의 업샘플링 및 다운샘플링 레이어를 포함한 대부분의 네트워크 레이어는 안정 확산 모델의 사전 훈련된 가중치를 사용하여 초기화됩니다. 이 전략은 모델 훈련 프로세스의 속도를 크게 높일 뿐만 아니라 모델이 처음부터 우수한 안정성과 신뢰성을 나타내도록 보장합니다. 우리 모델은 원래 잠재 기능을 재사용하고 이전 확산 프로세스를 모방하여 적은 수의 프레임이 포함된 초기 비디오 클립에서 추가 프레임을 반복적으로 생성할 수 있습니다. 또한 픽셀 공간과 잠재 공간 사이를 변환하는 데 사용되는 자동 인코더의 경우 타이밍 관련 네트워크 레이어를 디코더에 삽입하고 이러한 레이어를 미세 조정하여 시간적 일관성을 향상시킵니다.

비디오 프레임 간의 연속성을 보장하기 위해 이 문서에서는 모델에 3D Temp-conv 및 Temp-attn 레이어를 추가합니다. Temp-conv 계층은 3D 컨볼루션 작업을 구현하여 공간적 및 시간적 상관 관계를 캡처하여 비디오 시퀀스 집계의 동적 변화와 연속성을 이해할 수 있는 구조인 3D ResNet을 따릅니다. Temp-Attn 구조는 Self-attention과 유사하며 비디오 시퀀스에서 프레임 간의 관계를 분석하고 이해하는 데 사용되므로 모델이 프레임 간의 실행 정보를 정확하게 동기화할 수 있습니다. 이러한 매개변수는 훈련 중에 무작위로 초기화되며 모델이 시간 구조를 이해하고 인코딩할 수 있도록 설계되었습니다. 또한 모델 구조에 적응하기 위해 데이터 입력도 그에 따라 조정되고 조정되었습니다.

Fudan University와 Huawei Noah는 반복적인 고품질 비디오 생성을 달성하기 위해 VidRD 프레임워크를 제안합니다.

그림 2. 본 글에서 제안한 고품질 "텍스트-비디오" 학습 데이터 세트 구축 방법

VidRD 모델을 학습하기 위해 본 글에서는 대규모의 "텍스트-비디오" 학습 데이터 세트를 구축하는 방법을 제안합니다. scale "text-video" 훈련 데이터 세트 그림 2에 표시된 방법은 설명 없이 "text-image" 데이터와 "text-video" 데이터를 처리할 수 있습니다. 또한, 이 글에서는 고품질의 비디오 생성을 달성하기 위해 훈련 데이터의 워터마크 제거도 시도합니다.

현재 시장에서는 고품질 동영상 설명 데이터세트가 상대적으로 부족하지만, 동영상 분류 데이터세트는 많이 존재합니다. 이러한 데이터 세트에는 풍부한 비디오 콘텐츠가 있으며 각 비디오에는 분류 레이블이 함께 제공됩니다. 예를 들어 Moments-In-Time, Kinetics-700 및 VideoLT는 대표적인 대규모 비디오 분류 데이터 세트 3가지입니다. Kinetics-700은 700가지 인간 행동 카테고리를 다루며 600,000개 이상의 비디오 클립을 포함합니다. Moments-In-Time에는 총 100만 개가 넘는 비디오 클립과 함께 339개의 액션 카테고리가 포함되어 있습니다. 반면 VideoLT에는 1,004개의 카테고리와 250,000개의 긴 편집되지 않은 비디오가 포함되어 있습니다.

기존 동영상 데이터를 최대한 활용하기 위해 이 글에서는 이러한 동영상에 자동으로 주석을 더 자세히 추가하려고 합니다. 이 기사에서는 BLIP-2 및 MiniGPT4와 같은 다중 모드 대형 언어 모델을 사용합니다. 비디오의 키 프레임을 대상으로 하고 원래 분류 레이블을 결합하여 모델 질문 및 답변을 통해 주석을 생성하는 많은 프롬프트를 설계합니다. 이 방법은 비디오 데이터의 음성 정보를 향상시킬 뿐만 아니라, 자세한 설명이 없는 기존 비디오에 보다 포괄적이고 상세한 비디오 설명을 제공함으로써 보다 풍부한 비디오 태그 생성을 가능하게 하여 VidRD 모델이 더 나은 훈련 효과를 가져올 수 있도록 돕습니다.

또한 기존의 매우 풍부한 이미지 데이터에 대해 이 기사에서는 학습을 위해 이미지 데이터를 비디오 형식으로 변환하는 자세한 방법도 설계했습니다. 구체적인 작업은 이미지의 다양한 위치에서 다양한 속도로 이동 및 확대/축소하여 각 이미지에 독특하고 역동적인 프리젠테이션 형태를 제공하고 카메라를 움직여 실제 사물을 캡처하는 효과를 시뮬레이션하는 것입니다. 이 방법을 통해 기존의 영상 데이터를 영상 훈련에 효과적으로 활용할 수 있습니다.

효과 표시

설명 텍스트는 다음과 같습니다: "하늘에 오로라가 있는 눈밭에서의 저속 촬영.", "촛불이 타오르고 있습니다.", "밤에 빛나는 도시 위를 공격하는 장엄한 토네이도." , "아름다운 바다 기슭의 하얀 모래사장을 공중에서 바라본 모습." 더 많은 시각화 자료는 프로젝트 홈페이지에서 확인할 수 있습니다.

Fudan University와 Huawei Noah는 반복적인 고품질 비디오 생성을 달성하기 위해 VidRD 프레임워크를 제안합니다.

Figure 3. 기존 방식과 생성 효과의 시각적 비교

마지막으로 Figure 3과 같이 본 글의 생성 결과를 기존 방식 Make-A-Video와 비교한다. ] 및 Imagen Video [4]의 시각적 비교는 이 기사에서 모델의 더 나은 품질 생성 효과를 보여줍니다.

위 내용은 Fudan University와 Huawei Noah는 반복적인 고품질 비디오 생성을 달성하기 위해 VidRD 프레임워크를 제안합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51CTO.COM에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
요리 혁신 요리 : 인공 지능이 식품 서비스를 변화시키는 방법요리 혁신 요리 : 인공 지능이 식품 서비스를 변화시키는 방법Apr 12, 2025 pm 12:09 PM

AI 식품 준비 여전히 초기 사용 중이지만 AI 시스템은 음식 준비에 점점 더 많이 사용되고 있습니다. AI 구동 로봇은 부엌에서 햄버거를 뒤집기, 피자 만들기 또는 SA 조립과 같은 음식 준비 작업을 자동화하는 데 사용됩니다

파이썬 네임 스페이스 및 가변 범위에 대한 포괄적 인 안내서파이썬 네임 스페이스 및 가변 범위에 대한 포괄적 인 안내서Apr 12, 2025 pm 12:00 PM

소개 파이썬 기능에서 변수의 네임 스페이스, 범위 및 동작을 이해하는 것은 효율적으로 작성하고 런타임 오류 또는 예외를 피하는 데 중요합니다. 이 기사에서는 다양한 ASP를 탐구 할 것입니다

비전 언어 모델 (VLMS)에 대한 포괄적 인 안내서비전 언어 모델 (VLMS)에 대한 포괄적 인 안내서Apr 12, 2025 am 11:58 AM

소개 생생한 그림과 조각으로 둘러싸인 아트 갤러리를 걷는 것을 상상해보십시오. 이제 각 작품에 질문을하고 의미있는 대답을 얻을 수 있다면 어떨까요? “어떤 이야기를하고 있습니까?

Mediatek은 Kompanio Ultra 및 Dimensity 9400으로 프리미엄 라인업을 향상시킵니다.Mediatek은 Kompanio Ultra 및 Dimensity 9400으로 프리미엄 라인업을 향상시킵니다.Apr 12, 2025 am 11:52 AM

제품 케이던스를 계속하면서 이번 달 Mediatek은 새로운 Kompanio Ultra and Dimensity 9400을 포함한 일련의 발표를했습니다. 이 제품은 스마트 폰 용 칩을 포함하여 Mediatek 비즈니스의 전통적인 부분을 채우고 있습니다.

이번 주 AI : Walmart는 패션 트렌드를 설정하기 전에 패션 트렌드를 설정합니다.이번 주 AI : Walmart는 패션 트렌드를 설정하기 전에 패션 트렌드를 설정합니다.Apr 12, 2025 am 11:51 AM

#1 Google은 Agent2agent를 시작했습니다 이야기 : 월요일 아침입니다. AI 기반 채용 담당자로서 당신은 더 똑똑하지 않고 더 똑똑하지 않습니다. 휴대 전화에서 회사의 대시 보드에 로그인합니다. 세 가지 중요한 역할이 공급되고, 검증되며, 예정된 FO가 있음을 알려줍니다.

생성 AI는 사이코브블을 만난다생성 AI는 사이코브블을 만난다Apr 12, 2025 am 11:50 AM

나는 당신이되어야한다고 생각합니다. 우리 모두는 Psychobabble이 다양한 심리적 용어를 혼합하고 종종 이해할 수 없거나 완전히 무의미한 모듬 채터로 구성되어 있다는 것을 알고 있습니다. 당신이 fo를 뿌리기 위해해야 ​​할 일

프로토 타입 : 과학자들은 종이를 플라스틱으로 바꿉니다프로토 타입 : 과학자들은 종이를 플라스틱으로 바꿉니다Apr 12, 2025 am 11:49 AM

이번 주 발표 된 새로운 연구에 따르면 2022 년에 제조 된 플라스틱의 9.5%만이 재활용 재료로 만들어졌습니다. 한편, 플라스틱은 계속해서 매립지와 생태계에 전 세계에 쌓이고 있습니다. 그러나 도움이 진행 중입니다. 엥인 팀

AI 분석가의 부상 : AI 혁명에서 이것이 가장 중요한 일이 될 수있는 이유AI 분석가의 부상 : AI 혁명에서 이것이 가장 중요한 일이 될 수있는 이유Apr 12, 2025 am 11:41 AM

최근 Enterprise Analytics 플랫폼 Alteryx의 CEO 인 Andy MacMillan과의 대화는 AI 혁명 에서이 비판적이면서도 저평가 된 역할을 강조했습니다. MacMillan에서 설명했듯이 원시 비즈니스 데이터와 AI-Ready Informat의 격차

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

인기 기사

R.E.P.O. 에너지 결정과 그들이하는 일 (노란색 크리스탈)
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 최고의 그래픽 설정
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 아무도들을 수없는 경우 오디오를 수정하는 방법
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25 : Myrise에서 모든 것을 잠금 해제하는 방법
4 몇 주 전By尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

MinGW - Windows용 미니멀리스트 GNU

MinGW - Windows용 미니멀리스트 GNU

이 프로젝트는 osdn.net/projects/mingw로 마이그레이션되는 중입니다. 계속해서 그곳에서 우리를 팔로우할 수 있습니다. MinGW: GCC(GNU Compiler Collection)의 기본 Windows 포트로, 기본 Windows 애플리케이션을 구축하기 위한 무료 배포 가능 가져오기 라이브러리 및 헤더 파일로 C99 기능을 지원하는 MSVC 런타임에 대한 확장이 포함되어 있습니다. 모든 MinGW 소프트웨어는 64비트 Windows 플랫폼에서 실행될 수 있습니다.

에디트플러스 중국어 크랙 버전

에디트플러스 중국어 크랙 버전

작은 크기, 구문 강조, 코드 프롬프트 기능을 지원하지 않음

SublimeText3 Linux 새 버전

SublimeText3 Linux 새 버전

SublimeText3 Linux 최신 버전