Fudan University와 Huawei Noah는 반복적인 고품질 비디오 생성을 달성하기 위해 VidRD 프레임워크를 제안합니다.
Fudan University의 연구원과 Huawei의 Noah's Ark Laboratory는 LDM(이미지 확산 모델) - VidRD(재사용 및 확산)를 기반으로 고품질 비디오를 생성하기 위한 반복 솔루션을 제안했습니다. 이 솔루션은 생성된 비디오의 품질과 시퀀스 길이를 혁신하고 제어 가능한 고품질의 긴 시퀀스 비디오 생성을 달성하는 것을 목표로 합니다. 생성된 비디오 프레임 간의 지터 문제를 효과적으로 줄이고, 높은 연구 성과 가치를 가지며, 현재 뜨거운 AIGC 커뮤니티에 기여합니다.
Latent Diffusion Model(LDM)은 Denoising Autoencoder를 기반으로 한 생성 모델로, 점진적으로 노이즈를 제거하여 무작위로 초기화된 데이터에서 고품질 샘플을 생성할 수 있습니다. 그러나 모델 교육 및 추론 중 계산 및 메모리 제한으로 인해 단일 LDM은 일반적으로 매우 제한된 수의 비디오 프레임만 생성할 수 있습니다. 기존 연구에서는 더 많은 비디오 프레임을 생성하기 위해 별도의 예측 모델을 사용하려고 시도했지만 이로 인해 추가 훈련 비용이 발생하고 프레임 수준의 지터가 발생합니다.
이 문서에서는 이미지 합성에서 LDM(잠재 확산 모델)의 놀라운 성공에 영감을 받아 "재사용 및 확산"(줄여서 VidRD)이라는 프레임워크를 제안합니다. 이 프레임워크는 LDM에서 이미 생성된 소수의 비디오 프레임 이후에 더 많은 비디오 프레임을 생성할 수 있으므로 더 길고 고품질이며 다양한 비디오 콘텐츠를 반복적으로 생성할 수 있습니다. VidRD는 효율적인 훈련을 위해 사전 훈련된 이미지 LDM 모델을 로드하고 노이즈 제거를 위해 시간 정보가 추가된 U-Net 네트워크를 사용합니다.
- 논문 제목: 재사용 및 확산: 텍스트-비디오 생성을 위한 반복적 노이즈 제거
- 논문 주소: https://arxiv.org/abs/2309.03549
- 프로젝트 홈페이지: https://anonymous0x233.github.io/ReuseAndDiffuse/
이 기사의 주요 기여는 다음과 같습니다.
- 더 원활한 비디오를 생성하기 위해 이 기사에서는 다음을 기반으로 하는 반복 방법을 제안합니다. 타이밍 인식 LDM 모델 "텍스트-비디오" 생성 방법. 이 방법은 이미 생성된 비디오 프레임의 잠재 공간 특징을 재사용하고 매번 이전 확산 프로세스를 따라 반복적으로 더 많은 비디오 프레임을 생성할 수 있습니다.
- 이 기사에서는 고품질 "텍스트-비디오" 데이터 세트를 생성하기 위한 일련의 데이터 처리 방법을 설계합니다. 기존 동작 인식 데이터 세트에 대해 본 논문에서는 다중 모드 대형 언어 모델을 사용하여 비디오에 텍스트 설명을 제공합니다. 이미지 데이터의 경우 이 문서에서는 무작위 크기 조정 및 변환 방법을 사용하여 더 많은 비디오 교육 샘플을 생성합니다.
- UCF-101 데이터 세트에서 FVD와 IS의 두 가지 평가 지표와 시각화 결과를 검증한 결과, 정량적, 정성적 결과를 보면 VidRD 모델이 기존 방법보다 더 나은 결과를 얻은 것으로 나타났습니다.
방법 소개
그림 1. 이 기사에서 제안한 VidRD 비디오 생성 프레임워크의 도식
이 기사에서는 사전 훈련된 이미지 LDM을 LDM 훈련의 출발점으로 사용한다고 믿습니다. 고품질 비디오 합성을 위해서는 효율적이고 현명하게 선택하세요. 동시에, 이 견해는 [1, 2]와 같은 연구 작업에 의해 더욱 뒷받침됩니다. 이러한 맥락에서 이 기사에서 신중하게 설계된 모델은 사전 훈련된 안정적인 확산 모델을 기반으로 구축되었으며, 우수한 특성을 완전히 학습하고 상속합니다. 여기에는 정확한 잠재 표현을 위한 VAE(변형 자동 인코더)와 강력한 잡음 제거 네트워크 U-Net이 포함됩니다. 그림 1은 모델의 전체 아키텍처를 명확하고 직관적인 방식으로 보여줍니다.
이 기사의 모델 설계에서 주목할만한 특징은 사전 훈련된 모델 가중치를 최대한 활용한다는 것입니다. 특히, VAE의 구성요소와 U-Net의 업샘플링 및 다운샘플링 레이어를 포함한 대부분의 네트워크 레이어는 안정 확산 모델의 사전 훈련된 가중치를 사용하여 초기화됩니다. 이 전략은 모델 훈련 프로세스의 속도를 크게 높일 뿐만 아니라 모델이 처음부터 우수한 안정성과 신뢰성을 나타내도록 보장합니다. 우리 모델은 원래 잠재 기능을 재사용하고 이전 확산 프로세스를 모방하여 적은 수의 프레임이 포함된 초기 비디오 클립에서 추가 프레임을 반복적으로 생성할 수 있습니다. 또한 픽셀 공간과 잠재 공간 사이를 변환하는 데 사용되는 자동 인코더의 경우 타이밍 관련 네트워크 레이어를 디코더에 삽입하고 이러한 레이어를 미세 조정하여 시간적 일관성을 향상시킵니다.
비디오 프레임 간의 연속성을 보장하기 위해 이 문서에서는 모델에 3D Temp-conv 및 Temp-attn 레이어를 추가합니다. Temp-conv 계층은 3D 컨볼루션 작업을 구현하여 공간적 및 시간적 상관 관계를 캡처하여 비디오 시퀀스 집계의 동적 변화와 연속성을 이해할 수 있는 구조인 3D ResNet을 따릅니다. Temp-Attn 구조는 Self-attention과 유사하며 비디오 시퀀스에서 프레임 간의 관계를 분석하고 이해하는 데 사용되므로 모델이 프레임 간의 실행 정보를 정확하게 동기화할 수 있습니다. 이러한 매개변수는 훈련 중에 무작위로 초기화되며 모델이 시간 구조를 이해하고 인코딩할 수 있도록 설계되었습니다. 또한 모델 구조에 적응하기 위해 데이터 입력도 그에 따라 조정되고 조정되었습니다.
그림 2. 본 글에서 제안한 고품질 "텍스트-비디오" 학습 데이터 세트 구축 방법
VidRD 모델을 학습하기 위해 본 글에서는 대규모의 "텍스트-비디오" 학습 데이터 세트를 구축하는 방법을 제안합니다. scale "text-video" 훈련 데이터 세트 그림 2에 표시된 방법은 설명 없이 "text-image" 데이터와 "text-video" 데이터를 처리할 수 있습니다. 또한, 이 글에서는 고품질의 비디오 생성을 달성하기 위해 훈련 데이터의 워터마크 제거도 시도합니다.
현재 시장에서는 고품질 동영상 설명 데이터세트가 상대적으로 부족하지만, 동영상 분류 데이터세트는 많이 존재합니다. 이러한 데이터 세트에는 풍부한 비디오 콘텐츠가 있으며 각 비디오에는 분류 레이블이 함께 제공됩니다. 예를 들어 Moments-In-Time, Kinetics-700 및 VideoLT는 대표적인 대규모 비디오 분류 데이터 세트 3가지입니다. Kinetics-700은 700가지 인간 행동 카테고리를 다루며 600,000개 이상의 비디오 클립을 포함합니다. Moments-In-Time에는 총 100만 개가 넘는 비디오 클립과 함께 339개의 액션 카테고리가 포함되어 있습니다. 반면 VideoLT에는 1,004개의 카테고리와 250,000개의 긴 편집되지 않은 비디오가 포함되어 있습니다.
기존 동영상 데이터를 최대한 활용하기 위해 이 글에서는 이러한 동영상에 자동으로 주석을 더 자세히 추가하려고 합니다. 이 기사에서는 BLIP-2 및 MiniGPT4와 같은 다중 모드 대형 언어 모델을 사용합니다. 비디오의 키 프레임을 대상으로 하고 원래 분류 레이블을 결합하여 모델 질문 및 답변을 통해 주석을 생성하는 많은 프롬프트를 설계합니다. 이 방법은 비디오 데이터의 음성 정보를 향상시킬 뿐만 아니라, 자세한 설명이 없는 기존 비디오에 보다 포괄적이고 상세한 비디오 설명을 제공함으로써 보다 풍부한 비디오 태그 생성을 가능하게 하여 VidRD 모델이 더 나은 훈련 효과를 가져올 수 있도록 돕습니다.
또한 기존의 매우 풍부한 이미지 데이터에 대해 이 기사에서는 학습을 위해 이미지 데이터를 비디오 형식으로 변환하는 자세한 방법도 설계했습니다. 구체적인 작업은 이미지의 다양한 위치에서 다양한 속도로 이동 및 확대/축소하여 각 이미지에 독특하고 역동적인 프리젠테이션 형태를 제공하고 카메라를 움직여 실제 사물을 캡처하는 효과를 시뮬레이션하는 것입니다. 이 방법을 통해 기존의 영상 데이터를 영상 훈련에 효과적으로 활용할 수 있습니다.
효과 표시
설명 텍스트는 다음과 같습니다: "하늘에 오로라가 있는 눈밭에서의 저속 촬영.", "촛불이 타오르고 있습니다.", "밤에 빛나는 도시 위를 공격하는 장엄한 토네이도." , "아름다운 바다 기슭의 하얀 모래사장을 공중에서 바라본 모습." 더 많은 시각화 자료는 프로젝트 홈페이지에서 확인할 수 있습니다.
Figure 3. 기존 방식과 생성 효과의 시각적 비교
마지막으로 Figure 3과 같이 본 글의 생성 결과를 기존 방식 Make-A-Video와 비교한다. ] 및 Imagen Video [4]의 시각적 비교는 이 기사에서 모델의 더 나은 품질 생성 효과를 보여줍니다.
위 내용은 Fudan University와 Huawei Noah는 반복적인 고품질 비디오 생성을 달성하기 위해 VidRD 프레임워크를 제안합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

"AI-Ready Workforce"라는 용어는 자주 사용되지만 공급망 산업에서 실제로 무엇을 의미합니까? ASCM (Association for Supply Chain Management)의 CEO 인 Abe Eshkenazi에 따르면 비평가가 가능한 전문가를 의미합니다.

분산 된 AI 혁명은 조용히 운동량을 얻고 있습니다. 이번 주 금요일 텍사스 오스틴에서 Bittensor Endgame Summit은 중추적 인 순간을 표시하여 분산 된 AI (DEAI)를 이론에서 실제 적용으로 전환합니다. 화려한 광고와 달리

Enterprise AI는 데이터 통합 문제에 직면 해 있습니다 Enterprise AI의 적용은 비즈니스 데이터를 지속적으로 학습함으로써 정확성과 실용성을 유지할 수있는 시스템을 구축하는 주요 과제에 직면 해 있습니다. NEMO 마이크로 서비스는 NVIDIA가 "데이터 플라이휠"으로 묘사 한 내용을 작성 하여이 문제를 해결하여 AI 시스템이 엔터프라이즈 정보 및 사용자 상호 작용에 지속적으로 노출되어 관련성을 유지할 수 있도록합니다. 새로 출시 된이 툴킷에는 5 개의 주요 마이크로 서비스가 포함되어 있습니다. NEMO Customizer는 더 높은 교육 처리량으로 대형 언어 모델의 미세 조정을 처리합니다. NEMO 평가자는 사용자 지정 벤치 마크에 대한 AI 모델의 단순화 된 평가를 제공합니다. Nemo Guardrails는 보안 제어를 구현하여 규정 준수 및 적절성을 유지합니다.

AI : 예술과 디자인의 미래 인공 지능 (AI)은 전례없는 방식으로 예술 및 디자인 분야를 변화시키고 있으며, 그 영향은 더 이상 아마추어에게만 국한되지 않고 전문가에게 더 큰 영향을 미칩니다. AI에 의해 생성 된 아트 워크 및 디자인 체계는 광고, 소셜 미디어 이미지 생성 및 웹 디자인과 같은 많은 트랜잭션 디자인 활동에서 전통적인 재료 이미지 및 디자이너를 빠르게 대체하고 있습니다. 그러나 전문 예술가와 디자이너는 AI의 실질적인 가치도 찾습니다. 그들은 AI를 보조 도구로 사용하여 새로운 미적 가능성을 탐색하고 다양한 스타일을 혼합하며 새로운 시각 효과를 만듭니다. AI는 아티스트와 디자이너가 반복적 인 작업을 자동화하고 다양한 디자인 요소를 제안하며 창의적인 입력을 제공하도록 도와줍니다. AI는 스타일 전송을 지원하며 이미지 스타일을 적용합니다.

처음에는 화상 회의 플랫폼으로 유명한 Zoom은 에이전트 AI의 혁신적인 사용으로 직장 혁명을 이끌고 있습니다. Zoom의 CTO 인 XD Huang과의 최근 대화는 회사의 야심 찬 비전을 공개했습니다. 에이전트 AI 정의 Huang d

AI가 교육에 혁명을 일으킬까요? 이 질문은 교육자와 이해 관계자들 사이에서 심각한 반영을 촉구하고 있습니다. AI를 교육에 통합하면 기회와 도전이 모두 나타납니다. Tech Edvocate의 Matthew Lynch로서 Universit

미국의 과학 연구 및 기술의 발전은 아마도 예산 삭감으로 인해 어려움에 직면 할 수 있습니다. Nature에 따르면, 해외 일자리를 신청하는 미국 과학자의 수는 2024 년 같은 기간에 비해 2025 년 1 월부터 3 월까지 32% 증가했습니다. 이전 여론 조사에 따르면 설문 조사에 참여한 연구원의 75%가 유럽과 캐나다에서 일자리 검색을 고려하고 있음을 보여주었습니다. 지난 몇 개월 동안 수백 개의 NIH와 NSF 보조금이 종료되었으며, NIH의 새로운 보조금은 올해 약 23 억 달러로 줄어 듭니다. 유출 된 예산 제안에 따르면 트럼프 행정부는 과학 기관의 예산을 급격히 줄이는 것을 고려하고 있으며 최대 50%감소 할 수 있습니다. 기본 연구 분야의 혼란은 또한 미국의 주요 장점 중 하나 인 해외 인재 유치에 영향을 미쳤습니다. 35

Openai는 강력한 GPT-4.1 시리즈를 공개합니다. 실제 응용 프로그램을 위해 설계된 3 개의 고급 언어 모델 패밀리. 이 중요한 도약 전진


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

Video Face Swap
완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

인기 기사

뜨거운 도구

에디트플러스 중국어 크랙 버전
작은 크기, 구문 강조, 코드 프롬프트 기능을 지원하지 않음

Atom Editor Mac 버전 다운로드
가장 인기 있는 오픈 소스 편집기

MinGW - Windows용 미니멀리스트 GNU
이 프로젝트는 osdn.net/projects/mingw로 마이그레이션되는 중입니다. 계속해서 그곳에서 우리를 팔로우할 수 있습니다. MinGW: GCC(GNU Compiler Collection)의 기본 Windows 포트로, 기본 Windows 애플리케이션을 구축하기 위한 무료 배포 가능 가져오기 라이브러리 및 헤더 파일로 C99 기능을 지원하는 MSVC 런타임에 대한 확장이 포함되어 있습니다. 모든 MinGW 소프트웨어는 64비트 Windows 플랫폼에서 실행될 수 있습니다.

드림위버 CS6
시각적 웹 개발 도구

SecList
SecLists는 최고의 보안 테스터의 동반자입니다. 보안 평가 시 자주 사용되는 다양한 유형의 목록을 한 곳에 모아 놓은 것입니다. SecLists는 보안 테스터에게 필요할 수 있는 모든 목록을 편리하게 제공하여 보안 테스트를 더욱 효율적이고 생산적으로 만드는 데 도움이 됩니다. 목록 유형에는 사용자 이름, 비밀번호, URL, 퍼징 페이로드, 민감한 데이터 패턴, 웹 셸 등이 포함됩니다. 테스터는 이 저장소를 새로운 테스트 시스템으로 간단히 가져올 수 있으며 필요한 모든 유형의 목록에 액세스할 수 있습니다.
