Sora의 오픈 소스 버전이 인기를 끌고 있습니다. 4K Star를 사용할 수 있고 단일 카드에서 4090을 실행할 수 있으며 A6000을 미세 조정할 수 있습니다.

Zhipu AI는 자체 개발한 대형 모델을 오픈 소스로 공개했습니다.

국내 영상세대 분야가 점점 대중화되고 있습니다. 방금 Zhipu AI는 "Qingying"과 동일한 기원을 가진 비디오 생성 모델인 CogVideoX를 오픈 소스로 공개할 것이라고 발표했습니다. 단 몇 시간 만에 별 4,000개를 획득하세요.

• 코드 저장소: https://github.com/THUDM/CogVideo
• 모델 다운로드: https://huggingface.co/THUDM/CogVideoX-2b
• 기술 보고서: https: //github.com/THUDM/CogVideo/blob/main/resources/CogVideoX.pdf

7월 26일, Zhipu AI는 비디오 생성 제품인 "Qingying"을 공식 출시했습니다. 모든 사람. . 좋은 아이디어(몇 단어에서 수백 단어)와 약간의 인내심(30초)만 있으면 "Qingying"은 1440x960 해상도의 고정밀 비디오를 생성할 수 있습니다.

이제부터 Qingying이 Qingyan 앱을 출시하고 모든 사용자가 이를 전면적으로 경험할 수 있다고 공식 발표했습니다. 시도해보고 싶은 친구는 "Zhipu Qingyan"에 가서 "Qingying"의 동영상 생성 능력을 경험할 수 있습니다.

"Qingying"의 출현은 중국의 모든 사람이 사용할 수 있는 최초의 Sora로 환영받습니다. '칭잉'은 공개 6일 만에 생성된 영상 수가 100만 건을 넘어섰다.

• PC 접속 링크: https://chatglm.cn/
• 모바일 접속 링크: https://chatglm.cn/download?fr=web_home

왜 Zhipu AI 오픈소스 모델이 그렇게 인기가 있나요? 비디오 생성 기술이 점차 성숙해지고 있음에도 불구하고 아직 상용 수준 애플리케이션의 요구 사항을 충족할 수 있는 오픈 소스 비디오 생성 모델이 없다는 점을 알아야 합니다. 친숙한 소라, Gen-3 등은 모두 비공개 소스입니다. CogVideoX의 오픈 소스는 Sora 뒤에 있는 모델의 OpenAI 오픈 소스와 유사하며 이는 대다수의 연구자에게 매우 중요합니다.

CogVideoX 오픈 소스 모델에는 다양한 크기의 여러 모델이 포함되어 있습니다. 현재 Zhipu AI 오픈 소스 CogVideoX-2B는 FP-16 정확도의 추론을 위해 18GB의 비디오 메모리만 필요하고 미세 조정을 위해서는 40GB의 비디오 메모리만 필요합니다. 단일 A 4090 그래픽 카드는 추론을 수행할 수 있고 단일 A6000 그래픽 카드는 미세 조정을 완료할 수 있습니다.

CogVideoX-2B의 프롬프트 단어 제한은 226개 토큰, 비디오 길이는 6초, 프레임 속도는 8프레임/초, 비디오 해상도는 720*480입니다. Zhipu AI는 영상 품질 향상을 위해 방대한 공간을 확보해 왔으며, 신속한 단어 최적화, 영상 길이, 프레임 속도, 해상도, 장면 미세 조정 및 영상을 둘러싼 다양한 기능 개발에 대한 개발자의 오픈 소스 기여를 기대합니다. .

더 강력한 성능과 더 큰 매개변수를 갖춘 모델이 곧 출시될 예정이니 계속 지켜봐주시고 기대해 주세요.

Model

VAE

동영상 데이터에는 공간적, 시간적 정보가 포함되어 있기 때문에 데이터의 양과 계산 부담이 이미지 데이터보다 훨씬 큽니다. 이러한 문제를 해결하기 위해 Zhipu는 3D VAE(3D Variational Autoencoder) 기반의 비디오 압축 방법을 제안했습니다. 3D VAE는 3차원 컨볼루션을 통해 비디오의 공간적 차원과 시간적 차원을 동시에 압축하여 더 높은 압축률과 더 나은 재구성 품질을 달성합니다.

모델 구조에는 인코더, 디코더, 잠재 공간 정규화 장치가 포함되어 있으며 압축은 다운샘플링과 업샘플링의 4단계를 통해 이루어집니다. 시간적 인과 컨볼루션은 정보의 인과성을 보장하고 통신 오버헤드를 줄입니다. Zhipu는 상황별 병렬 처리 기술을 사용하여 대규모 비디오 처리에 적응합니다.

실험에서 Zhipu AI는 고해상도 인코딩이 일반화하기 쉽지만 프레임 수를 늘리는 것이 더 어렵다는 것을 발견했습니다. 따라서 Zhipu는 두 단계로 모델을 훈련합니다. 먼저 낮은 프레임 속도와 미니 배치에 대한 훈련을 한 다음 상황별 병렬성을 통해 더 높은 프레임 속도에 대한 미세 조정을 수행합니다. 훈련 손실 함수는 3D 판별자를 위한 L2 손실, LPIPS 지각 손실, GAN 손실을 결합합니다.

Expert Transformer

Wisdom Spectrum AI는 VAE의 인코더를 사용하여 비디오를 잠재 공간으로 압축한 다음 잠재 공간을 청크로 분할하고 긴 시퀀스 임베딩 z_vision으로 확장합니다. 동시에 Zhipu AI는 T5를 사용하여 텍스트 입력을 z_text를 포함하는 텍스트로 인코딩한 다음 시퀀스 차원을 따라 z_text와 z_vision을 연결합니다. 접합된 임베딩은 처리를 위해 전문 Transformer 블록 스택에 공급됩니다. 마지막으로 임베딩을 백 스티칭하여 원래의 잠재 공간 모양을 복구하고 VAE를 사용하여 디코딩하여 비디오를 재구성합니다.

Data

비디오 생성 모델 교육에서는 실제 역학을 학습하기 위해 고품질 비디오 데이터를 선별해야 합니다. 사람의 편집이나 촬영 문제로 인해 영상이 정확하지 않을 수 있습니다. Wisdom AI는 과도하게 편집되고, 고르지 못한 동작, 낮은 품질, 강의 스타일, 텍스트 중심, 화면 소음 비디오와 같은 낮은 품질의 비디오를 식별하고 제외하기 위해 네거티브 태그를 개발했습니다. 비디오 라마가 훈련한 필터를 통해 Zhipu AI는 20,000개의 비디오 데이터 포인트에 주석을 달고 필터링했습니다. 동시에 광학 흐름 및 미적 점수가 계산되고 임계값이 동적으로 조정되어 생성된 비디오의 품질을 보장합니다.

비디오 데이터에는 일반적으로 텍스트 설명이 없으며 텍스트-비디오 모델 학습을 위해 텍스트 설명으로 변환해야 합니다. 기존 비디오 자막 데이터 세트에는 짧은 자막이 있어 비디오 콘텐츠를 완전히 설명할 수 없습니다. Zhipu AI는 이미지 자막에서 비디오 자막을 생성하는 파이프라인을 제안하고 더 조밀한 자막을 얻기 위해 엔드투엔드 비디오 자막 모델을 미세 조정합니다. 이 접근 방식은 Panda70M 모델을 사용하여 짧은 캡션을 생성하고 CogView3 모델을 사용하여 밀집된 이미지 캡션을 생성한 다음 GPT-4 모델을 사용하여 요약하여 최종 짧은 비디오를 생성합니다. 또한 Zhipu AI는 CogVLM2-Video 및 Llama 3을 기반으로 CogVLM2-Caption 모델을 미세 조정했으며, 조밀한 자막 데이터를 사용하여 훈련하여 비디오 자막 생성 프로세스를 가속화했습니다.

성능

텍스트-비디오 생성 품질을 평가하기 위해 Zhipu AI는 VBench에서 인간의 행동, 장면, 역학 등과 같은 여러 지표를 사용합니다. Zhipu AI는 또한 두 가지 추가 비디오 평가 도구인 Devil의 Dynamic Quality와 Chrono-Magic의 GPT4o-MT Score를 사용하여 비디오의 동적 특성에 중점을 둡니다. 아래 표와 같습니다.

Zhipu AI는 앞으로도 더욱 획기적인 혁신과 더욱 효율적인 영상 정보 압축으로 새로운 모델 아키텍처를 탐색하면서 데이터 규모와 모델 규모를 지속적으로 확장해 나갈 것입니다. , 텍스트와 비디오 콘텐츠가 더욱 완벽하게 혼합되었습니다.

마지막으로 '클리어 섀도우'의 효과를 살펴보겠습니다.

팁: "아름답게 조각된 돛대와 돛이 있는 섬세한 나무 장난감 보트는 바다의 파도를 모방한 고급 파란색 카펫 위를 부드럽게 미끄러집니다. 선체는 진한 갈색으로 칠해져 있고 작은 창문이 있습니다. 카펫은 부드럽고 질감이 있습니다. 넓은 바다를 연상시키는 완벽한 배경을 제공하며, 보트 주변에는 다양한 장난감과 어린이 용품이 있어 즐거운 환경을 제안합니다. 이 장면은 장난감 보트와 함께 어린 시절의 순수함과 상상력을 포착합니다. "팁: "카메라는 검은색 루프 랙이 장착된 낡은 흰색 SUV를 따라가며 가파른 언덕을 따라 소나무로 둘러싸인 비포장 도로를 따라 달리고, 타이어는 먼지를 일으키고 햇빛은 빛납니다. 흙길을 달리는 SUV는 따뜻한 빛을 비춰주었고, 흙길은 천천히 저 멀리 휘어져 있었고, 길 양쪽에는 나무들이 우거져 있었다. 뒤에서 보면 차량이 곡선을 쉽게 따라가며 가파른 언덕과 산으로 둘러싸인 험난한 지형을 달리고 있으며 하늘은 맑고 뿌옇습니다. "팁: " 눈 덮인 숲 풍경과 그 사이로 눈 덮인 나무들이 늘어서 있고, 땅도 눈으로 덮여 있어 길은 텅 비어 있고 평화로운 분위기를 자아냅니다. 영상에는 사람이나 동물이 보입니다. 눈 덮인 숲의 아름다움과 길의 평온함에 초점을 맞춘 자연 풍경 사진입니다. "Tips: "치킨과 피망 케밥. 가벼운 화상과 가벼운 연기로 그릴 위에 그릴을 올립니다."

위 내용은 Sora의 오픈 소스 버전이 인기를 끌고 있습니다. 4K Star를 사용할 수 있고 단일 카드에서 4090을 실행할 수 있으며 A6000을 미세 조정할 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!