현재 국내 최강의 소라! Tsinghua 팀은 16초 길이의 비디오를 돌파하고 다중 렌즈 언어를 이해하며 물리 법칙을 시뮬레이션할 수 있습니다.
- 王林앞으로
- 2024-04-28 13:04:011105검색
박스는 다이아몬드로 채워야 한다고 하셔서 박스는 다이아몬드로 채워져 있어서 실물보다 더 눈부시더라구요. 그런 기술을 좋아하지 않는 승무원이 어디 있겠습니까?
이것이 얼마 전 Adobe의 영상 편집 소프트웨어 Premiere Pro가 보여준 "마법"입니다. 이 소프트웨어는 소라(Sora), 런웨이(Runway), 피카(Pika) 등 AI 영상 도구를 도입해 영상에 물체를 추가하고 제거하고 영상 클립을 생성하는 기능을 구현한다. 이는 영상 분야의 또 다른 기술 혁신으로 평가된다.
소라가 다시 어도비의 마법에 세계를 휩쓸었던 2월부터 해외는 본격화됩니다. 이에 비해 중국은 영상 분야, 특히 장편 영상 세대 방향에서는 여전히 '대기' 상태에 있다. 지난 두 달 동안 우리는 소라를 추구한다는 몇몇 주장을 들었지만 아직 국내에서는 뚜렷한 진전을 보지 못했습니다. 하지만 오늘 Shengshu Technology에서 방금 공개한 짧은 영상은 우리에게 많은 놀라움을 선사합니다. 
성수기술과 칭화대학교에서 출시한 최신 동영상 모델 "Vidu"의 공식 영상입니다. 생성된 비디오는 더 이상 몇 초 동안 지속되는 "GIF"가 아니라 10초 이상에 도달하는 것을 볼 수 있습니다(최장 길이는 약 16초에 달할 수 있음). 물론 더욱 놀라운 점은 "Vidu"의 영상 효과가 Sora와 매우 유사하다는 것입니다. 다중 렌즈 언어, 시공간 일관성, 물리 법칙을 준수하는 등에서 매우 잘 작동하며 현재의 비디오 세대 모델로는 달성하기 어려운 현실 세계가 존재하지 않는 현실을 초현실적인 이미지로 만들어냅니다. Shengshu Technology는 단 두 달 만에 이러한 결과를 달성할 수 있었는데, 이는 정말 놀라운 일입니다.
소라를 완전 벤치마킹한 중국 최초의 영상모델
소라 출시 이후, '국산 소라'를 위한 전쟁이 시작되었습니다. 그러나 업계가 "긴" 기능에 초점을 맞출 때 Sora 뒤에는 실제로 긴 시퀀스의 일관성, 사실성, 아름다움 등과 같은 포괄적인 효과의 향상이 있다는 사실을 모두 무시합니다.
종합적인 효과 측면에서 '비두'는 효과 수준에서 소라를 완벽하게 벤치마킹한 최초이자 유일한 영상 모델으로, 국내는 물론 세계적으로도 최초로 달성한 영상 모델입니다. 소라 이후의 돌파구. 특정 효과에서 우리는 몇 가지 명백한 이점을 명확하게 볼 수 있습니다.
비디오에 "렌즈 언어"를 삽입합니다
비디오 제작에는 렌즈 언어라는 매우 중요한 개념이 있습니다. 그림을 통해 줄거리를 표현하고, 인물의 심리를 드러내며, 분위기를 조성하고, 관객의 감정을 이끌어내는 주된 방법이다. 다양한 샷 선택, 각도, 움직임 및 조합은 내러티브와 관객의 경험에 큰 영향을 미칩니다.
기존 AI 제작 영상에서는 렌즈 언어의 단조로움이 뚜렷하게 느껴지며, 렌즈의 움직임은 살짝 밀고 당기고 쉬프트하는 등의 간단한 촬영으로 제한됩니다. 그 주된 이유는 대부분의 기존 비디오 콘텐츠 생성이 먼저 단일 프레임을 생성한 다음 전후의 연속 프레임을 예측하기 때문입니다. 그러나 주류 기술 경로에서는 장기적으로 일관된 작은 동적 예측을 달성하기가 어렵습니다. 지난해 7월 제작된 런웨이의 공상과학 영화 예고편 '예고편: 제네시스'.
팁: 고풍스러운 해변 별장에서 태양이 방을 가득 채우고, 카메라는 천천히 고요한 바다가 내려다보이는 발코니로 전환되고, 마지막으로 카메라는 떠다니는 바다, 범선, 반사되는 구름 위에서 얼어붙습니다. (전체 영상은 Shengshu PixWeaver 제품 공식 홈페이지에서 공개)
또한 단편 영화의 여러 클립에서 볼 수 있듯이 "Vidu"는 영화 및 TV 수준의 영상을 생성하는 기능을 포함하여 전환, 초점 추적 및 롱샷과 같은 효과를 직접 생성할 수 있으며 영상의 전체적인 그림을 강화합니다.
시간과 공간의 일관성 유지
영상의 일관성과 부드러움이 매우 중요합니다. 그 이면에는 실제로 캐릭터와 장면의 시공간적 일관성이 있습니다. 공간 속 인물처럼 움직임은 항상 일정하며 장면은 전환 없이 갑자기 바뀔 수 없습니다. 이는 AI가 달성하기 어려운 일이며, 특히 장시간 지속된다면 AI가 생성한 영상은 서사적 끊김, 시각적 불일치, 논리적 오류 등의 문제를 가지게 되며, 이러한 문제는 영상의 현실감과 즐거움에 심각한 영향을 미치게 됩니다.
"Vidu"는 이러한 문제를 어느 정도 극복했습니다. 이에 의해 생성된 "진주귀걸이를 한 고양이" 영상을 보면, 카메라가 움직일 때마다 사진 속 피사체인 고양이가 3D 공간에서 항상 같은 표정과 옷차림을 유지하고 있다는 것을 알 수 있으며, 영상 전체도 매우 일관되고 매끄러우며 좋은 시간과 공간 일관성을 유지합니다. 
팁: 베르메르의 "진주 귀걸이를 한 소녀"에서 영감을 받아 천천히 회전하는 파란 눈을 가진 주황색 고양이의 초상화입니다. 사진은 진주 귀걸이를 하고 홀랜드 캡과 같은 갈색 머리를 하고 있습니다. 검정색 배경, 스튜디오 조명. (전체 영상 클립은 Shengshu 산하 PixWeaver 제품 공식 홈페이지에서 공개)
실제 물리 세계 시뮬레이션
Sora의 놀라운 기능 중 하나는 다음과 같은 실제 물리 세계의 움직임을 시뮬레이션할 수 있다는 것입니다. 물체의 움직임과 상호작용. Sora가 공개한 고전적인 사례 중 하나인 "언덕을 운전하는 낡은 SUV"의 사진은 타이어에서 발생하는 먼지, 숲 속의 빛과 그림자, 자동차 운전 중 그림자의 변화를 매우 잘 시뮬레이션합니다. . 동일한 프롬프트 단어에서 "Vidu"와 Sora가 생성하는 효과는 매우 유사하며 먼지, 빛, 그림자와 같은 세부 사항은 실제 물리적 세계에서 인간이 경험하는 것과 매우 유사합니다. 
팁: 카메라는 검은색 루프 랙이 장착된 흰색 빈티지 SUV를 따라가며 소나무, 타이어가 먼지를 일으키고 햇빛이 SUV를 비추며 따뜻한 빛을 발하는 소나무로 둘러싸인 가파른 흙길을 따라갑니다. 전체 장면. 비포장도로가 완만하게 구불구불하게 이어져 있었고, 다른 차나 차량도 보이지 않았습니다. 길 양쪽에는 삼나무가 있고 여기저기에 녹색 패치가 흩어져 있습니다. 뒤에서 보면 자동차가 곡선을 쉽게 따라가며 거친 지형을 주행하는 것처럼 보입니다. 비포장 도로는 가파른 언덕과 산으로 둘러싸여 있으며, 맑고 푸른 하늘과 구름 한 조각이 떠 있습니다. (픽스위버 제품 공식 홈페이지에서 공개된 풀영상 단편) 
소라의 연출효과.
물론 "Vidu"는 "with black Roof Rack"의 부분적인 디테일을 생성하는데 실패했습니다. 그러나 그 결점은 장점을 숨기지 않으며 전체적인 효과는 현실 세계와 매우 가깝습니다.
🎜🎜풍부한 상상력🎜🎜🎜실제 촬영에 비해 AI를 활용해 동영상을 생성하면 현실 세계에 없는 사진을 생성할 수 있다는 큰 장점이 있습니다. 과거에는 이러한 사진을 특수효과를 만들거나 제작하는 데 많은 인력과 물적 자원이 필요한 경우가 많았지만, AI가 짧은 시간 안에 자동으로 생성할 수 있습니다. 🎜예를 들어 아래 장면에서는 '범선'과 '파도'가 스튜디오에 거의 등장하지 않으며, 파도와 범선의 상호작용이 매우 자연스럽습니다. ㅋㅋ ~ 프롬프트: 스튜디오에 있는 배가 카메라를 향해 항해합니다. (성수 픽스위버 제품 공식 홈페이지에서 공개된 전체 영상) 
단편영화에 나오는 '어항 소녀' 영상도 환상적이지만 어느 정도 합리성이 있습니다. 현실 세계에 존재하지 않는 이미지를 제작하는 능력은 창작자에게 영감을 주고 새로운 시각적 경험을 제공할 뿐만 아니라 예술적 표현의 경계를 넓혀 더욱 풍부하고 다양한 콘텐츠 형식을 제공하는 데 매우 도움이 됩니다.
중국 요소 이해하기
팁: 고요한 호수 옆에서 팬더가 열정적으로 기타를 연주하여 전체 환경을 생생하게 만듭니다. 맑은 하늘 아래 잔잔한 바다에 비친 장면은 자이언트 판다의 생동감 넘치는 모습과 사실성을 혼합하여 에너지와 고요함이 조화롭게 어우러지는 생생한 파노라마 사진으로 포착됩니다. (선슈 픽스위버 제품 공식 홈페이지에서 공개된 전체 영상) 
어떻게 두 달 만에 이렇게 빠른 발전을 이룰 수 있었나요? "Vidu"의 R&D 팀인 Shengshu Technology는 중국의 다중 모드 대형 모델 분야의 기업가 팀입니다. 핵심 구성원은 Tsinghua University의 인공 지능 연구소 출신입니다. 이미지, 3D, 동영상 등 모달 생성 분야.
올해 1월, Shengshu Technology는 시각적 크리에이티브 디자인 플랫폼 PixWeaver에서 짧은 비디오 생성 기능을 출시하여 매우 심미적인 4초짜리 짧은 비디오 콘텐츠를 지원했습니다. 지난 2월 소라 출시 이후 성슈테크놀로지는 오리지널 영상 방향의 연구 개발 진행 속도를 높이기 위해 공식 내부 연구팀을 꾸린 것으로 전해졌다. 3월에는 내부적으로 8초 영상 생성을 달성한 뒤 돌파구를 마련한 것으로 알려졌다. 4월에는 16초 세대를 출시하여 세대 품질과 지속 시간 모든 측면에서 획기적인 성과를 거두었습니다.우리 모두 알고 있듯이 Sora는 그렇게 짧은 시간에 획기적인 성과를 거둘 수 있었던 핵심은 팀의 깊은 기술 축적과 0에서 1까지의 많은 독창적인 성과에 있습니다. 핵심 기술 아키텍처 수준.
"Vidu"의 하단 레이어는 2022년 9월 팀이 제안한완전 자체 개발된 U-ViT 아키텍처
를 기반으로 합니다. 이는 Sora가 채택한 DiT 아키텍처보다 이전 버전이며 세계 최초의 아키텍처입니다. Diffusion과 Transformer를 통합한 제품입니다.
DiT 논문이 발표되기 두 달 전에 Tsinghua University의 Zhu Jun 팀은 "All are Worth Words: A ViT Backbone for Diffusion Models"라는 논문을 제출했습니다. 본 논문에서는 CNN 기반의 U-Net을 대체하기 위해 Transformer를 사용하는 네트워크 아키텍처 U-ViT를 제안한다. 이것이 "Vidu"의 가장 중요한 기술적 기반입니다.
기술적 측면에서 "Vidu"는 Sora와 완전히 동일한 확산 및 변압기 융합 아키텍처를 채택합니다. '비두'는 프레임을 보간해 긴 영상을 생성하는 다단계 처리 방식을 사용하는 것과 달리 소라와 동일한 경로, 즉 한 단계에서 직접 고품질 영상을 생성하는 방식을 채택하고 있다. 낮은 수준의 관점에서 볼 때 이는 단일 모델을 기반으로 완전히 엔드투엔드(end-to-end)로 생성되는 "1단계" 구현 방법으로 중간 프레임 삽입 및 기타 다단계 처리가 필요하지 않습니다. 비디오는 직접적이고 연속적입니다.
또한 U-ViT 아키텍처를 기반으로 팀은 2023년 3월 오픈소스 대규모 그래픽 및 텍스트 데이터 세트 LAION-5B에서 10억 개의 매개변수를 갖춘 다중 모드 모델인 UniDiffuser를 학습시켜 이를 만들었습니다. 오픈 소스(" Tsinghua Zhu Jun 팀은 Transformer를 기반으로 한 최초의 대규모 다중 모드 확산 모델을 오픈 소스화했으며 텍스트와 그래픽의 상호 운용 및 재작성이 모두 달성되었습니다》 참조). UniDiffuser는 주로 그래픽 및 텍스트 작업에 적합하며 그래픽 모드와 텍스트 모드 간의 임의 생성 및 변환을 지원할 수 있습니다. UniDiffuser의 구현은 중요한 가치를 가지고 있습니다. 이는 대규모 훈련 작업에서 융합 아키텍처의 확장성(확장 법칙)을 처음으로 검증했으며, 이는 대규모로 U-ViT 아키텍처의 모든 프로세스를 실행하는 것과 동일합니다. 규모의 훈련 작업. UniDiffuser가 동일한 DiT 아키텍처를 사용하는 그래픽 모델인 Stable Diffusion 3의 출시보다 1년 앞서 있다는 점은 언급할 가치가 있습니다. 그래픽 및 텍스트 작업에서 축적된 이러한 엔지니어링 경험은 비디오 모델 개발의 기반을 마련했습니다. 비디오는 본질적으로 이미지의 흐름이기 때문에 타임라인에서 이미지를 확장하는 것과 같습니다. 따라서 이미지 및 텍스트 작업에서 얻은 결과를 비디오 작업에서 재사용할 수 있는 경우가 많습니다. Sora는 바로 그 일을 합니다. DALL・E 3의 재주석 기술을 사용하여 시각적 훈련 데이터에 대한 자세한 설명을 생성하여 모델이 사용자의 텍스트 지침을 더 정확하게 따라 비디오를 생성할 수 있도록 합니다. 이 효과는 "Vidu"에서 필연적으로 발생합니다. 이전 뉴스에 따르면 "Vidu"는 훈련 가속, 병렬 훈련, 저메모리 훈련 등을 포함하여 그래픽 및 텍스트 작업에 대한 Bioshu Technology의 많은 경험을 재사용하여 훈련 과정을 빠르게 실행합니다. 입력 데이터의 시퀀스 차원을 줄이기 위해 비디오 데이터 압축 기술을 사용하는 동시에 자체 개발한 분산 학습 프레임워크를 채택하여 계산 정확도를 보장하면서 통신 효율성을 두 배로 높이고 메모리 오버헤드를 줄인 것으로 알려졌습니다. 80%, 훈련 속도가 40배 증가했습니다. 그래프 작업의 통일부터 영상 기능의 통합까지 'Vidu'는 보다 다양하고 긴 영상 콘텐츠의 생성을 지원할 수 있는 종합적인 시각적 모델이라고 볼 수 있습니다. 관계자들은 또한 'Vidu'가 현재 반복적인 개선을 가속화하고 있다고 밝혔습니다. 미래를 대비해 "Vidu"의 유연한 모델 아키텍처는 더 넓은 범위의 다중 모드 기능과도 호환될 것입니다. 청화대학교 출신의 유능한 팀 마지막으로 "Vidu" 팀에 대해 이야기해 보겠습니다. Shengshu Technology는 청화 출신의 유능한 팀입니다. 성수기술의 핵심팀은 칭화대학교 인공지능연구소 출신입니다. 수석 과학자는 칭화 인공 지능 연구소 부소장인 Zhu Jun이고, 칭화 대학교 컴퓨터 과학과를 졸업한 CEO Bao Fan은 CTO입니다. 칭화대학교 컴퓨터과학과 박사과정 학생이자 Zhu Jun 교수 연구팀의 일원으로서 오랫동안 확산 모델 분야의 연구에 관심을 가져 왔으며 U-ViT와 UniDiffuser의 완성을 주도했습니다. 저희 팀은 20년 넘게 생성 인공지능과 베이지안 머신러닝에 대한 연구를 진행해 왔으며, 딥 생성 모델의 돌파구 초기에 심층적인 연구를 진행해왔습니다. 확산 모델 측면에서 본 팀은 중국에서 이러한 방향의 연구를 시작하는 데 앞장섰고, 그 결과 백본 네트워크, 고속 추론 알고리즘, 대규모 훈련 등 풀스택 기술 방향이 포함되었습니다. 2023년 설립 이후 이 팀은 Ant Group, Qiming Venture Partners, BV Baidu Ventures, Byte Jinqiu Fund 등 많은 유명 산업 기관의 인정을 받아 수억 위안의 자금 조달을 완료했습니다. 으로 보고되었습니다. "Vidu"의 출시는 다중 모드 기본 대형 모델 분야에서 Shenshu Technology의 또 다른 혁신이자 리더십입니다. 관련 읽기: 《
팀은 ICML, NeurIPS 및 ICLR과 같은 최고의 인공 지능 컨퍼런스에서 다중 모달 분야와 관련된 약 30편의 논문을 발표했습니다. 그 중 제안된 훈련 없는 추론 알고리즘인 Analytic-DPM 및 DPM-Solver. 획기적인 결과를 달성하고 ICLR Outstanding Paper Award를 수상했으며 OpenAI, Apple, Stability.ai 등 해외 첨단 기관에 채택되었으며 DALL・E 2 및 Stable Diffusion 등 스타 프로젝트에 사용되었습니다.
위 내용은 현재 국내 최강의 소라! Tsinghua 팀은 16초 길이의 비디오를 돌파하고 다중 렌즈 언어를 이해하며 물리 법칙을 시뮬레이션할 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!