단 한 번의 클릭으로 단일 렌즈 16초 720p 고화질 비디오가 생성되며, 오픈 소스 버전의 Sora에는 새로운 놀라움이 있습니다.

Luchen Open-Sora 팀은 720p 고화질 Vincent 비디오 품질 및 생성 시간에서 획기적인 발전을 이루었으며 모든 스타일의 고품질 단편 영화의 원활한 제작을 지원했습니다. 놀랍게도 그들은 가져오기를 선택했습니다. 오픈 소스 커뮤니티에 또 다른 충격을 주고 계속해서 모든 것을 오픈 소스합니다.

오픈 소스 주소: https://github.com/hpcaitech/Open-Sora

모델 무게를 통해 파도와 소라의 밀착, 그리고 헤아릴 수 없는 숲의 비밀.

캐릭터 초상화의 렌더링도 상당히 사실적입니다.

은 또한 사이버펑크 스타일을 정확하게 렌더링하여 단편 영화를 미래와 기술에 대한 강한 감각으로 즉시 가득 채울 수 있습니다. 사진이 압축되었습니다.

또한 흥미롭고 생생한 애니메이션 장면을 생성하여 표현력이 뛰어난 시각적 경험을 선사할 수도 있습니다. 사진이 압축되었습니다.

영화 수준의 렌즈 제작도 쉽게 처리할 수 있습니다.

예를 들어 부드러운 확대/축소 효과를 구현하고 비디오에 전문가 수준의 시각 효과를 추가할 수 있습니다. 사진이 압축되었습니다.

영화 제작자가 사실적인 영화 장면을 만드는 데에도 도움이 됩니다. 사진이 압축되었습니다.

Luchen의 Open-Sora 모델은 뛰어난 성능으로 비디오 생성 분야에서 폭넓은 전망을 보여주며, 모델 가중치와 훈련 코드는 완전히 오픈 소스로 제공됩니다. 관심 있는 친구들은 GitHub 주소를 방문하세요: ^{https://github .com/hpcaitech/Open-Sora}

빈센트 비디오 산업의 오픈 소스 전사

미국 기술 산업의 유니콘인 LambdaLabs는 이전에 오픈한 Open-Sora 모델의 무게를 기준으로 수치를 만들었습니다. LEGO 팬들이 궁극의 창의적 경험을 찾을 수 있는 Luchen 팀 LEGO Universe에서 제공합니다.

Luchen 팀은 Vincent Video의 기술 혁신을 위한 오픈 소스의 가속화를 잘 알고 있습니다. 그들은 모델 가중치를 계속 오픈 소스로 제공할 뿐만 아니라 모든 플레이어가 다음과 같은 기술 경로를 게시할 수 있도록 합니다. 빈센트비디오 대형모델의 거장 그들은 더 이상 구경꾼이 아니다. 보고서가 나오자마자 우리는 빈센트 영상 기술의 최신 동향을 파악하기 위해 신속하게 심층적인 조사와 분석을 진행했습니다. (신고 주소: https://github.com/hpcaitech/Open-Sora/blob/main/docs/report_03.md)

기술적 깊이 디코딩

Luchen OpenSora 팀이 공개한 이번 기술 보고서에서는 이번 모델 훈련의 핵심과 요점을 심층적으로 분석했습니다. 이전 버전을 기반으로 비디오 압축 네트워크(Video Compression Network), 더 나은 확산 모델 알고리즘, 더 많은 제어 가능성을 도입했으며 더 많은 데이터를 사용하여 1.1B 확산 생성 모델을 훈련했습니다.

이 "컴퓨팅 성능이 왕"인 시대에 우리는 비디오 모델 훈련의 두 가지 주요 문제점, 즉 막대한 컴퓨팅 리소스 소비와 높은 수준의 모델 출력 품질을 잘 알고 있습니다. Luchen Open-Sora 팀은 미니멀하고 효과적인 솔루션으로 비용과 품질 간의 균형을 성공적으로 찾았습니다.

OpenSora 팀은 공간과 시간이라는 2차원으로 압축하는 혁신적인 비디오 압축 네트워크(VAE)를 제안했습니다. 구체적으로 먼저 공간 차원에서 8x8x 압축을 수행한 다음 시간 차원에서 추가로 4x 압축을 수행했습니다. 이러한 혁신적인 압축 전략을 통해 프레임 추출로 인한 영상의 부드러움이 저하되는 단점을 방지할 뿐만 아니라 교육 비용을 대폭 절감하여 비용과 품질의 이중 최적화를 달성합니다. ㅋㅋㅋ                                                                                                            비디오 압축 네트워크 구조

최신 확산 모델인 Stable Diffusion 3은 DDPM을 대체하는 정류 흐름 기술을 사용하여 사진 및 비디오 생성 품질을 크게 향상시킵니다. SD3의 수정된 흐름 훈련 코드는 아직 공개되지 않았지만 Luchen Open-Sora 팀은 다음을 포함하여 SD3의 연구 결과를 기반으로 완벽한 훈련 솔루션을 제공했습니다.

간단하고 사용하기 쉬운 수정된 흐름 training

• 훈련 가속화를 위한 Logit-norm 시간 간격 샘플링

• 해상도 및 영상 길이에 따른 시간 간격 샘플링

• 이러한 기술을 통합함으로써 모델 훈련 속도를 높일 수 있을 뿐만 아니라, 또한 추론 단계에서 대기 시간을 크게 줄이고 원활한 사용자 경험을 보장할 수 있습니다. 또한 이 교육 솔루션은 추론 프로세스 중에 다양한 비디오 종횡비의 출력을 지원하여 다양한 시나리오에서 비디오 자료의 요구 사항을 충족하고 비디오 콘텐츠 제작자에게 더욱 풍부한 창의적 도구를 제공합니다.
  또한 데이터 정리 및 모델 조정을 위한 실용적인 팁은 물론 모델의 견고성과 일반화 기능을 보장하기 위한 보다 완전한 모델 평가 시스템 구축을 포함하여 모델 교육에 대한 더 많은 핵심 세부 정보를 보고서에 공개했습니다. 또한 한 번의 클릭으로 배포할 수 있는 Gradio 애플리케이션을 제공하고, 한 번의 클릭으로 GPT-4o를 통해 지침을 자동으로 수정할 수 있으며, 출력 동작 점수, 미적 점수, 렌즈 이동 방법과 같은 매개변수 조정을 지원합니다. 손을 더럽힐 수밖에 없다면 https://github.com/hpcaitech/Open-Sora/blob/main/docs/report_03.md

를 클릭하세요. 닫힌 루프를 깨고 오픈 소스 권한 부여

From OpenAI 소라 출시 이후 소라의 개방성에 대한 업계의 기대는 폭발적으로 높아졌지만 현실은 계속해서 기다리는 게임이다. 루첸 오픈소라의 오픈소스는 빈센트비디오의 혁신과 발전에 강한 활력을 불어넣었습니다. "낚시하는 법을 가르치는 것보다 낚시하는 법을 가르치는 것이 더 좋습니다." Github 주소를 방문하면 모델 가중치와 제로 임계값이 있는 전체 훈련 코드 세트를 무료로 얻을 수 있으며, 이를 통해 사용자는 수동적인 콘텐츠에서 변형할 수 있습니다. 소비자부터 활동적인 콘텐츠 제작자까지. 이러한 변화를 통해 기업 사용자가 Vincent Video 애플리케이션을 독립적으로 개발할 수 있는 새로운 기술이 열렸습니다. 몰입형 게임 제작, 창의적인 광고 제작, 영화 및 TV 블록버스터 제작 등 Vincent Video 기술의 애플리케이션 시나리오가 기하급수적으로 확장되었습니다.

이 불꽃이 Vincent 비디오 분야 전체에서 혁신에 대한 열정을 불붙이고 지점에서 표면까지 초원의 불을 일으킬 수 있기를 바랍니다.

마지막으로 첨부된 Luchen OpenSora 오픈소스 링크: https://github.com/hpcaitech/Open-Sora

참조 링크:

^{https://wandb.ai/lambdalabs/lego/ 보고서 /Text2Bricks-Fine-tuning-Open-Sora-in-1-000-GPU-Hours--Vmlldzo4MDE3MTky}

^{https://hpc-ai.com/blog/open-sora-from-hpc- ai -tech-team-continues-open-source-generate-any-16-second-720p-hd-video-with-one-click-model-weights-ready-to-use}

위 내용은 단 한 번의 클릭으로 단일 렌즈 16초 720p 고화질 비디오가 생성되며, 오픈 소스 버전의 Sora에는 새로운 놀라움이 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!