칭화에 본사를 둔 한 스타트업 회사는 한 번의 클릭으로 실제 장면을 애니메이션으로 변환하고 개인화된 캐릭터를 생성할 수 있는 세계 최초의 4D 골격 애니메이션 프레임워크를 출시했습니다.

Apple은 최근 자사의 첫 번째 가상 헤드마운트 디스플레이 장치인 Vision Pro를 2월 2일에 출시할 것이라고 발표했습니다. 이 XR 장치는 차세대 단말기의 급속한 발전을 이끌 것으로 예상됩니다. 가상 디스플레이 장치의 대중화와 함께 디지털 상호작용은 2차원에서 3차원으로 옮겨갈 것이며, 향후에는 3차원 모델과 3차원 애니메이션이 주류 콘텐츠 형태가 될 것입니다. 가상과 현실의 통합 추세에 따라 다차원 몰입형 상호작용도 트렌드가 될 것입니다.

그러나 데이터 규모 측면에서 현재 콘텐츠 산업의 데이터 축적은 여전히 ​​2D 이미지와 평면 비디오가 주도하고 있는 반면, 3D 모델, 4D 애니메이션 및 기타 데이터의 데이터 기반은 상대적으로 취약합니다. 그 중 4D 애니메이션은 전통적인 3D 모델, 즉 시간에 따라 변화하는 3D 모델을 기반으로 시간 순서를 도입하여 역동적인 입체 효과를 표현할 수 있으며, 게임 애니메이션, 영화 특수 효과, 가상 현실 등에서 널리 사용됩니다. 다른 분야에서도 현재 콘텐츠 생태적 발전에 있어 가장 어려운 연결고리이기도 합니다.

따라서 다가오는 다차원 실감 경험을 위해서는 3차원 디지털 콘텐츠를 구축하는 것이 중요한 기본 작업이 될 것입니다.

이러한 최첨단 분야에 직면하여 Tsinghua University의 기업가 팀 Shengshu Technology는 일련의 연구 및 제품 개발을 수행했으며 최근 Tsinghua와 협력하여 "골격 애니메이션"을 기반으로 한 세계 최초의 4D 애니메이션 생성 프레임워크 "AnimatableDreamer"를 출시했습니다. 원클릭으로 2D 영상 자료를 다이내믹한 3차원 모델(예: 4D 애니메이션)로 직접 변환할 수 있으며, 골격 움직임 자동 추출, 애니메이션 효과 원클릭 변환, 개인화된 캐릭터를 지원합니다. 텍스트 입력을 통한 생성.

• 논문 주소: https://arxiv.org/pdf/2312.03795.pdf

• 프로젝트 주소: https://animatabledreamer.github.io/

• 논문 제목: AnimatableDreamer: Text -Canonical Score Distillation을 사용한 유도형 비강성 3D 모델 생성 및 재구성

다음 데모 비디오를 볼 수 있습니다.

새로운 콘텐츠 제작 방식

3차원 애니메이션 개발 프로세스의 전복

과거 업계에서 3차원 애니메이션을 제작하려면 3D 모델링, 텍스처 렌더링 등 복잡한 프로세스가 필요했습니다. , 본딩, 애니메이션 제작 등 모델링이 필요했는데 디자이너, 애니메이터 등 전문가의 참여가 있어야만 완성이 가능해 효율성이 낮고 비용도 많이 든다. 통계에 따르면 단일 정적 3D 모델의 생산 주기는 몇 시간에서 며칠까지이며 비용은 수천 달러에 달할 수 있으며 동적 처리 비용은 훨씬 더 높아집니다.

공식 데모 영상에서 볼 수 있듯이 다람쥐의 2D 실사 영상을 업로드하고, "빨간 스웨터를 입은 다람쥐"라는 텍스트 설명을 입력하면 원래의 실제 다람쥐를 애니메이션으로 변환할 수 있습니다. 한 번의 클릭으로 스타일을 변경하고 동작 자세를 완벽하게 유지합니다. 또한 동기화를 통해 360도 관점에서 3차원 동적 모델을 생성할 수 있으며, 텍스트 설명을 전환하여 캐릭터를 사용자 정의하고 다람쥐를 다른 만화 이미지로 전환할 수도 있습니다. 여우와 꼬부기.

"AnimatableDreamer"는 영상 속 대상 개체(사람, 동물 등)의 골격 움직임을 자동으로 추출한 다음 텍스트 설명을 통해 개체를 골격 애니메이션 모델로 변환할 수 있습니다. 전체 프로세스는 템플릿에 의해 제한되지 않고 모든 비디오 길이와 모든 유형의 동작을 지원하며 높은 수준의 시간적 일관성과 다중 뷰 일관성을 가지며 내보낸 동적 3차원 모델은 모든 3D 환경에서 렌더링될 수 있습니다.

영화, TV, 애니메이션 및 기타 분야의 후반 작업의 경우 일반적으로 애니메이션에 더 많은 편집이 필요합니다. "AnimatableDreamer"는 뼈 바인딩이 완료된 모델의 애니메이션 파일 교체 또는 편집도 지원하여 더 높은 자유도를 달성합니다. . 향후 관련 기술이 점진적으로 구현되면 게임 개발, 영화 및 TV 애니메이션, 기타 장면에 대한 3D 모델링 및 애니메이션 제작 프로세스가 더욱 효율적이 될 것으로 예상됩니다.

Facing the future

는 새로운 콘텐츠 생태계를 형성할 것으로 예상됩니다

구현 원리 측면에서 연구팀은 시간이 지남에 따라 변화하는

Canonical Score Distillation(CSD)을 혁신적으로 제안했습니다. 프레임과 다양한 관점이 카메라 공간에서 렌더링되고 노이즈가 제거되며, 그래디언트는 증류를 위해 다양한 카메라 공간이 공유하는 표준 공간으로 균일하게 다시 전송되어 4D 생성의 차원을 3D로 줄입니다. 즉, 4D 생성 문제를 다음과 같이 단순화합니다. 3D 공간에서의 생성.

"AnimatableDreamer"는 모델과 객체의 모션을 분리하여 영상에서 직접 관절 움직임을 추출할 수 있으며 생성된 모델은 높은 수준의 시간적 일관성과 기하학적 합리성을 가지며 영상 길이에 제한을 받지 않고 파손, 깜박임, 다중 뷰 불일치 등의 문제와 같은 형상을 효과적으로 제거합니다.

시야각이 제한적이고 움직임이 큰 장면에서는 확산 모델의 사전 지식 도입으로 인해 입력 비디오가 전체 개체를 덮지 않더라도 "AnimatableDreamer"가 자동으로 사진 정보를 완성하고 더 나은 생성 품질을 얻을 수 있습니다.

"AnimatableDreamer"의 제안은 텍스트를 4D 골격 애니메이션 생성, 모델링, 텍스처링, 뼈 바인딩, 액션 드라이빙까지 한 번에 직접 연결한다고 할 수 있습니다! 자연어 설명을 입력하면 자동으로 3차원 애니메이션 영상이 출력됩니다. 전문적인 지식이 필요하지 않으며, 일반 사람들도 쉽게 애니메이션 콘텐츠를 제작할 수 있습니다.

"AnimatableDreamer"를 기반으로 한 작업은 3D 및 4D 디지털 콘텐츠 제작의 어려움을 크게 줄이고, 인터랙티브 경험을 풍부하게 하며, 누구나 창의적인 콘텐츠를 생성 및 편집할 수 있도록 하며, 3D 시대의 새로운 콘텐츠를 탄생시킬 것입니다. 소비 패턴.

미래의 가상 세계에서 사용자가 맞춤형 디지털 공간을 빠르게 구축하고 개인화된 대화형 경험을 만들 수 있다고 상상해 보세요. 예:

• 아이들에게 슈퍼맨 옷을 입혀주기, 할로윈을 위해 휴일 테마 의상을 마음대로 바꾸는 등 디지털 공간의 각 캐릭터 이미지를 마음대로 생성할 수 있습니다.

• 애완동물을 키우는 사용자는 다음과 같이 할 수 있습니다. 가상 미키 마우스 이미지를 생성하는 등 애완동물을 만화화할 수 있습니다. 애완동물의 일상은 만화와 같고, 주인과 애완동물 사이의 일상적인 상호 작용이 흥미로워질 것입니다.

• 사람 간의 상호 작용 방식도 더욱 풍부해졌습니다. 언제 어디서나 테마 파티를 열고 소원을 빌 수 있습니다. 실시간 파티 환경, 캐릭터 장식 등

설립된 지 1년도 채 되지 않은 스타트업 기업으로, 성슈기술팀은 오랫동안 이미지, 3D, 영상 등 멀티모달 대형모델 분야에 전념해 왔으며, 지난 9월 3D를 출시했습니다. Discord에서 공식적으로 출시된 자산 생성 도구인 VoxCraft는 텍스트 및 그림 안내, 분 단위의 3D 모델 생성, 3D 텍스처 및 기타 기능의 사용자 정의 교체를 지원하여 게임 개발, 영화 및 TV 애니메이션의 3D 모델링 프로세스를 강화합니다. 다른 장면. 이번에 출시된 4D 골격 애니메이션 세대는 Shengshu Technology의 또 다른 새로운 탐구 작업으로, 향후 VoxCraft 제품에 통합될 예정입니다.

VoxCraft 도구 주소: https://voxcraft.ai/

Apple Vision Pro의 출시는 하드웨어 장치 수준에서 중요한 혁신일 뿐만 아니라 콘텐츠와 경험에 있어서 혁명의 시작이기도 합니다. 4D 애니메이션 생성과 같은 생성적 AI의 혁신적인 기능은 더 나은 시각적 표현을 제공할 뿐만 아니라 새로운 방식으로 다차원 디지털 경험을 열어 차세대 인간-컴퓨터 상호 작용에 더 많은 가능성을 가져올 것입니다.

위 내용은 칭화에 본사를 둔 한 스타트업 회사는 한 번의 클릭으로 실제 장면을 애니메이션으로 변환하고 개인화된 캐릭터를 생성할 수 있는 세계 최초의 4D 골격 애니메이션 프레임워크를 출시했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!