Douyin에서 900만 명이 넘는 사람들이 사용하는 '만화 얼굴' 특수 효과 기술이 공개되었습니다.

특수 효과 게임플레이에 있어서 Douyin의 "모든 작업 수행" 능력은 모두에게 항상 명백했습니다. 최근에는 '만화 얼굴' 특수효과가 각광을 받고 있다. 남성, 여성, 어린이 모두 이 특수 효과를 사용하면 디즈니 애니메이션에 나오는 캐릭터처럼 똑똑하고 귀엽게 보일 것입니다. '카툰페이스'는 출시되자마자 두인에서 빠르게 발효돼 이용자들의 큰 사랑을 받았다. 카툰 페이스 스타일로', '공주님 설탕 몸짓 댄스', '동화 마술 실패 순간 포착' 등 왕자 관련 핫플레이스가 꾸준히 늘어나고 있으며, 그 중 도인에서 도망친 공주들이 모두 여기에 있다' 등의 반응을 보이고 있다. 동화 속 마법 실패의 순간 포착'은 두인의 전국 핫리스트에도 등장했다. 현재 이 특수 효과의 사용자 수는 900만 명을 넘어섰습니다.

"카툰 얼굴"은 3D 스타일 특수 효과입니다. 이러한 특수 효과 개발의 어려움은 주로 다양한 CG 훈련 데이터 획득의 어려움, 스마트한 표현 복원의 어려움, 구현의 어려움 때문입니다. 사실적인 3차원 피부 질감, 빛과 그림자, 과장된 스타일이 강한 얼굴 특징 변형 GAN은 여러 측면에서 배우기 쉽지 않습니다. 이와 관련하여 ByteDance의 지능형 생성 팀은 3D 스타일화 방향의 획기적인 최적화에 중점을 두어 위의 모든 문제를 해결할 뿐만 아니라 일련의 보편적인 기술 솔루션을 촉진했습니다.

"만화 얼굴"에 대한 R&D 프로세스의 혁신

과거에는 완전한 3D 스타일화 R&D 프로세스가 다음 모듈로 나누어졌습니다.

다양한 원본 스타일 사진을 수집하세요 - > StyleGan 대형 모델 훈련 -> 쌍을 이루는 데이터 생성 -> 사용 가능한 쌍 데이터 수동 선택 + 디자이너 P 차트 최적화 -> p2p 소형 모델 훈련을 반복합니다.

전통적인 R&D 프로세스의 문제점은 매우 명백합니다. 반복 주기가 길고, 디자이너의 참여도가 낮으며, 침전 및 재사용이 쉽지 않습니다.

"만화 얼굴" 특수 효과의 연구 개발에서 ByteDance의 지능형 제작 팀은 혁신적인 연구 개발 프로세스를 채택했습니다.

타겟 스타일 효과를 만드는 디자이너부터 시작해 디자이너는 알고리즘 합의에 따라 요청에 따라 일부 3D 아트 자료가 제공되었으며 ByteDance 지능형 제작 팀은 DCC 소프트웨어를 사용하여 다양한 CG 데이터를 일괄 렌더링했습니다. 렌더링 과정에서 기술 팀은 가장 인기 있는 AIGC 기술을 도입했습니다. 처음으로 데이터를 강화한 다음 GAN을 사용하여 훈련에 필요한 쌍의 데이터를 합성하고 마지막으로 자체 개발한 변형 pix2pix 모델을 사용하여 훈련하여 최종 효과를 얻습니다.

ByteDance 지능형 창작팀의 "만화 얼굴" R&D 흐름도

프로세스 링크를 보면 이 방법이 반복 주기를 크게 줄이고 자동화 정도를 향상시키는 것을 알 수 있습니다. , 또한 설계자가 더 높은 수준의 참여를 가질 수 있도록 해줍니다. 실습에 따르면 혁신적인 엔지니어링 링크는 반복 주기를 6개월에서 1개월로 단축하고 솔루션을 축적하고 재사용하기가 더 쉽습니다.

"만화 얼굴" 특수 효과는 어떻게 디자인되었습니까?

요즘 소셜 미디어에는 특수 효과의 아름다움과 정확성에 대한 관심이 점점 더 많아지고 있습니다. 더 나은 스타일화된 변형 효과를 달성하기 위해 Douyin 특수 효과 디자이너는 신중하게 연구하고 인기 있는 애니메이션 스타일과 결합했으며 만화 얼굴 특수 효과 세트를 혁신적으로 디자인하여 사용자가 Meet 사용자의 요구를 충족시키면서 애니메이션적이고 유연한 캐릭터 스타일을 경험할 수 있도록 했습니다. 더 아름답고 멋있어지기 위해.

Douyin 특수효과 디자이너는 시중에 나와 있는 기존의 변신 특수효과에 대해 심층적인 연구를 진행한 결과, 기존 특수효과에는 매력적인 스타일이 부족하고, 표현의 과장이 부족하고, 사실적인 조명 효과가 부족한 등의 문제가 있다는 사실을 발견했습니다. 따라서 Douyin의 특수 효과 디자이너는 국내 미학을 기반으로 만화 얼굴 스타일을 재설계하고 남성과 여성의 얼굴 비율을 과장하여 귀엽고 둥근 얼굴과 스마트한 얼굴 특징을 가진 '소녀'와 강인하고 긴 '소년'으로 재구성했습니다. 얼굴과 잘생긴 특징. 이 과정에서 디자이너는 사용자 자신의 머리카락을 그대로 유지하면서 머리카락의 푹신함과 윤기를 강화하고 만화적인 얼굴과 자연스럽게 조화되도록 만들었습니다. 특수 효과가 더욱 자연스러워집니다. 사용자의 특성이 더욱 개인화됩니다.

또한 Douyin 특수 효과 디자이너는 복잡한 장면에서 조명 복원 요구를 충족하기 위해 다양한 조명 아래의 빛과 그림자의 질감을 정의하여 만화 얼굴을 더욱 3차원적이고 자연스럽게 만들고 이를 위배감 없는 일상 셀카. 마지막으로 디자이너는 과장된 상징적 표정도 만들어냈고, 얼굴 캡처 기술을 사용해 디지털 휴먼 자산에 대한 표정 CG 데이터를 생성했으며, 사용자의 성격을 더욱 생생하게 표현할 수 있는 표정 효과를 만들기 위해 훈련 데이터와 알고리즘을 지속적으로 개선했습니다.

자체 구축된 CG 합성 데이터 스트림, 고품질 교육 데이터 재사용 가능

3D 스타일 특수 효과를 위한 교육 데이터 소스는 고품질 CG 렌더링 데이터에 의존하며 다양성에 대한 요구 사항이 상대적으로 높습니다. 데이터 배포 및 동시에 3D 자산 수동 모델링은 재사용성이 부족한 매우 노동 집약적인 프로세스이기도 합니다. 종종 프로젝트에서 3D 자산 배치를 생성하는 데 값비싼 인력과 시간이 소요되며 프로젝트가 완료된 후 완전히 폐기됩니다.

이번에 ByteDance의 지능형 제작 팀은 보편적이고 확장하기 쉬운 CG 합성 데이터 워크플로우 세트를 구축했습니다.

Bytedance Intelligent Creation Team의 CG 합성 데이터 흐름 흐름도

이 합성 데이터 흐름의 흐름은 다음과 같습니다.

1. 프로그래밍된 얼굴 꼬집기, 뼈 바인딩, 체중 조정 등을 통해 현실적인 디지털 인간 모델 자산 라이브러리를 구축합니다.

Diversity 3D 디지털 자산

2을 통해 USD 템플릿 구축 모델, 의상, 표현 계수 기타 자산을 가져옵니다. USD 기준으로 각각.

스킨 맵 샘플

아이리스 맵 샘플

3. PD via Houdini G Random 자산, 카메라 각도, 조명 환경 등의 조합 . PDG를 사용하여 작업 항목을 제어하여 데이터 분포를 정확하게 제어합니다.

자동화된 PDG 노드 그래프

연구 개발 프로세스에서는 효과 반복을 위해 대량의 렌더링 데이터를 자주 제공해야 하기 때문에 많은 컴퓨팅 파워 비용과 렌더링 대기 시간이 필요합니다. 시간. 이전에 팀은 Douyin의 "Magic Transformation" 특수 효과에 대한 데이터 렌더링을 위해 외부 농장에 수백만 달러를 지출했습니다. "만화 얼굴" 특수 효과의 경우 팀은 ByteDance의 클라우드 플랫폼 Volcano Engine의 견고한 인프라를 활용하여 컴퓨팅 전력 비용을 크게 절감했습니다.

ByteDance의 지능형 제작팀은 영화 및 TV 산업의 프로세스를 참조하여 자체 개발한 렌더링 팜 플랫폼을 구축했습니다. 병렬 처리를 위해 오프라인 작업을 여러 렌더링 시스템으로 분할할 수 있습니다. 이미지 호스팅을 위한 Volcano Engine 미러링 플랫폼, 리소스 적용 및 해제를 위한 리소스 풀링 플랫폼, 컨테이너의 동적 확장 및 축소를 위한 CPU/GPU 클러스터, 자산 관리를 위한 NAS 사용을 통해 렌더링 팜은 원클릭 확장이 가능합니다. 수천 개의 렌더링 노드를 효율적으로 계산하는 기능.

이를 기반으로 ByteDance 지능형 생성 팀은 전처리, 엔진 렌더링, 후처리 및 기타 단계를 포함한 단일 작업 처리 로직을 맞춤화했습니다. 그리고 필요에 따라 언제든지 클러스터 크기를 동적으로 확장/축소하여 컴퓨팅 리소스 사용을 극대화합니다.

효율성을 더욱 향상시키고 디자이너가 효과 최적화에 더 쉽게 참여할 수 있도록 기술 팀은 디자이너가 사용할 수 있는 Feishu 애플릿도 만들었습니다. Feishu는 클라우드에서 자동화된 프로세스를 실행하여 아트 효과를 반복합니다. 작업이 완료되면 디자이너가 볼 수 있도록 Feishu로 메시지가 다시 전송되므로 디자이너의 작업 효율성이 크게 향상됩니다.

동시에 ByteDance의 지능형 크리에이티브 팀은 이벤트 드라이버(EventTrigger)와 API를 맞춤화하여 농장, Feishu 플랫폼 및 클라우드 데스크톱 플랫폼을 연결하여 올인원 개념을 극대화함으로써 디자이너와 엔지니어가 기반을 둘 수 있도록 했습니다. Feishu와 Cloud Desktop을 사용하면 공동 연구 및 개발이 더욱 편리해집니다.

자체 개발 렌더링 팜 플랫폼

AIGC 신기술 적용

DALL・E의 등장과 함께 ByteDance 지능형 창작팀은 2021년 초 관련 기술 작업에 착수했습니다. 후속 조치 및 계획을 통해 ByteDance 지능형 생성 팀은 Stable Diffusion 오픈 소스 모델을 기반으로 10억 개의 데이터 볼륨을 갖춘 데이터 세트를 구축하고 두 가지 모델을 훈련했습니다. 하나는 다음과 같은 생성이 가능한 범용 모델 확산 모델입니다. 유화 및 수묵화 스타일의 사진; 다른 하나는 애니메이션 스타일의 확산 모델 모델입니다.

얼마 전 ByteDance의 지능형 생성 팀이 지원하는 "AI 페인팅" 특수 효과가 이 신기술을 사용하여 Douyin에서 인기를 얻었습니다. 이번에 Douyin의 "만화 얼굴"에서 기술 팀은 3D 만화 스타일을 생성하는 확산 모델의 기능을 추가로 조사하고 먼저 그림에 노이즈를 추가한 다음 학습된 Vincentian 그래프 모델을 사용했습니다. 텍스트. 사전 학습된 Stable Diffusion 모델을 기반으로 실제 사람 이미지와 일치하는 GAN에서 생성된 타겟 3D 스타일 결과 이미지를 입력하고, 세밀하게 조정된 일련의 Stable Diffusion 출력을 통해 타겟 스타일을 원하는 방향에 더 가깝게 안내합니다. 결과는 최종 데이터로 사용되며 학습을 위해 후속 GAN 모델에 전달됩니다.

자체 개발한 변형 GAN 모델

Douyin의 "만화 얼굴"의 대상 스타일은 원본 인물 사진에 비해 변형이 크기 때문에 전통적인 P2P 프레임워크를 사용하여 고품질 효과를 직접 훈련시키기는 어렵습니다. Creation Team 우리는 자체 개발한 p2p 변형 GAN 훈련 프레임워크 세트를 보유하고 있으며 이는 대규모 변형 및 강력한 스타일의 만화 대상을 훈련하는 데 좋은 효과가 있습니다. ByteDance의 지능형 생성 팀이 자체 개발한 변형 GAN 훈련 프레임워크는 두 부분으로 구성됩니다:

1. 만화 얼굴 양식화된 정보를 추출하기 위한 양식화된 예비 훈련. 기술팀은 양식화된 정보의 대화형 융합을 위한 비쌍 학습 프레임워크를 구축했습니다. 프레임워크에 실제 인물 및 만화 얼굴 데이터 세트를 입력하면 만화 얼굴 양식화된 정보를 추출할 수 있습니다. 이 프레임워크는 양식화된 특징 인코딩, 특징 융합, 재구성 학습 및 양식화된 예비 학습을 포함하는 엔드 투 엔드 학습 프레임워크입니다. 학습이 완료된 후 다음 단계의 정제된 학습을 위해 만화 얼굴 양식화된 정보를 얻습니다.

2. 만화 얼굴 양식화된 정보를 통합하여 정밀한 훈련을 실시합니다. 첫 번째 단계에서 얻은 만화 얼굴의 양식화된 정보에는 스타일, 변형 등의 정보가 포함되며, 이 부분은 P2P 관련 강력한 감독 손실을 실제 인물 이미지에 통합하여 페어링 훈련에 사용합니다. 훈련이 수렴되면 만화 얼굴 모델이 획득됩니다.

위의 혁신적인 기술 솔루션을 기반으로 Douyin의 "만화 얼굴"은 엔지니어링 링크를 단순화하고 반복 효율성을 크게 향상시킬 뿐만 아니라 큰 각도, 풍부한 표현, 효과 스타일 복원, 빛과 그림자 일관성 및 멀티 스킨 매칭이 확실한 최적화 효과를 얻습니다. "만화 얼굴" 프로젝트를 담당하는 ByteDance 지능형 제작 팀은 2021년부터 3D 스타일화 방향의 획기적인 최적화에 주력해 온 것으로 이해됩니다. 이 기술 솔루션은 다양한 3D 스타일 특수 효과를 지원하고 애니메이션에서 대중적인 결과를 달성했습니다. 플랫폼.

ByteDance Intelligent Creation Team 정보: ​

Intelligent Creation Team은 컴퓨터 비전, 오디오 및 비디오 편집, 특수 효과 처리 등 선도적인 기술을 구축하여 ByteDance AI 및 멀티미디어 기술의 중심입니다. Douyin, Jianying, Toutiao 및 회사 내 기타 여러 제품 라인을 지원하는 동시에 외부 ToB 파트너에게 Volcano 엔진을 통해 업계 최첨단 지능형 생성 기능과 산업 솔루션을 제공합니다.

위 내용은 Douyin에서 900만 명이 넘는 사람들이 사용하는 '만화 얼굴' 특수 효과 기술이 공개되었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!