Douyinで900万人以上が使用している「漫画の顔」特殊効果技術が明らかに

特殊効果のゲームプレイに関して言えば、Douyin の「すべての仕事をこなす」能力は誰の目にも明らかです。最近、「漫画の顔」の特殊効果が脚光を浴びています。男性、女性、子供を問わず、この特殊効果を使用すると、ディズニーアニメのキャラクターのように賢くてかわいく見えます。 「Cartoon Face」はリリースされるとすぐにDouyinで発酵し、「ワンクリックで背が高くて甘い漫画の顔に変身」、「Douyinのすべての逃亡中の王女がここにいます」、「あなたの赤ちゃんを見せびらかしてください」など、ユーザーに深く愛されました。漫画の顔スタイル」、「「砂糖をまぶすお姫さまのジェスチャー ダンス」や「おとぎ話の魔法が失敗した瞬間を捉える」など、王子関連のホットスポットは常に成長しています。その中には、「Douyin から逃亡した王女が全員ここにいます」と「おとぎ話の魔法が失敗した瞬間を捉える」は、Douyin の全国ホット リストにも掲載されています。現在、この特殊効果のユーザー数は900万人を超えています。

「カートゥーンフェイス」は 3D スタイルの特殊効果ですが、このタイプの特殊効果の開発の難しさは主に、多様な CG トレーニング データの取得の難しさ、生き生きとした表情の復元、リアルなフィット感の難しさ、3次元的な肌の光と影の表現が難しく、誇張された強いスタイルの顔の特徴の変形GANを習得するのが難しい。この点で、ByteDance のインテリジェント作成チームは 3D スタイライゼーションの方向での画期的な最適化に焦点を当てており、これにより上記の問題がすべて解決されただけでなく、一連の普遍的な技術ソリューションも生み出されました。

「Cartoon Face」を支える研究開発プロセスの革新

以前は、完全な 3Dスタイライゼーション 研究開発プロセスは次のモジュールに分割されます:

オリジナルのスタイル画像を多数収集 -> StyleGan ラージ モデルをトレーニング -> ペア データを生成 -> 利用可能なペアを手動で選択データ デザイナー P ピクチャー 最適化 -> p2p 小規模モデルのトレーニング、を繰り返します。

従来の研究開発プロセスの問題は非常に明白です。反復サイクルが長く、設計者の参加が弱く、そして、沈殿させて再利用するのは簡単ではありません。

「漫画の顔」特殊効果の研究開発において、ByteDance インテリジェント作成チームは 革新的な研究開発プロセスを採用しました。 :

デザイナーがターゲットのスタイル効果を作成するところから開始します。デザイナーは、アルゴリズムによって合意された要件に従って、いくつかの 3D アート素材を提供します。その後、ByteDance インテリジェント作成チームが DCC ソフトウェアを使用してバッチ処理します。レンダリングプロセスでは、技術チームは最も人気のある AIGC テクノロジーを初めて導入してデータを強化し、次に GAN を使用してトレーニングに必要なペアデータを合成し、最後に自社開発のデータを使用しました。最終的な効果を得るためにトレーニングするための変形 pix2pix モデル。

ByteDance Intelligent Creation Team による「Cartoon Face」の研究開発フローチャート

# プロセスのリンクから、この方法により反復サイクルが大幅に短縮され、自動化の度合いが向上し、設計者の参加度が高まることがわかります。実践により、革新的なエンジニアリングが反復をリンクしていることがわかります。サイクルが 6 か月から 1 か月に短縮され、ソリューションの蓄積と再利用が容易になります。

「漫画の顔」特殊効果のデザイン方法

現在、ソーシャル メディア上で変身特殊効果がますます増えており、人々の注目が高まっています。特殊効果 美的感覚と正確性。ユーザーが様式化された変換効果をより良く実現できるようにするために、Douyin 特殊効果のデザイナーは慎重に研究し、人気のあるアニメーション スタイルと組み合わせて、漫画の顔の特殊効果のセットを革新的に設計しました。アニメのような柔軟なキャラクタースタイルを体験できると同時に、より美しく、よりハンサムになりたいというユーザーのニーズにも応えます。

Douyin 特殊効果デザイナーは、市場にある既存の変身特殊効果を徹底的に調査した結果、既存の特殊効果にはスタイルが不十分、表現が誇張されていない、照明効果がリアルではないなどの問題があることがわかりました。そこで、Douyinの特殊効果デザイナーは、国内の美学に基づいて漫画の顔のスタイルを再設計し、男性と女性の顔のプロポーションを誇張し、かわいい丸い顔とスマートな顔の特徴を持つ「女の子」と、タフで長い顔の「男の子」に再構築しました。顔とハンサムな顔立ち。このプロセスでは、デザイナーがユーザー自身の髪を残し、髪のふわふわ感と光沢を高め、漫画の顔に溶け込むように自然に仕上げ、漫画の質感の肌もユーザー自身の肌のディテールを取り込み、特殊効果がより自然になり、ユーザーの特性がよりパーソナライズされました。

さらに、Douyin 特殊効果のデザイナーは、複雑なシーンでの照明復元のニーズを満たすために、さまざまな照明の下での光と影のテクスチャも定義し、漫画の顔をさらに 3 つにしました。立体的で自然な、日常生活に溶け込むセルフィーを撮るのは悪いことではありません。最後に、デザイナーは誇張された象徴的な表情を作成し、フェイシャル キャプチャ テクノロジーを使用してデジタル人財の表情 CG データを生成し、トレーニング データとアルゴリズムを継続的に改善して、ユーザーの個性をより鮮明に表示できる表情効果を生成しました。

自社構築の CG 合成データ ストリーム、高品質のトレーニング データを再利用可能

3D スタイルの特殊効果のトレーニング データのソースは高品質の CG に依存データ配布要件の多様性は比較的高いですが、同時に、3D アセットの手動モデリングも非常に労力を要するプロセスであり、再利用性も不十分です。多くの場合、プロジェクトは、 3D アセットのバッチを作成しましたが、プロジェクトの終了時に完全に放棄されました。

今回、ByteDance のインテリジェント作成チームは、汎用的で拡張しやすい CG 合成データ ワークフローのセットを構築しました。

#Bytedance Intelligent Creation Team の CG 合成データ フローのフローチャート

この合成データ フローのワークフローは次のとおりです:

1. Houdini を通じてプログラムでデジタル アセットを生成し、プログラムで顔をピンチし、ボーンをバインドし、ウェイトを調整します。 、など、現実的なデジタル ヒューマン モデル アセット ライブラリを確立します。

##多様性 3D デジタル アセット

2. Houdini の Solaris を使用して USD テンプレートを構築し、髪、毛皮、頭部モデル、衣服、表現係数などのアセットを組み合わせます。米ドル参照輸入。

#スキン マップ サンプル

##アイリス マップ サンプル

3. Houdini の PDG を使用してアセット、カメラ アングル、照明環境などを変更します。 . ランダムな組み合わせ。 PDG を使用してワークアイテムを制御し、データ分散を正確に制御します。

#自動化された PDG ノード グラフ

以来研究開発プロセスでは、エフェクトの反復のために大量のレンダリング データを頻繁に提供する必要があり、これには多大な計算能力コストとレンダリング待ち時間が必要になります。以前、チームはDouyinの「Magic Transformation」特殊効果のデータレンダリングのために外部ファームに数百万ドルを費やしていました。 「漫画の顔」の特殊効果に関しては、チームは ByteDance のクラウド プラットフォーム Volcano Engine の強固なインフラストラクチャを利用して、コンピューティング電力コストを大幅に削減しました。

ByteDance のインテリジェント作成チームは、映画およびテレビ業界のプロセスを参考にして、自社開発のレンダリング ファーム プラットフォームを構築しました。オフライン タスクを複数のレンダリング マシンに分割して並列処理できます。イメージ ホスティング用の Volcano Engine ミラーリング プラットフォーム、リソースのアプリケーションとリリース用のリソース プーリング プラットフォーム、コンテナーの動的な拡張と縮小用の CPU/GPU クラスター、資産管理用の NAS の使用により、レンダリング ファームはワンクリックで拡張できます。数千ものレンダリング ノードを効率的に計算する機能。

これに基づいて、ByteDance インテリジェント作成チームは、前処理、エンジン レンダリング、後処理、その他のステップを含むシングルタスク処理ロジックをカスタマイズしました。また、必要に応じていつでもクラスター サイズを動的に拡張/縮小して、コンピューティング リソースの使用を最大化します。

効率をさらに向上させ、デザイナーが効果の最適化に参加しやすくするために、技術チームはデザイナーが使用できる Feishu アプレットも作成しました。これにより、自動プロセスをトリガーできます。 Feishu を介したクラウド アート効果を反復するために、クラウド タスクが完了した後、デザイナーが確認できるメッセージが Feishu に返送され、デザイナーの作業効率が大幅に向上します。

同時に、ByteDance インテリジェント作成チームは、イベント ドライバー (EventTrigger) と API をカスタマイズして、ファーム、Feishu プラットフォーム、クラウド デスクトップ プラットフォームを接続し、オールインワンのコンセプトを最大限に高めました。これにより、デザイナーとエンジニアは、Feishu と Cloud Desktop に基づいて共同研究開発をより便利に完了できるようになります。

#自社開発のレンダリング ファーム プラットフォーム

AIGC Newテクノロジーの応用

DALL・E の出現により、ByteDance インテリジェント作成チームは、2021 年初頭に関連テクノロジーのフォローアップと計画を開始しました。ByteDance インテリジェント作成チームは、Stable Diffusion オープンソースを開発しました。モデル をもとにデータ量10億のデータセットを構築し、油絵や水墨画風の絵を生成できる汎用モデル「拡散モデル」と、「拡散モデル」の2つのモデルを学習させた。もう1つはアニメーションスタイルの拡散モデルです。

つい最近、ByteDance のインテリジェント作成チームがサポートする「AI ペイント」特殊効果が、この新しいテクノロジーを使用して Douyin で人気になりました。今回は Douyin の "Cartoon Face" について、技術チームは 3D 漫画スタイルを生成する拡散モデルの機能をさらに調査し、画像生成戦略を採用しました。最初に画像にノイズを追加し、次にトレーニング済みのヴィンセント グラフ モデルを使用しました。テキストの。事前にトレーニングされた安定拡散モデルに基づいて、実際の人物画像と一致する GAN によって生成されたターゲット 3D スタイル結果画像を入力し、一連の微調整されたテキスト キーワードを通じてターゲット スタイルを目的の方向に近づけます。結果は最終データとして使用され、学習のために後続の GAN モデルに渡されます。

自社開発の変形 GAN モデル

Douyin の「漫画の顔」のターゲット スタイルは、元のポートレートに比べて変形が大きいため、そのまま使用するのは困難です従来の p2p フレームワーク 高品質のトレーニング結果を達成するために、ByteDance のインテリジェント作成チームは一連の p2p 変形 GAN トレーニング フレームワークを自社開発しました。これは、大きく変形した強いスタイルの漫画ターゲットのトレーニングに優れた効果をもたらします。 ByteDance のインテリジェント作成チームが自社開発した変形 GAN トレーニング フレームワークは 2 つの部分で構成されています:

#1. 漫画の顔の様式化された情報を抽出するための様式化された事前トレーニング。技術チームは、様式化された情報をインタラクティブに融合するための非ペアトレーニングフレームワークを構築し、現実の人物と漫画の顔のデータセットをフレームワークに入力することで、漫画の顔の様式化された情報を抽出できます。このフレームワークは、定型化された特徴のエンコーディング、特徴の融合、再構成トレーニング、定型化された予備トレーニングを含むエンドツーエンドのトレーニング フレームワークであり、トレーニングが完了すると、漫画の顔の定型化された情報が次の洗練されたトレーニングのステップのために取得されます。

#2. 漫画の顔の様式化された情報を統合し、正確なトレーニングを実施します。最初のステップで取得された漫画の顔の様式化された情報には、スタイルや変形などの情報が含まれています。情報のこの部分は、洗練されたトレーニングのために現実の人物の画像に統合されます。ペアリングのトレーニングには、p2p 関連の強力な監視損失が使用されます。トレーニングが収束すると、漫画の顔モデルが取得されます。

上記の革新的な技術ソリューションに基づいて、Douyin の「Cartoon Face」はエンジニアリング リンクを簡素化し、反復効率を大幅に向上させるだけでなく、大きな角度、豊かな表現、効果スタイルの復元、光と影の一貫性、および複数の機能を改善します。肌の色、マッチングなどの面で明らかな最適化効果が得られています。 「Cartoon Face」プロジェクトを担当する ByteDance インテリジェント作成チームは、2021 年から 3D スタイライゼーションの方向で画期的な最適化に注力していることがわかりました。この技術ソリューションは、さまざまな 3D スタイルの特殊効果をサポートし、ゲーム上で人気の高い結果を達成しました。プラットホーム。

#Bytedance インテリジェント作成チームについて:

#インテリジェント作成チームは、Bytedance AI およびマルチメディア テクノロジをサポートするミドル プラットフォームです。コンピューター ビジョン、オーディオおよびビデオ編集、特殊効果処理などの最先端のテクノロジーを構築することで、Douyin、Jianying、Toutiao などの同社の製品ラインの多くをサポートすると同時に、外部の ToB パートナーに業界をリードするインテリジェントな作成機能を提供します。 Volcano Engine と業界ソリューションを通じて。

以上がDouyinで900万人以上が使用している「漫画の顔」特殊効果技術が明らかにの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。