NeRFFaceEditing は、顔の神経放射線フィールドのマスク編集方法であり、3D モデリングなしで 3 次元の顔を編集できます。

非常にリアルな 3 次元の顔を個人的にデザインしたいと思っていますが、プロのデザイン ソフトウェアには詳しくありませんか? 3D 顔編集手法 NeRFFaceEditing は、3D モデリングの知識がなくても、メタバース上で自由にリアルな 3 次元の顔を編集し、パーソナライズされたデジタル ポートレートをモデリングできる新しいソリューションを提供します。

NeRFFaceEditing は、計算技術研究所、中国科学院、香港城市大学の研究者によって完成され、関連する技術論文は、世界のトップカンファレンスである ACM SIGGRAPH Asia 2022 で発表されました。コンピューターグラフィックス。

プロジェクトのホームページ: http://geometrylearning.com/NeRFFaceEditing/

#NeRFFaceEditing は、2 次元のセマンティック マスクを 3 次元のジオメトリ編集のブリッジとして使用します。ユーザーが 1 つのパースペクティブで実行したセマンティック編集は、マテリアルを変更せずに 3 次元の顔のジオメトリ全体に反映できます。さらに、基準スタイルを表す画像が与えられると、ユーザーはジオメトリを変更せずに 3D 顔全体のマテリアル スタイルを簡単に変更できます。

# この手法に基づく 3D 顔編集システムにより、専門的な 3D デザインに慣れていないユーザーでも簡単にパーソナライズされた顔のデザインを実行し、顔の形状や外観をカスタマイズできます。まずは NeRFFaceEditing を使用した 2 つの素晴らしいエフェクトを見てみましょう。

図 1 幾何学的編集効果: 2 次元のセマンティック マスクの編集は 3 次元全体に反映されます。次元幾何空間

図 2 スタイル転送効果: 指定したスタイルを 3 つの空間全体に適用する-次元の顔空間 ジオメトリを変更しないでくださいパート I 背景

近年、神経放射線分野[1]と敵対的生成ネットワーク [2] 、EG3D [3] など、さまざまな高品質で高速レンダリングの 3D 顔生成ネットワークが提案されています。

図 3 EG3D のさまざまな視点の生成効果と幾何学的表現

この手法の 3 プレーン表現は、従来の 2 次元敵対的生成ネットワークと最新の 3 次元暗黙的表現を組み合わせたものであるため、StyleGAN [4] の強力な生成能力とニューラルの表現能力を継承しています。放射線フィールド。ただし、これらの生成モデルでは、3D キャラクター デザインなどのアプリケーションに不可欠な機能である、人間の顔の形状と材質を分離して制御することはできません。

DeepFaceDrawing [5] や DeepFaceEditing [6] などの既存の作品は、線描画と 2 次元の面の生成と編集に基づいたジオメトリとマテリアルの分離制御を実現できます。画像。 DeepFaceVideoEditing [7] は、顔ビデオに線画編集を適用することで、時系列で豊かな編集効果を生成できます。

しかし、画像の分離および編集方法を 3 次元空間に直接適用するのは困難です。ただし、3 次元面に対する既存の幾何学的およびマテリアルのデカップリング手法では、多くの場合、ネットワーク パラメータの再トレーニングが必要であり、使用される空間表現手法には大きな制限があり、3 平面表現の優れた特性が欠けています。上記の問題を解決するために、NeRFFaceEditing は、3 つの平面で表現される 3 次元敵対的生成ネットワークの事前学習済みモデル パラメーターに基づいており、任意の視点からの 2 次元セマンティック マスクを媒体として使用し、幾何学的編集を実現します。 3次元面と材料の解のカップリング制御

パート 2 NeRFFaceEditing のアルゴリズム原理

3 平面ジェネレーターが 3 平面を生成した後、AdaIN [8]、つまり 2 次元特徴マップからインスピレーションを受けています。 (Feature Map)、その統計はそのスタイルを表すことができ、NeRFFaceEditing は 3 つの平面を、空間的に不変な高レベルの材料特徴を表す平均値と標準偏差 (a)、および空間的に変化する幾何学的特徴を表す正規化された 3 つの平面に分解します。標準化された 3 面と分解された材料特性 (a) を組み合わせると、元の 3 面を復元できます。したがって、異なる材料特性が与えられると、同じ形状に異なる材料を与えることができます。

さらに、ジオメトリとマテリアルの分離制御を実現するために、NeRFFaceEditing は元の単一のデコーダをジオメトリ デコーダとマテリアル デコーダに分解します。ジオメトリ デコーダは、正規化された 3 面サンプリングから得られた特徴、予測密度、意味ラベルを入力し、3D 顔の幾何学的および意味論的なマスク ボリューム (ボリューム) を表現するために使用されます。幾何学的特徴とマテリアル特徴 (a) が制御可能マテリアル モジュール (CAM) モジュールを通じて結合された後、サンプリングされた特徴がマテリアル デコーダに入力されて色が予測されます。最後に、ボリューム レンダリングを通じて、特定の視点からの顔画像と対応するセマンティック マスクが取得されます。異なるマテリアル フィーチャ (b) が与えられた場合、幾何学的特徴とマテリアル フィーチャ (b) を使用して、CAM モジュールとボリューム レンダリングを通じて、ジオメトリが変更されずマテリアルが変更された別の顔画像を取得できます。全体的なネットワーク構造を次の図に示します。

##図 4 NeRFFaceEditing ネットワーク アーキテクチャ

#さらに、マテリアルの特徴は同じだがジオメトリが異なるサンプルのレンダリング結果がマテリアルにおいて類似するように制約するために、NeRFFaceEditing は生成されたセマンティック マスクを使用し、ヒストグラムの特徴を使用してこれらをそれぞれ表現します。 . 材料特性は同じだが形状が異なるサンプルにおける、髪、肌などのさまざまな顔のコンポーネントの色の分布。次に、個々のコンポーネントにわたるこれらのサンプルの色分布の距離の合計が最適化されます。以下の図に示すように:

図 5 材料類似性制約トレーニング戦略

パート 3 エフェクトの表示と実験的比較

NeRFFaceEditing を使用すると、2 次元のセマンティック マスクを使用して、3 次元の顔空間で幾何学的な編集を実行できます。

図 6 3 次元の顔ジオメトリ編集

##さらにに基づいて編集することもできます。図を参照して、3 次元の一貫した 3 次元空間でマテリアル スタイルの移行を実行します。

図 7 3 次元の顔スタイルの移行

これに基づいて、分離された顔補間変形アプリケーションを実現できます。左上隅と右下隅が開始点と終了点として使用され、カメラ、ジオメトリ、マテリアルが線形補間を実行します:

図 8 顔変形効果の表示の分離

###PTI [9] を使用して実際の画像を NeRFFaceEditing の潜在空間に逆投影し、実画像の編集やスタイル転送も可能です。これにより、NeRFFaceEditing は視野角を制御できる他のオープンソースの顔編集手法である SofGAN [10] とも比較され、この手法の優位性が証明されました。 ######

# 図 9 実際の画像の 3 次元ジオメトリ編集の例。 NeRFFaceEditing の信頼性は SofGAN よりも優れており、他の観点から見ると SofGAN のアイデンティティに特定の変更があることがわかります。

# 図 10 実画像スタイル転送の例。 SofGAN には特定の欠陥があり、アイデンティティに特定の変更があることがわかります。 パート 4 結論と謝辞

デジタル コンテンツの生成は、工業生産およびデジタル メディアの分野で、特にバーチャル デジタル ピープル向けに広く使用されています。生成と編集は最近広く注目を集めており、3D 顔のジオメトリとマテリアルの分離編集は、実際の仮想イメージをパーソナライズされた形状にするための可能なソリューションです。

NeRFFaceEditing システムは、3 次元の顔生成ネットワークの設計を切り離すことで、ユーザーによるセマンティック マスクの変更を 2 次元の観点から 3 次元全体のジオメトリに変換できます。 -次元空間 マテリアルが変更されないように修正します。さらに、スタイル転送効果を高めるトレーニング戦略の助けを借りて、3 次元空間での効果的なマテリアル スタイル転送を達成できます。 NeRFFaceEditing の論文が、コンピューター グラフィックスのトップカンファレンスである ACM SIGGRAPH ASIA 2022 に採択されました。

このプロジェクトの研究チームには、中国科学院計算技術研究所のエリートクラスの学部生である Jiang Kaiwen (筆頭著者)、准研究員 Gao Lin (この記事の責任著者)、Chen Shuyu 博士、香港城市大学 Fu Honbo 教授など。論文の詳細については、プロジェクトのホームページをご覧ください:

http ://geometrylearning.com/NeRFFaceEditing/

以上がNeRFFaceEditing は、顔の神経放射線フィールドのマスク編集方法であり、3D モデリングなしで 3 次元の顔を編集できます。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。