本当に滑らかです: NeuralHDHair、浙江大学、チューリッヒ工科大学、CityU が共同開発した新しい 3D ヘアモデリング手法

近年、バーチャル デジタル ヒューマン産業が爆発的に成長し、あらゆる階層が独自のデジタル ヒューマン イメージを発表しています。高忠実度の 3D ヘア モデルが仮想デジタル ヒューマンのリアリズムを大幅に向上できることは疑いの余地がありません。人体の他の部分とは異なり、絡み合った髪の構造は非常に複雑な性質を持っているため、髪の構造を記述して抽出することはより困難であり、単一のビューから高忠実度の 3D 髪モデルを再構築することは非常に困難です。一般に、既存の方法は、この問題を 2 つのステップで解決します。まず、入力画像から抽出された 2D 方向マップに基づいて 3D 方向フィールドを推定し、次に 3D 方向フィールドに基づいて髪束を合成します。ただし、このメカニズムには実際にはまだいくつかの問題があります。

実際の観察に基づいて、研究者らは、高度な精度を示しながら、きめ細かい特徴を備えた 1 つの画像から 3D ヘア モデルを再構成できる、完全に自動化された効率的なヘア モデル モデリング方法を模索しています (図 1)。柔軟性に優れており、髪のモデルの再構築にはネットワークの 1 回の順方向パスのみが必要です。

これらの問題を解決するために、浙江大学、スイスのチューリッヒ工科大学、香港城市大学の研究者は、IRHairNet を提案しました。ラフ 高忠実度の 3D 方向フィールドを生成するための洗練された戦略を開発します。具体的には、ラフ モジュールの 2D 方向マップから情報を抽出するために、新しいボクセル整列暗黙関数 (VIFu) を導入しました。同時に、2D 方向マップで失われた局所的な詳細を補うために、研究者らは高解像度の輝度マップを使用して局所的な特徴を抽出し、それらをファイン モジュール内のグローバルな特徴と組み合わせて高忠実度の髪を実現しました。スタイリング。

3D 指向性フィールドから毛髪モデルを効果的に合成するために、研究者は、局所的な暗黙的グリッド表現を使用した深層学習に基づく育毛方法である GrowingNet を導入しました。これは重要な観察に基づいています。毛髪の形状と成長方向は全体的に異なりますが、特定の局所スケールでは同様の特性を持っています。したがって、局所的な 3D 方向パッチごとに高レベルの潜在コードを抽出することができ、その後、この潜在コードに基づいて神経潜在機能 (デコーダー) がその中で毛束を成長させるようにトレーニングされます。各成長ステップの後、毛束の端を中心とした新しい局所パッチが使用されて成長を続けます。トレーニング後は、任意の解像度で 3D 指向のフィールドに適用できます。

論文: https://arxiv.org/pdf/2205.04175.pdf

IRHairNet と GrowingNet は NeuralHDHair の中核を形成します。具体的には、この研究の主な貢献は次のとおりです。

• 既存の SOTA 手法よりもパフォーマンスが大幅に優れた、新しい全自動単眼ヘア モデリング フレームワークの導入;
• 粗いヘア モデリングの導入- ファイン ヘア モデリング ニューラル ネットワーク (IRHairNet)、ボクセルに合わせた新しい暗黙関数と輝度マッピングを使用して、高品質のヘア モデリングの局所的な詳細を強化します;
• ローカル ベースの新しい発毛ネットワーク (GrowingNet)任意の解像度の毛髪モデルを効率的に生成できる暗関数を提案し、従来手法と比較して一桁の高速化を実現しました。

#メソッド

図 2 は、NeuralHDHair のパイプラインを示しています。ポートレート画像の場合、最初に 2D 方向マップが計算され、輝度マップが抽出されます。さらに、バスト深度マップを取得するために、同じバスト参照モデルに自動的に位置合わせされます。これら 3 つのグラフは IRHairNet にフィードバックされます。

#IRHairNet は、単一の画像から高解像度の 3D ヘア幾何学的特徴を生成するように設計されています。このネットワークへの入力には、入力ポートレート画像から取得された 2D 方向マップ、輝度マップ、および適合された半分の長さの深度マップが含まれます。出力は、各ボクセルに局所的な成長方向が含まれる 3D 方向フィールドと、各ボクセルが髪束が通過した (1) か否か (0) を表す 3D 占有フィールドです。

• GrowingNet は、IRHairNet によって推定された 3D 方向フィールドと 3D 占有フィールドから完全な毛髪モデルを効率的に生成するように設計されており、3D 占有フィールドは毛髪の成長領域を制限するために使用されます。

メソッドの詳細については、元の論文を参照してください。

実験

このパートでは、研究者はアブレーション研究 (セクション 4.1) を通じて各アルゴリズム コンポーネントの有効性と必要性​​を評価し、この論文の方法を組み合わせます。現在の SOTA と比較します (セクション 4.2)。実装の詳細とその他の実験結果については、補足資料を参照してください。

アブレーション実験

研究者らは、GrowingNet の忠実性と効率を定性的および定量的な観点から評価しました。まず、合成データに対して 3 セットの実験が実行されます: 1) 従来の発毛アルゴリズム、2) 潜在的なパッチ スキームを重複させない GrowingNet、3) この論文の完全なモデル。

図 4 と表 1 に示すように、従来の発毛アルゴリズムと比較して、この記事の GrowingNet には、視覚的な品質の点で同じ発毛パフォーマンスを維持しながら、時間の消費という点で明らかな利点があります。さらに、図 4 の 3 番目と 4 番目の列を比較すると、重複する潜在的なパッチ スキームがない場合、パッチ境界の毛束が不連続になる可能性があり、これは毛髪の成長方向が異なる場合に問題となることがわかります。ストランドが劇的に変化するのはさらに深刻です。ただし、このソリューションは精度がわずかに低下する代わりに効率が大幅に向上することに注目する価値があり、人体のデジタル化に便利かつ効率的に適用するためには、効率の向上が非常に重要です。

SOTA 方式との比較

NeuralHDHair のパフォーマンスを評価するには、研究者らの比較 いくつかの SOTA 手法との比較が行われました [6、28、30、36、40]。その中で、Autohair は毛髪合成のデータ駆動型アプローチに基づいていますが、HairNet [40] は毛髪の成長プロセスを無視して、エンドツーエンドの毛髪モデリングを実現します。対照的に、[28,36] は、最初に 3D 方向フィールドを推定し、次にそこから髪束を合成するという 2 段階の戦略を実装しています。 PIFuHD [30] は、粗いものから細かいものへの戦略に基づく単眼の高解像度 3D モデリング方法であり、3D 毛髪モデリングに使用できます。

図 6 に示すように、HairNet の結果は満足のいくものではありませんが、局所的な詳細や全体的な形状さえも入力イメージの髪と一致しません。これは、この方法が単純かつ粗雑な方法で髪を合成し、単一の画像から乱れた髪束を直接復元するためです。

#再構成結果は、Autohair[6] および斉藤 [28] とも比較されます。図 7 に示すように、Autohair は現実的な結果を合成できますが、データベースに含まれるヘアスタイルが限られているため、構造的には入力画像とよく一致しません。一方、斉藤氏の結果には局所的な詳細が欠けており、入力画像と一致しない形状になっています。対照的に、この方法の結果は、髪の形状の一貫性を確保しながら、髪の全体的な構造と局所的な詳細をより適切に維持します。

PIFuHD [30] および Dynamic Hair [36] は、高忠実度の 3D 髪の幾何学的特徴を推定して、現実的な髪束モデルを生成することに特化しています。図 8 は、2 つの代表的な比較結果を示しています。 PIFuHD で使用されるピクセル レベルの暗黙関数では複雑なヘアを完全に表現できず、その結果、滑らかすぎ、局所的な詳細がなく、合理的なグローバル構造さえも持たない結果が得られることがわかります。 Dynamic Hair は詳細を減らしてより妥当な結果を生成でき、その結果の髪の成長傾向は入力画像とよく一致しますが、特に複雑なヘアスタイルの場合、多くの局所的な構造の詳細 (階層など) をキャプチャできません。対照的に、私たちの方法は、さまざまなヘアスタイル、さらには非常に複雑な構造にも適応でき、グローバルな特徴とローカルな詳細を最大限に活用して、より詳細な高忠実度、高解像度の 3D ヘア モデルを生成できます。

# ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃

以上が本当に滑らかです: NeuralHDHair、浙江大学、チューリッヒ工科大学、CityU が共同開発した新しい 3D ヘアモデリング手法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。