浙江大学が新しいSOTA技術SIFUを提案：たった1枚の写真で高品質の3D人体モデルを再構築可能

AR、VR、3D プリント、シーン構築、映画制作などの多くの分野において、服を着た人体の高品質 3D モデルは非常に重要です。

従来のモデル作成方法では多くの時間がかかり、専門の機器と技術者のみが完成させることができます。

# 逆に、日常生活では携帯電話のカメラをよく使います。またはウェブ上で見つけたポートレート写真。

したがって、単一の画像から 3D 人体モデルを正確に再構築できる方法は、コストを大幅に削減し、独自の作成プロセスを簡素化することができます。

以前の方法 (左) とこの方法 (右) の技術的ルートの比較

3D 人体再構成のための以前の深度学習モデルには、多くの場合、画像から 2D 特徴を抽出し、2D 特徴を 3D 空間に転送し、人体再構築に 3D 特徴を使用するという 3 つのステップが必要です。

しかし、これらの方法では、2D 特徴を 3D 空間に変換する段階で人体の事前分布の導入が無視されることが多く、その結果、特徴抽出が不十分になり、最終的な再構成結果にさまざまな欠陥が生じます。

SIFU と他の SOTA モデルの再構築効果の比較

また、ステージでは以前は、モデルはトレーニング セットで学習した知識のみに依存しており、現実世界の事前知識が不足していたため、目に見えない領域でのテクスチャ予測が不十分になることがよくありました。

#SIFU は、テクスチャ予測段階で事前知識を導入し、目に見えない領域 (背中など) のテクスチャ効果を強化します。

これに関して、浙江大学 ReLER 研究室の研究者は、側面図の条件付き陰関数に依存して 1 つの画像から 3D 人体モデルを再構成する SIFU モデルを提案しました。

写真

論文アドレス: https://arxiv.org/abs/2312.06704

プロジェクト アドレス: https://github.com/River-Zhang/SIFU

このモデルは、2D 特徴量を変換することで人体の側面図をアプリオリな条件として導入することで、幾何学的な再構成効果を高めます。 3D空間へ。また、事前にトレーニングされた拡散モデルがテクスチャ最適化段階で導入され、目に見えない領域のテクスチャが不十分になる問題を解決します。

#モデル構造

モデル パイプラインは次のとおりです:

写真

モデルの操作は 2 つの段階に分かれており、第 1 段階ではサイド陰関数を使用して人体の形状 (メッシュ) と粗いテクスチャ (粗いテクスチャ) を再構築します。ステージでは、事前トレーニングされた拡散モデルを使用してテクスチャを調整します。

第一段階では、著者は独自のサイドビュー デカップリング トランスを設計し、グローバル エンコーダを通じて 2D 特徴を抽出した後、人体の事前モデル SMPL- をデコーダに導入しました。側面図

この方法では、2D フィーチャを 3D 空間に変換する際に人体の事前知識をうまく組み合わせることができ、モデルの再構成効果が向上します。

第 2 段階では、著者は 3D 一貫したテクスチャ洗練プロセスを提案します。まず、人体の目に見えない領域 (側面と背中) を、次のような画像のコレクションに区別できます。連続的な視野角を設定し、大量のデータから事前知識を学習する拡散モデルの助けを借りて、粗いテクスチャの画像を一貫して編集して、より洗練された結果を得ることができます。最後に、リファイン前後の画像から損失を計算することで、3D モデルのテクスチャ マップが最適化されます。

実験部分

より高い再構成精度

実験部分では、著者は包括的な彼らのモデルは、CAPE-NFP、CAPE-FP、THuman2.0 などのさまざまなテスト セットでテストされ、主要な会議で発表された以前の単一画像人体再構成 SOTA モデルと比較されました。定量的テストの後、SIFU モデルは幾何学的再構成とテクスチャ再構成の両方で最良の結果を示しました。

#幾何学再構成精度の定量的評価

テクスチャ再構築効果の定量的評価

インターネット上の公開画像を入力として使用して、定性的な効果を実証します

##より強力な堅牢性

以前の場合トレーニングセット以外のデータにモデルを適用すると、推定人体事前モデルSMPL/SMPL-Xの精度が十分ではないため、再構成結果が入力画像と大きく異なることが多く、実用化が困難になる。

この点に関して、著者は特にモデルの堅牢性をテストしました。事前のモデル パラメーターのグラウンド トゥルースに摂動を追加することで、実際のシーンをシミュレートするためにポーズがシフトされました。SMPL-X不正確な状況を推定してモデル再構成の精度を評価します。結果は、この場合でも SIFU モデルが依然として最高の再構成精度を持っていることを示しています。

#エラーのある人体の以前のモデルに直面した場合のモデルの堅牢性を評価します

現実世界の画像を使用することで、以前の人体モデルの推定が不正確な場合でも、SIFU はより優れた再構築効果を実現します

より広範なアプリケーション シナリオ

SIFU モデルの高精度かつ高品質な再構成効果により、3D プリント、シーン構築、テクスチャ編集などのさまざまなアプリケーション シナリオに適しています。

#3D プリント SIFU 再構成人体モデル

##SIFU は 3D シーンの構築に使用されます

##パブリック アクション シーケンス データの助けを借りて、SIFU によって再構築されたモデルを駆動できます

##概要

この記事では、サイドビューの条件付き暗黙関数と 3D 一貫性のあるテクスチャ編集を提案します。これは、2D フィーチャを 3D 空間に変換し、テクスチャを予測する際に、以前の研究で導入された事前知識の欠点を克服し、単一の画像内での人体再構成の精度と効果を大幅に向上させ、モデルに実際の大きな利点を与えます。 -世界のアプリケーション、そしてまた、この分野の将来の研究に新しいアイデアを提供します。

参考:

https://arxiv.org/abs/2312.06704

以上が浙江大学が新しいSOTA技術SIFUを提案：たった1枚の写真で高品質の3D人体モデルを再構築可能の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。