新タイトル：リアルタイムレンダリングが進化！光線に基づく革新的な 3D 再構成手法

写真

論文リンク:https://arxiv.org/pdf/2310.19629

コードリンク:https://github.com/vLAR-group/RayDF

ホームページ: 書き換える必要があるコンテンツは次のとおりです: https://vlar-group.github.io/RayDF .html

書き換えられた内容: 実装方法:

RayDF の全体的なプロセスとコンポーネントは次のとおりです (図 1 を参照)

1. はじめに

機械学習による正確かつ効率的な 3D 形状表現は、視覚やロボット工学の分野における多くの最先端のアプリケーションにおいて非常に重要です。ただし、3D 座標に基づく既存の暗黙的な式では、3D 形状を表現したり 2D 画像をレンダリングしたりするときに高価な計算コストが必要になりますが、これとは対照的に、レイベースの方法は 3D 形状を効率的に推論できます。ただし、既存の光線ベースの手法では、複数の視野角での幾何学的一貫性が考慮されていないため、未知の視野角で正確な幾何学的形状を復元することが困難です。 RayDF、マルチビューの幾何学的一貫性のためのレイベースの暗黙的な表現方法。この方法は、新しい二重光線可視性分類器とマルチビュー一貫性最適化モジュール (最適化モジュール)

を導入することにより、単純な光線表面距離フィールドに基づいており、幾何学的条件を満たす光線表面距離を取得する方法を学習します。複数の視野角の一貫性。実験結果は、修正された方法が 3 つのデータセットで優れた 3D 表面再構成パフォーマンスを達成し、座標ベースの方法よりも 1000 倍速いレンダリング速度を達成することを示しています (表 1 を参照)。

主な貢献は次のとおりです:

光線表面距離フィールドを使用して 3 次元形状を表現し、この式は、既存の座標ベースの表現よりも効率的です。

• 新しい二重光線可視性分類器を設計しました。光線のペアの空間関係を学習することにより、学習された光線表面距離フィールドは、複数の視野角の下で幾何学的一貫性を維持できます。
  
• 3 次元形状再構成におけるこの方法の精度と効率は、複数のデータセットで証明されています。
  
• 
  2. 方法

2.1 概要

図 1 に示すように、RayDF には 2 つのネットワークと 1 つの最適化モジュールが含まれています。メイン ネットワークの光線-表面距離ネットワークの場合、光線を入力するだけで、光線の開始点と光線が当たる幾何学的表面点の間の距離値を取得できます。このうち、図 2 に示すように、RayDF は 3 次元シーンを囲むボールを使用して入力光線をパラメータ化し、パラメータ化された 4 次元の球座標 (入射点と出射点) をネットワーク入力として使用します。補助ネットワーク デュアル レイ可視性分類器の場合、一対のレイと幾何学的表面点を入力として、2 つのレイ間の相互可視性を予測します。この補助ネットワークがトレーニングされると、後続のマルチビュー整合性最適化モジュールで重要な役割を果たします。

図 2 光線パラメータ化と光線表面距離フィールドのネットワーク構造

2.2 二重光線可視性分類子

このメソッドでは、の補助ネットワークは、2 つの入力レイが同時に表面点を認識できるかどうかを予測するバイナリ分類器です。図 3 に示すように、2 つの入力レイから取得された特徴は平均化され、予測結果が 2 つのレイの順序によって影響を受けないようになっています。同時に、表面点を個別にエンコードすることによって得られた特徴は、光線特徴の後に結合されて光線特徴が強化され、それによって分類器の精度が向上します。

デュアルレイ可視性分類器のフレームワーク構造を図 3 に示します。

2.3 マルチビュー一貫性の最適化

設計されたメインネットワークの光線表面距離ネットワークと補助ネットワークの二重光線可視性分類器を基礎として使用し、マルチビュー一貫性最適化の主要モジュールを導入して、2つのネットワーク上で2段階のトレーニングを実行します。

(1) まず、補助ネットワーク デュアルレイ可視性分類器のトレーニング用のレイ ペアを構築します。画像内の光線 (画像内のピクセルに対応) の場合、対応する空間表面点はその光線表面距離によってわかります。それをトレーニング セット内の残りの視野角に投影して別の光線を取得し、この光線を取得します。対応する光線と表面の距離があり、この記事では 2 つの光線が互いに見えるかどうかを判断するためのしきい値を 10 mm に設定しています。

(2) 第 2 段階は、メイン ネットワークの光線表面距離ネットワークをトレーニングして、その予測距離フィールドがマルチビューの一貫性を満たすようにすることです。図 4 に示すように、主光線とその表面点の場合、表面点は球の中心で均一にサンプリングされ、いくつかのマルチビュー光線が得られます。メイン レイとこれらのマルチビュー レイを 1 つずつペアにすると、トレーニングされたデュアルレイ可視性分類器を通じて相互の可視性を取得できます。次に、光線-表面距離ネットワークを通じてこれらの光線の光線-表面距離を予測します。主光線と特定のサンプリング光線が相互に見える場合、2 つの光線の光線-表面距離によって計算された表面点は同じになるはずです。ポイント; によると、対応する損失関数が設計され、メイン ネットワークがトレーニングされ、最終的に光線表面距離フィールドがマルチビューの一貫性を満たすことが可能になります。

2.4 表面法線導出と外れ値点の除去

シーン表面の端の深度値には突然変異 (不連続性) があることが多く、神経的なネットワークは連続関数であるため、前述の光線表面距離フィールドでは、表面のエッジでの不正確な距離値が容易に予測され、その結果、エッジの幾何学的表面にノイズが発生します。幸いなことに、図 5 に示すように、設計された光線表面距離フィールドには優れた特徴があります。推定された各 3 次元表面点の法線ベクトルは、ネットワークの自動微分を通じて閉じた形式で簡単に見つけることができます。したがって、ネットワークの推論段階で表面点の法線ベクトルユークリッド距離を計算することができ、その距離値が閾値よりも大きい場合、表面点を外れ値とみなし除去することで、きれいな三次元再構成表面を得ることができます。 。

#図 5 表面法線計算

3. 実験

提案手法の有効性を検証するため、実験を行った。 3 つのデータセットに対して実験が行われました。 3 つのデータ セットは、オブジェクト レベルの合成データ セット Blender [1]、シーン レベルの合成データ セット DM-SR [2]、およびシーン レベルの実データ セット ScanNet [3] です。パフォーマンスを比較するために 7 つのベースラインを選択しました。このうち、OF [4]/DeepSDF [5]/NDF [6]/NeuS [7] は座標ベースのレベルセット方式、DS-NeRF [8] は深度教師あり NeRF ベースの方式、LFN [ 9] と PRIF [10] は、2 つのレイベースのベースラインです。

RayDF メソッドは、テクスチャを学習するために放射ブランチを直接追加するのが簡単であるため、放射フィールドの予測をサポートするベースライン モデルと比較できます。したがって、この論文の比較実験は 2 つのグループに分けられ、最初のグループ (グループ 1) は距離 (ジオメトリ) のみを予測し、2 番目のグループ (グループ 2) は距離と放射輝度の両方 (ジオメトリとテクスチャ) を予測します

3.1 Blender データセットの評価

表 2 と図 6 からわかるように、グループ 1 と 2 では、RayDF は表面再構成、特に最も重要な ADE 指標で優れた結果を達成しました。およびレイベースのベースライン。同時に、RayDF は、放射輝度場レンダリングの点で、DS-NeRF に匹敵し、LFN や PRIF を上回るパフォーマンスも達成しました。

#図 6 Blender データセットの視覚的比較

3.2 DM-SR での評価データセット

表 3 からわかるように、RayDF は最も重要な ADE 指標のすべてのベースラインを上回っています。同時に、グループ 2 の実験では、RayDF は正確な表面形状を確実に復元しながら、高品質の新しいビュー合成を取得することができました (図 7 を参照)。

図 7 DM-SR データ セットの視覚的比較

3.3 ScanNet データセットの評価

表 4 は、困難な現実世界のシナリオにおける RayDF とベースラインのパフォーマンスを比較しています。最初と 2 番目のグループでは、RayDF はほぼすべての評価指標でベースラインを大幅に上回り、複雑な現実世界の 3D シーンの回復において明らかな利点を示しています

##以下は、図 8 ScanNet データセットの視覚的な比較を書き直したものです。 図 8 に、ScanNet データセットの視覚的な比較結果を示します

3.4 アブレーション研究

Blender データセットでアブレーション実験を実施しました論文の表 5 は、重要なアブレーション実験を示しています二重光線可視性分類器の結果を表 5 (1) に示します。二重光線可視性分類器の助けがなければ、光線表面距離フィールドは、新しい画角: 光線は適切な距離値を予測します (図 9 を参照)。

• 分類器の入力では、表 5 (2) および (3) に示すように、表面点の距離値が補助として選択されている場合、または入力表面点の座標が補助として選択されます。補助情報を提供しないと、分類器が取得する精度と F1 スコアが低くなり、その結果、光線表面距離ネットワークに提供される可視情報が不十分となり、不正確な距離値が予測されます。
  
• 表 5 (4) に示すように、一対の光線を非対称に入力することにより、トレーニングされた分類器の精度は高くなりますが、F1 スコアは低くなります。これは、この分類器が対称入力レイでトレーニングされた分類器よりも堅牢性が大幅に低いことを示しています。
  
• 
  他の切除手術については、論文および論文の付録でご覧いただけます

必要図 9 は、分類器を使用した場合と使用しない場合の視覚的な比較を示しています

4. 結論

レイベースのマルチビュー整合性フレームワークを使用する場合この方法により、三次元形状表現を効率的かつ正確に学習できるという結論が得られました。この論文では、単純な光線表面距離フィールドを使用して 3 次元形状の幾何学形状を表現し、新しい二重光線可視性分類器を使用してマルチビューの幾何学的一貫性をさらに達成しています。複数のデータセットでの実験により、RayDF メソッドが非常に高いレンダリング効率と優れたパフォーマンスを備えていることが証明されました。 RayDF フレームワークのさらなる拡張は歓迎されます。ホームページでさらに多くの視覚化結果を確認できます。

書き換える必要がある内容は次のとおりです: https://vlar-group.github.io/RayDF.html

#書き換える必要がある内容は次のとおりです: 元のリンク: https://mp.weixin.qq.com/s/dsrSHKT4NfgdDPYcKOhcOA

以上が新タイトル：リアルタイムレンダリングが進化！光線に基づく革新的な 3D 再構成手法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。