ホームページ > 記事 > テクノロジー周辺機器 > 新タイトル:リアルタイムレンダリングが進化!光線に基づく革新的な 3D 再構成手法
写真
論文リンク:https://arxiv.org/pdf/2310.19629
コードリンク:https://github.com/vLAR-group/RayDF
ホームページ: 書き換える必要があるコンテンツは次のとおりです: https://vlar-group.github.io/RayDF .html
書き換えられた内容: 実装方法:
RayDF の全体的なプロセスとコンポーネントは次のとおりです (図 1 を参照)
機械学習による正確かつ効率的な 3D 形状表現は、視覚やロボット工学の分野における多くの最先端のアプリケーションにおいて非常に重要です。ただし、3D 座標に基づく既存の暗黙的な式では、3D 形状を表現したり 2D 画像をレンダリングしたりするときに高価な計算コストが必要になりますが、これとは対照的に、レイベースの方法は 3D 形状を効率的に推論できます。ただし、既存の光線ベースの手法では、複数の視野角での幾何学的一貫性が考慮されていないため、未知の視野角で正確な幾何学的形状を復元することが困難です。 RayDF、マルチビューの幾何学的一貫性のためのレイベースの暗黙的な表現方法。この方法は、新しい二重光線可視性分類器とマルチビュー一貫性最適化モジュール (最適化モジュール)
を導入することにより、単純な光線表面距離フィールドに基づいており、幾何学的条件を満たす光線表面距離を取得する方法を学習します。複数の視野角の一貫性。実験結果は、修正された方法が 3 つのデータセットで優れた 3D 表面再構成パフォーマンスを達成し、座標ベースの方法よりも 1000 倍速いレンダリング速度を達成することを示しています (表 1 を参照)。
主な貢献は次のとおりです:
光線表面距離フィールドを使用して 3 次元形状を表現し、この式は、既存の座標ベースの表現よりも効率的です。
図 2 光線パラメータ化と光線表面距離フィールドのネットワーク構造
2.2 二重光線可視性分類子このメソッドでは、の補助ネットワークは、2 つの入力レイが同時に表面点を認識できるかどうかを予測するバイナリ分類器です。図 3 に示すように、2 つの入力レイから取得された特徴は平均化され、予測結果が 2 つのレイの順序によって影響を受けないようになっています。同時に、表面点を個別にエンコードすることによって得られた特徴は、光線特徴の後に結合されて光線特徴が強化され、それによって分類器の精度が向上します。デュアルレイ可視性分類器のフレームワーク構造を図 3 に示します。
2.3 マルチビュー一貫性の最適化設計されたメインネットワークの光線表面距離ネットワークと補助ネットワークの二重光線可視性分類器を基礎として使用し、マルチビュー一貫性最適化の主要モジュールを導入して、2つのネットワーク上で2段階のトレーニングを実行します。(1) まず、補助ネットワーク デュアルレイ可視性分類器のトレーニング用のレイ ペアを構築します。画像内の光線 (画像内のピクセルに対応) の場合、対応する空間表面点はその光線表面距離によってわかります。それをトレーニング セット内の残りの視野角に投影して別の光線を取得し、この光線を取得します。対応する光線と表面の距離があり、この記事では 2 つの光線が互いに見えるかどうかを判断するためのしきい値を 10 mm に設定しています。
(2) 第 2 段階は、メイン ネットワークの光線表面距離ネットワークをトレーニングして、その予測距離フィールドがマルチビューの一貫性を満たすようにすることです。図 4 に示すように、主光線とその表面点の場合、表面点は球の中心で均一にサンプリングされ、いくつかのマルチビュー光線が得られます。メイン レイとこれらのマルチビュー レイを 1 つずつペアにすると、トレーニングされたデュアルレイ可視性分類器を通じて相互の可視性を取得できます。次に、光線-表面距離ネットワークを通じてこれらの光線の光線-表面距離を予測します。主光線と特定のサンプリング光線が相互に見える場合、2 つの光線の光線-表面距離によって計算された表面点は同じになるはずです。ポイント; によると、対応する損失関数が設計され、メイン ネットワークがトレーニングされ、最終的に光線表面距離フィールドがマルチビューの一貫性を満たすことが可能になります。
シーン表面の端の深度値には突然変異 (不連続性) があることが多く、神経的なネットワークは連続関数であるため、前述の光線表面距離フィールドでは、表面のエッジでの不正確な距離値が容易に予測され、その結果、エッジの幾何学的表面にノイズが発生します。幸いなことに、図 5 に示すように、設計された光線表面距離フィールドには優れた特徴があります。推定された各 3 次元表面点の法線ベクトルは、ネットワークの自動微分を通じて閉じた形式で簡単に見つけることができます。したがって、ネットワークの推論段階で表面点の法線ベクトルユークリッド距離を計算することができ、その距離値が閾値よりも大きい場合、表面点を外れ値とみなし除去することで、きれいな三次元再構成表面を得ることができます。 。
#図 5 表面法線計算3. 実験提案手法の有効性を検証するため、実験を行った。 3 つのデータセットに対して実験が行われました。 3 つのデータ セットは、オブジェクト レベルの合成データ セット Blender [1]、シーン レベルの合成データ セット DM-SR [2]、およびシーン レベルの実データ セット ScanNet [3] です。パフォーマンスを比較するために 7 つのベースラインを選択しました。このうち、OF [4]/DeepSDF [5]/NDF [6]/NeuS [7] は座標ベースのレベルセット方式、DS-NeRF [8] は深度教師あり NeRF ベースの方式、LFN [ 9] と PRIF [10] は、2 つのレイベースのベースラインです。RayDF メソッドは、テクスチャを学習するために放射ブランチを直接追加するのが簡単であるため、放射フィールドの予測をサポートするベースライン モデルと比較できます。したがって、この論文の比較実験は 2 つのグループに分けられ、最初のグループ (グループ 1) は距離 (ジオメトリ) のみを予測し、2 番目のグループ (グループ 2) は距離と放射輝度の両方 (ジオメトリとテクスチャ) を予測します 3.1 Blender データセットの評価表 2 と図 6 からわかるように、グループ 1 と 2 では、RayDF は表面再構成、特に最も重要な ADE 指標で優れた結果を達成しました。およびレイベースのベースライン。同時に、RayDF は、放射輝度場レンダリングの点で、DS-NeRF に匹敵し、LFN や PRIF を上回るパフォーマンスも達成しました。 #図 6 Blender データセットの視覚的比較3.2 DM-SR での評価データセット
図 7 DM-SR データ セットの視覚的比較
表 4 は、困難な現実世界のシナリオにおける RayDF とベースラインのパフォーマンスを比較しています。最初と 2 番目のグループでは、RayDF はほぼすべての評価指標でベースラインを大幅に上回り、複雑な現実世界の 3D シーンの回復において明らかな利点を示しています
##以下は、図 8 ScanNet データセットの視覚的な比較を書き直したものです。 図 8 に、ScanNet データセットの視覚的な比較結果を示します
Blender データセットでアブレーション実験を実施しました論文の表 5 は、重要なアブレーション実験を示しています二重光線可視性分類器の結果を表 5 (1) に示します。二重光線可視性分類器の助けがなければ、光線表面距離フィールドは、新しい画角: 光線は適切な距離値を予測します (図 9 を参照)。
必要図 9 は、分類器を使用した場合と使用しない場合の視覚的な比較を示しています
4. 結論レイベースのマルチビュー整合性フレームワークを使用する場合この方法により、三次元形状表現を効率的かつ正確に学習できるという結論が得られました。この論文では、単純な光線表面距離フィールドを使用して 3 次元形状の幾何学形状を表現し、新しい二重光線可視性分類器を使用してマルチビューの幾何学的一貫性をさらに達成しています。複数のデータセットでの実験により、RayDF メソッドが非常に高いレンダリング効率と優れたパフォーマンスを備えていることが証明されました。 RayDF フレームワークのさらなる拡張は歓迎されます。ホームページでさらに多くの視覚化結果を確認できます。書き換える必要がある内容は次のとおりです: https://vlar-group.github.io/RayDF.html#書き換える必要がある内容は次のとおりです: 元のリンク: https://mp.weixin.qq.com/s/dsrSHKT4NfgdDPYcKOhcOA
以上が新タイトル:リアルタイムレンダリングが進化!光線に基づく革新的な 3D 再構成手法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。