初心者にとって必須の NeRF 学習ノートは、すべてについての洞察を提供します。

神経放射場とは正確には何ですか?

放射場: 光源から発せられた光は、シーン内の伝播と反射のプロセス中に形成されます。 エネルギー分配。平たく言えば、空間上の特定の場所、特定の方向の放射線情報（エネルギー分布）を記録する機能で、実際には色や明るさ、影などの情報が放射線情報（エネルギー分布）となります。ここでの 方向 には特別な注意が必要です。これは NeRF が真の再構築を達成するための重要な要素の 1 つです。

これは、神経放射線場の概念につながります。
神経放射線フィールド: ニューラル ネットワークを使用して、 空間 位置 の任意の 方向 の放射線を保存します。原文の説明は次のとおりです。

より標準化された式は次のように表されます。

入力3D 位置 (x、y、z) と 2D 視野角方向 ()、出力は色と体積密度です

NeRF 固有のネットワーク結果は、次のような原文を参照しています:

• 3D 座標 d は、RGB を予測するために fc (1 層、128 チャネル、ReLU アクティベーション) に送信されます。上記から、モデルが MLP に保存されているため、NeRF は暗黙的モデリングであることがわかります。MLP では、モデルは MLP のパラメータであり、これまでの点群やメッシュ モデリングとは異なります (点群/メッシュはモデルを直接見ることができます)。 。 NeRF は、3 次元の点を 1 つずつクエリしてから、それらを画像にレンダリングする必要があります。この
表示方法
• または
レンダリング方法

はボリューム レンダリングと呼ばれます。

ボリューム レンダリングについて説明する前に。まずネットワークの効果を見てみましょう:

見る角度によって色が異なることがわかります。これは、従来の再構成に対する NeRF の非常に重要な利点の 1 つです~

NeRF の核心: ボリューム レンダリング

NeRF ボリューム レンダリングの 2 番目の核心点に入りましょう。 。ボリューム レンダリングは、2D 画像に色と濃度をレンダリングするために使用される手法です。

模式図は次のとおりです: 図 a は、カメラの光学中心位置から光線が放出されていることを示しており、光線上にはサンプリング ポイントがあります。そして色と体積密度を取得するために指示が MLP に送信されます。図cはサンプリングにより得られた光線に沿った体積密度分布曲線であり、これを積分することで画素の色を求めることができます。このプロセスはボリューム レンダリングです。

ボリューム レンダリングの手順を要約すると、次のようになります。

各ピクセルを貫通する光線がカメラの光学中心から放射されます。 . 3 次元のサンプリング ポイントを取得します。

サンプリング ポイントの座標と視野角の方向を MLP に送信して、色と体積密度を計算します。

体積密度に応じて色情報を統合 (スタック) してフォームを作成します。 2D 画像

• ボリューム レンダリングの公式は次のとおりです。

もちろん、離散画像実際に使用される式のバージョン:

暗黙的再構成プロセス

神経放射線場とボリューム レンダリングについて説明した後、次は次のようになります。完全な再構築プロセスを開始します~

完成したパイプラインを形成する前に、解決する必要がある問題がまだ 2 つあります:

解決するには上記の 2 つの問題を解決するために、NeRF は位置エンコーディングと層化サンプリング プロセスを提案しました

位置コーディング:

この論文は、位置コーディングの効果の比較を視覚的に示しています:

位置コーディングがなければ、モデルは高周波の幾何学情報やテクスチャ情報を表現できないことがわかります~

多層の採用:

トレーニング プロセスは次のとおりです。

実験と概要

評価指標:

実験設定:

#実験結果は、さまざまな材質のボールの非点収差も良好に表現できることを示しています~

アブレーション実験:

要約

提案された神経放射線記事フィールドでは、サンプリング光線がカメラの光学中心からピクセルを通って放射され、光線上に点が取られ、その 3 次元位置と視線方向が MLP を使用してボリューム密度と色にマッピングされ、その後ボリューム レンダリングが行われます。サンプリング レイにボリューム密度とカラーをスタックするために使用され、ピクセル値を取得します。ピクセル値と GT 画像の間の誤差が計算され、MLP パラメータを最適化するために逆伝播されます。この論文では、このような陰的再構成法を使用して、フォトリアリスティックなモデルの再構成とレンダリングを実現します。

欠点:

レンダリングとトレーニングの速度が遅い;
• 視点の数と分布について高い要件がある;
• 背景やより大きなシーンを含めるために展開します。

元のリンク: https://mp.weixin.qq.com/s/ctDBTaLWuHTM9MONrAor4g

以上が初心者にとって必須の NeRF 学習ノートは、すべてについての洞察を提供します。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。