検索
ホームページテクノロジー周辺機器AIシングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

現在、3D 画像再構成作業では通常、一定の自然光条件下で対象シーンを複数の視点 (マルチビュー) から捉える多視点ステレオ再構成手法 (Multi-view Stereo) が使用されています。ただし、これらの方法は通常、ランバート曲面を前提としており、高周波の詳細を復元するのが困難です。

シーン再構成のもう 1 つの方法は、固定視点で異なる点光源からキャプチャされた画像を利用することです。たとえば、フォトメトリック ステレオ法では、この設定を採用し、そのシェーディング情報を使用して、非ランバーシアン オブジェクトの表面の詳細を再構成します。ただし、既存のシングルビュー手法は通常、可視表面を表現するために法線マップまたは深度マップを使用するため、オブジェクトの裏側や遮蔽された領域を記述することができず、2.5D シーン ジオメトリのみを再構築できます。さらに、法線マップは深度の不連続性を処理できません。

最近の研究では、香港大学、香港中文大学 (深セン)、南洋理工大学、MIT-IBM Watson AI Lab の研究者が、次の方法を提案しました。単一のビュー マルチライト (シングルビュー、マルチライト) イメージを使用して、完全な 3D シーンを再構築します。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。


  • 論文リンク: https://arxiv.org/abs/2210.08936
  • ペーパーホームページ: https://ywq.github.io/s3nerf/
  • コードリンク: https://github.com/ywq/s3nerf

法線マップや深度マップに基づく既存の単一ビューのアプローチとは異なり、## 3-NeRF はニューラル シーン表現に基づいており、シーン内のシェーディングとシャドウ情報を使用して 3D シーン全体 (可視/不可視領域を含む) を再構築します。ニューラル シーン表現方法では、多層パーセプトロン (MLP) を使用して連続 3D 空間をモデル化し、3D ポイントを密度、色などのシーン属性にマッピングします。ニューラル シーン表現は、マルチビューの再構築と新しいビューの合成において大幅な進歩を遂げましたが、シングルビュー シーン モデリングではあまり研究されていません。マルチビューの写真の一貫性に依存する既存のニューラル シーン表現ベースの手法とは異なり、S3-NeRF は主に、単一ビューの下でシェーディングとシャドウ情報を利用することで神経野を最適化します。

光源の位置情報を入力として NeRF に直接導入するだけでは、シーンのジオメトリと外観を再構成できないことがわかりました。キャプチャされたフォトメトリック ステレオ イメージをより有効に活用するために、反射フィールドを使用して表面ジオメトリと BRDF を明示的にモデル化し、物理ベースのレンダリングを使用して、ステレオ レンダリングによって取得されるシーンの 3D ポイントの色を計算します。光線に対応する 2 次元ピクセル。同時に、シーンの可視性の微分可能なモデリングを実行し、3D ポイントと光源の間の光線を追跡することによってポイントの可視性を計算します。ただし、レイ上のすべてのサンプル ポイントの可視性を考慮すると計算コストがかかるため、レイ トレーシングによって取得された表面ポイントの可視性を計算することによってシャドウ モデリングを最適化します。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。ニューラル反射フィールドに基づくシーン表現

UNISURF と同様の占有フィールドを使用してシーン ジオメトリを表現します。 UNISURF は、MLP を通じて 3D ポイント座標と視線方向をポイントの占有値と色にマッピングし、ステレオ レンダリングを通じてピクセルの色を取得します。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

N

v# は、各レイのサンプリング ポイントの数です。

フォトメトリック ステレオ イメージのシェーディング情報を効果的に利用するために、S

3-NeRF はシーンの BRDF を明示的にモデル化し、物理ベースのレンダリング カラーを使用します。 3D ポイント。同時に、画像内の豊かな影の手がかりを活用するためにシーン内の 3D ポイントの光の可視性をモデル化し、次の式を通じて最終的なピクセル値を取得します。

物理ベースのレンダリング モデル

私たちのアプローチでは、非ランバート曲面と空間的に変化する BRDF を考慮しています。近視野点光源(pl, Le)下で視線方向dから観測した点xの値は

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

#と表せます。 #ここで、点光源の光減衰問題については、点に入射する光の強度は、光源と点の間の距離によって計算されます。拡散反射と鏡面反射を考慮した BRDF モデルを使用します。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

球ガウス基底の重み付けされた組み合わせを通じて鏡面反射率を表します

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

シャドウ モデリング

シャドウは、シーン ジオメトリの再構築における重要な手がかりの 1 つです。写真にある 3 つのオブジェクトは、正面から見ると同じ形状と外観をしていますが、背面の形状が異なります。異なる照明の下で生成される影を通して、影の形状が異なることが観察できます。これは、正面図の目に見えない領域の幾何学的情報を反映しています。光は、背景に反射する影を通して、オブジェクトの背面輪郭に特定の制約を作成します。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

#3D ポイントと光源の間の占有値を計算することで、ポイントの光の可視性を反映します

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

このうち、NL は点光源線分上でサンプリングされた点の数です。 。

すべての Nv 点の可視性を計算するには多大なコストがかかるため、光線に沿ったピクセル ポイントによってサンプリングされます (O (N#) ##vNL))、一部の既存のメソッドは MLP を使用してポイントの可視性を直接返します (O (N#) ##v ))、またはシーン ジオメトリを取得した後にサーフェス ポイントを事前抽出します (O (NL))。 S3-NeRF は、ルート探索によって特定された表面点を通じてピクセルの光の可視度をオンラインで計算し、ピクセル値を次の式で表します。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。 シーンの最適化

私たちの方法は影の監視を必要とせず、画像に依存します。最適化のための再構成損失。単一のパースペクティブに他のパースペクティブによってもたらされる追加の制約がないことを考慮すると、UNISURF のようなサンプリング戦略を採用してサンプリング範囲を徐々に縮小すると、サンプリング間隔が短縮された後にモデルの劣化が始まります。したがって、ジョイントステレオレンダリングとサーフェスレンダリングの戦略を採用し、ルートファインディングを使用して色をレンダリングし、L1損失を計算するサーフェスポイントを見つけます。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。実験結果

神経放射線場法との比較

まず、神経放射線場に基づく 2 つのベースライン手法と比較します (タスクが異なるため、カラー MLP に光源情報を導入します)。シーンのジオメトリを再構築したり、新しい照明の下で影を正確に生成したりできないことがわかります。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

単視点形状推定手法との比較

今と今単一ビューの法線/深さ推定方法の比較から、私たちの方法が法線推定と深さ推定の両方で最良の結果を達成し、シーン内の可視領域と不可視領域を同時に再構築できることがわかります。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

#さまざまな背景に対するシーンの再構築

私たちの手法はさまざまな背景に適用できます。背景条件が異なるシーン。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

#新しいビューのレンダリング、照明の変更、マテリアルの編集

ニューラル ベース反射フィールドのシーン モデリングでは、シーンのジオメトリ/マテリアル/照明などを分離することに成功したため、新しいビューのレンダリング、シーンの照明の変更、マテリアルの編集などのアプリケーションに適用できます。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

##実際の撮影シーンの再構築

探索するために 3 つの実際のシナリオを撮影しましたその実用性。カメラの位置を固定し、携帯電話の懐中電灯を点光源として使用し(周囲光源はオフ)、手持ちの懐中電灯をランダムに動かしてさまざまな光源の下で画像を撮影しました。この設定では光源のキャリブレーションは必要ありません。SDPS‑Net を適用して光源の方向を大まかに推定し、カメラとオブジェクト、および光源とオブジェクトの相対距離を大まかに推定することで光源の位置を初期化します。光源の位置は、トレーニング中にシーンのジオメトリおよび BRDF と共同して最適化されます。よりカジュアルなデータ キャプチャ設定 (光源のキャリブレーションなし) であっても、私たちの方法は 3D シーンのジオメトリを適切に再構築できることがわかります。

#概要

S

    3
  • -単一のビューを使用して複数の点光源の下でキャプチャされた NeRF 画像神経反射場を最適化して、3D シーンのジオメトリとマテリアル情報を再構築します。 シェーディングとシャドウの手がかりを利用することで、S
  • 3
  • -NeRF はシーン内の可視/不可視領域のジオメトリを効果的に復元でき、次のことを実現します。単眼視点からの完全なシーン ジオメトリ/BRDF の再構築。 さまざまな実験により、私たちの方法がさまざまな複雑な形状/材料のシーンを再構成でき、さまざまな形状/材料の背景および異なる光量/光源分布に対処できることが示されています。

以上がシングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事は51CTO.COMで複製されています。侵害がある場合は、admin@php.cn までご連絡ください。
Gemma Scope:AI'の思考プロセスを覗くためのGoogle'の顕微鏡Gemma Scope:AI'の思考プロセスを覗くためのGoogle'の顕微鏡Apr 17, 2025 am 11:55 AM

ジェマの範囲で言語モデルの内部の仕組みを探る AI言語モデルの複雑さを理解することは、重要な課題です。 包括的なツールキットであるGemma ScopeのGoogleのリリースは、研究者に掘り下げる強力な方法を提供します

ビジネスインテリジェンスアナリストは誰で、どのようになるか?ビジネスインテリジェンスアナリストは誰で、どのようになるか?Apr 17, 2025 am 11:44 AM

ビジネスの成功のロック解除:ビジネスインテリジェンスアナリストになるためのガイド 生データを組織の成長を促進する実用的な洞察に変換することを想像してください。 これはビジネスインテリジェンス(BI)アナリストの力です - GUにおける重要な役割

SQLに列を追加する方法は? - 分析VidhyaSQLに列を追加する方法は? - 分析VidhyaApr 17, 2025 am 11:43 AM

SQLの変更テーブルステートメント:データベースに列を動的に追加する データ管理では、SQLの適応性が重要です。 その場でデータベース構造を調整する必要がありますか? Alter Tableステートメントはあなたの解決策です。このガイドの詳細は、コルを追加します

ビジネスアナリストとデータアナリストビジネスアナリストとデータアナリストApr 17, 2025 am 11:38 AM

導入 2人の専門家が重要なプロジェクトで協力している賑やかなオフィスを想像してください。 ビジネスアナリストは、会社の目標に焦点を当て、改善の分野を特定し、市場動向との戦略的整合を確保しています。 シム

ExcelのCountとCountaとは何ですか? - 分析VidhyaExcelのCountとCountaとは何ですか? - 分析VidhyaApr 17, 2025 am 11:34 AM

Excelデータカウントと分析:カウントとカウントの機能の詳細な説明 特に大規模なデータセットを使用する場合、Excelでは、正確なデータカウントと分析が重要です。 Excelは、これを達成するためにさまざまな機能を提供し、CountおよびCounta関数は、さまざまな条件下でセルの数をカウントするための重要なツールです。両方の機能はセルをカウントするために使用されますが、設計ターゲットは異なるデータ型をターゲットにしています。 CountおよびCounta機能の特定の詳細を掘り下げ、独自の機能と違いを強調し、データ分析に適用する方法を学びましょう。 キーポイントの概要 カウントとcouを理解します

ChromeはAIと一緒にここにいます:毎日何か新しいことを体験してください!!ChromeはAIと一緒にここにいます:毎日何か新しいことを体験してください!!Apr 17, 2025 am 11:29 AM

Google Chrome'sAI Revolution:パーソナライズされた効率的なブラウジングエクスペリエンス 人工知能(AI)は私たちの日常生活を急速に変換しており、Google ChromeはWebブラウジングアリーナで料金をリードしています。 この記事では、興奮を探ります

ai' s Human Side:Wellbeing and the Quadruple bottuntai' s Human Side:Wellbeing and the Quadruple bottuntApr 17, 2025 am 11:28 AM

インパクトの再考:四重材のボトムライン 長い間、会話はAIの影響の狭い見方に支配されており、主に利益の最終ラインに焦点を当てています。ただし、より全体的なアプローチは、BUの相互接続性を認識しています

5ゲームを変える量子コンピューティングの使用ケースあなたが知っておくべきである5ゲームを変える量子コンピューティングの使用ケースあなたが知っておくべきであるApr 17, 2025 am 11:24 AM

物事はその点に向かって着実に動いています。量子サービスプロバイダーとスタートアップに投資する投資は、業界がその重要性を理解していることを示しています。そして、その価値を示すために、現実世界のユースケースの数が増えています

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

このプロジェクトは osdn.net/projects/mingw に移行中です。引き続きそこでフォローしていただけます。 MinGW: GNU Compiler Collection (GCC) のネイティブ Windows ポートであり、ネイティブ Windows アプリケーションを構築するための自由に配布可能なインポート ライブラリとヘッダー ファイルであり、C99 機能をサポートする MSVC ランタイムの拡張機能が含まれています。すべての MinGW ソフトウェアは 64 ビット Windows プラットフォームで実行できます。

EditPlus 中国語クラック版

EditPlus 中国語クラック版

サイズが小さく、構文の強調表示、コード プロンプト機能はサポートされていません

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

SublimeText3 Linux 新バージョン

SublimeText3 Linux 新バージョン

SublimeText3 Linux 最新バージョン

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境