検索
ホームページテクノロジー周辺機器AIシングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

現在、3D 画像再構成作業では通常、一定の自然光条件下で対象シーンを複数の視点 (マルチビュー) から捉える多視点ステレオ再構成手法 (Multi-view Stereo) が使用されています。ただし、これらの方法は通常、ランバート曲面を前提としており、高周波の詳細を復元するのが困難です。

シーン再構成のもう 1 つの方法は、固定視点で異なる点光源からキャプチャされた画像を利用することです。たとえば、フォトメトリック ステレオ法では、この設定を採用し、そのシェーディング情報を使用して、非ランバーシアン オブジェクトの表面の詳細を再構成します。ただし、既存のシングルビュー手法は通常、可視表面を表現するために法線マップまたは深度マップを使用するため、オブジェクトの裏側や遮蔽された領域を記述することができず、2.5D シーン ジオメトリのみを再構築できます。さらに、法線マップは深度の不連続性を処理できません。

最近の研究では、香港大学、香港中文大学 (深セン)、南洋理工大学、MIT-IBM Watson AI Lab の研究者が、次の方法を提案しました。単一のビュー マルチライト (シングルビュー、マルチライト) イメージを使用して、完全な 3D シーンを再構築します。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。


  • 論文リンク: https://arxiv.org/abs/2210.08936
  • ペーパーホームページ: https://ywq.github.io/s3nerf/
  • コードリンク: https://github.com/ywq/s3nerf

法線マップや深度マップに基づく既存の単一ビューのアプローチとは異なり、## 3-NeRF はニューラル シーン表現に基づいており、シーン内のシェーディングとシャドウ情報を使用して 3D シーン全体 (可視/不可視領域を含む) を再構築します。ニューラル シーン表現方法では、多層パーセプトロン (MLP) を使用して連続 3D 空間をモデル化し、3D ポイントを密度、色などのシーン属性にマッピングします。ニューラル シーン表現は、マルチビューの再構築と新しいビューの合成において大幅な進歩を遂げましたが、シングルビュー シーン モデリングではあまり研究されていません。マルチビューの写真の一貫性に依存する既存のニューラル シーン表現ベースの手法とは異なり、S3-NeRF は主に、単一ビューの下でシェーディングとシャドウ情報を利用することで神経野を最適化します。

光源の位置情報を入力として NeRF に直接導入するだけでは、シーンのジオメトリと外観を再構成できないことがわかりました。キャプチャされたフォトメトリック ステレオ イメージをより有効に活用するために、反射フィールドを使用して表面ジオメトリと BRDF を明示的にモデル化し、物理ベースのレンダリングを使用して、ステレオ レンダリングによって取得されるシーンの 3D ポイントの色を計算します。光線に対応する 2 次元ピクセル。同時に、シーンの可視性の微分可能なモデリングを実行し、3D ポイントと光源の間の光線を追跡することによってポイントの可視性を計算します。ただし、レイ上のすべてのサンプル ポイントの可視性を考慮すると計算コストがかかるため、レイ トレーシングによって取得された表面ポイントの可視性を計算することによってシャドウ モデリングを最適化します。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。ニューラル反射フィールドに基づくシーン表現

UNISURF と同様の占有フィールドを使用してシーン ジオメトリを表現します。 UNISURF は、MLP を通じて 3D ポイント座標と視線方向をポイントの占有値と色にマッピングし、ステレオ レンダリングを通じてピクセルの色を取得します。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

N

v# は、各レイのサンプリング ポイントの数です。

フォトメトリック ステレオ イメージのシェーディング情報を効果的に利用するために、S

3-NeRF はシーンの BRDF を明示的にモデル化し、物理ベースのレンダリング カラーを使用します。 3D ポイント。同時に、画像内の豊かな影の手がかりを活用するためにシーン内の 3D ポイントの光の可視性をモデル化し、次の式を通じて最終的なピクセル値を取得します。

物理ベースのレンダリング モデル

私たちのアプローチでは、非ランバート曲面と空間的に変化する BRDF を考慮しています。近視野点光源(pl, Le)下で視線方向dから観測した点xの値は

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

#と表せます。 #ここで、点光源の光減衰問題については、点に入射する光の強度は、光源と点の間の距離によって計算されます。拡散反射と鏡面反射を考慮した BRDF モデルを使用します。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

球ガウス基底の重み付けされた組み合わせを通じて鏡面反射率を表します

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

シャドウ モデリング

シャドウは、シーン ジオメトリの再構築における重要な手がかりの 1 つです。写真にある 3 つのオブジェクトは、正面から見ると同じ形状と外観をしていますが、背面の形状が異なります。異なる照明の下で生成される影を通して、影の形状が異なることが観察できます。これは、正面図の目に見えない領域の幾何学的情報を反映しています。光は、背景に反射する影を通して、オブジェクトの背面輪郭に特定の制約を作成します。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

#3D ポイントと光源の間の占有値を計算することで、ポイントの光の可視性を反映します

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

このうち、NL は点光源線分上でサンプリングされた点の数です。 。

すべての Nv 点の可視性を計算するには多大なコストがかかるため、光線に沿ったピクセル ポイントによってサンプリングされます (O (N#) ##vNL))、一部の既存のメソッドは MLP を使用してポイントの可視性を直接返します (O (N#) ##v ))、またはシーン ジオメトリを取得した後にサーフェス ポイントを事前抽出します (O (NL))。 S3-NeRF は、ルート探索によって特定された表面点を通じてピクセルの光の可視度をオンラインで計算し、ピクセル値を次の式で表します。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。 シーンの最適化

私たちの方法は影の監視を必要とせず、画像に依存します。最適化のための再構成損失。単一のパースペクティブに他のパースペクティブによってもたらされる追加の制約がないことを考慮すると、UNISURF のようなサンプリング戦略を採用してサンプリング範囲を徐々に縮小すると、サンプリング間隔が短縮された後にモデルの劣化が始まります。したがって、ジョイントステレオレンダリングとサーフェスレンダリングの戦略を採用し、ルートファインディングを使用して色をレンダリングし、L1損失を計算するサーフェスポイントを見つけます。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。実験結果

神経放射線場法との比較

まず、神経放射線場に基づく 2 つのベースライン手法と比較します (タスクが異なるため、カラー MLP に光源情報を導入します)。シーンのジオメトリを再構築したり、新しい照明の下で影を正確に生成したりできないことがわかります。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

単視点形状推定手法との比較

今と今単一ビューの法線/深さ推定方法の比較から、私たちの方法が法線推定と深さ推定の両方で最良の結果を達成し、シーン内の可視領域と不可視領域を同時に再構築できることがわかります。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

#さまざまな背景に対するシーンの再構築

私たちの手法はさまざまな背景に適用できます。背景条件が異なるシーン。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

#新しいビューのレンダリング、照明の変更、マテリアルの編集

ニューラル ベース反射フィールドのシーン モデリングでは、シーンのジオメトリ/マテリアル/照明などを分離することに成功したため、新しいビューのレンダリング、シーンの照明の変更、マテリアルの編集などのアプリケーションに適用できます。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

##実際の撮影シーンの再構築

探索するために 3 つの実際のシナリオを撮影しましたその実用性。カメラの位置を固定し、携帯電話の懐中電灯を点光源として使用し(周囲光源はオフ)、手持ちの懐中電灯をランダムに動かしてさまざまな光源の下で画像を撮影しました。この設定では光源のキャリブレーションは必要ありません。SDPS‑Net を適用して光源の方向を大まかに推定し、カメラとオブジェクト、および光源とオブジェクトの相対距離を大まかに推定することで光源の位置を初期化します。光源の位置は、トレーニング中にシーンのジオメトリおよび BRDF と共同して最適化されます。よりカジュアルなデータ キャプチャ設定 (光源のキャリブレーションなし) であっても、私たちの方法は 3D シーンのジオメトリを適切に再構築できることがわかります。

#概要

S

    3
  • -単一のビューを使用して複数の点光源の下でキャプチャされた NeRF 画像神経反射場を最適化して、3D シーンのジオメトリとマテリアル情報を再構築します。 シェーディングとシャドウの手がかりを利用することで、S
  • 3
  • -NeRF はシーン内の可視/不可視領域のジオメトリを効果的に復元でき、次のことを実現します。単眼視点からの完全なシーン ジオメトリ/BRDF の再構築。 さまざまな実験により、私たちの方法がさまざまな複雑な形状/材料のシーンを再構成でき、さまざまな形状/材料の背景および異なる光量/光源分布に対処できることが示されています。

以上がシングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事は51CTO.COMで複製されています。侵害がある場合は、admin@php.cn までご連絡ください。
Huggingface smollmであなたの個人的なAIアシスタントを構築する方法Huggingface smollmであなたの個人的なAIアシスタントを構築する方法Apr 18, 2025 am 11:52 AM

オンデバイスAIの力を活用:個人的なチャットボットCLIの構築 最近では、個人的なAIアシスタントの概念はサイエンスフィクションのように見えました。 ハイテク愛好家のアレックスを想像して、賢くて地元のAI仲間を夢見ています。

メンタルヘルスのためのAIは、スタンフォード大学でのエキサイティングな新しいイニシアチブによって注意深く分析されますメンタルヘルスのためのAIは、スタンフォード大学でのエキサイティングな新しいイニシアチブによって注意深く分析されますApr 18, 2025 am 11:49 AM

AI4MHの最初の発売は2025年4月15日に開催され、有名な精神科医および神経科学者であるLuminary Dr. Tom Insel博士がキックオフスピーカーを務めました。 Insel博士は、メンタルヘルス研究とテクノでの彼の傑出した仕事で有名です

2025年のWNBAドラフトクラスは、成長し、オンラインハラスメントの成長と戦いに参加します2025年のWNBAドラフトクラスは、成長し、オンラインハラスメントの成長と戦いに参加しますApr 18, 2025 am 11:44 AM

「私たちは、WNBAが、すべての人、プレイヤー、ファン、企業パートナーが安全であり、大切になり、力を与えられたスペースであることを保証したいと考えています」とエンゲルバートは述べ、女性のスポーツの最も有害な課題の1つになったものに取り組んでいます。 アノ

Pythonビルトインデータ構造の包括的なガイド-AnalyticsVidhyaPythonビルトインデータ構造の包括的なガイド-AnalyticsVidhyaApr 18, 2025 am 11:43 AM

導入 Pythonは、特にデータサイエンスと生成AIにおいて、プログラミング言語として優れています。 大規模なデータセットを処理する場合、効率的なデータ操作(ストレージ、管理、アクセス)が重要です。 以前に数字とstをカバーしてきました

Openaiの新しいモデルからの代替案からの第一印象Openaiの新しいモデルからの代替案からの第一印象Apr 18, 2025 am 11:41 AM

潜る前に、重要な注意事項:AIパフォーマンスは非決定論的であり、非常にユースケース固有です。簡単に言えば、走行距離は異なる場合があります。この(または他の)記事を最終的な単語として撮影しないでください。これらのモデルを独自のシナリオでテストしないでください

AIポートフォリオ| AIキャリアのためにポートフォリオを構築する方法は?AIポートフォリオ| AIキャリアのためにポートフォリオを構築する方法は?Apr 18, 2025 am 11:40 AM

傑出したAI/MLポートフォリオの構築:初心者と専門家向けガイド 説得力のあるポートフォリオを作成することは、人工知能(AI)と機械学習(ML)で役割を確保するために重要です。 このガイドは、ポートフォリオを構築するためのアドバイスを提供します

エージェントAIがセキュリティ運用にとって何を意味するのかエージェントAIがセキュリティ運用にとって何を意味するのかApr 18, 2025 am 11:36 AM

結果?燃え尽き症候群、非効率性、および検出とアクションの間の隙間が拡大します。これは、サイバーセキュリティで働く人にとってはショックとしてはありません。 しかし、エージェントAIの約束は潜在的なターニングポイントとして浮上しています。この新しいクラス

Google対Openai:学生のためのAIの戦いGoogle対Openai:学生のためのAIの戦いApr 18, 2025 am 11:31 AM

即時の影響と長期パートナーシップ? 2週間前、Openaiは強力な短期オファーで前進し、2025年5月末までに米国およびカナダの大学生にChatGpt Plusに無料でアクセスできます。このツールにはGPT ‑ 4o、Aが含まれます。

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

SecLists

SecLists

SecLists は、セキュリティ テスターの究極の相棒です。これは、セキュリティ評価中に頻繁に使用されるさまざまな種類のリストを 1 か所にまとめたものです。 SecLists は、セキュリティ テスターが必要とする可能性のあるすべてのリストを便利に提供することで、セキュリティ テストをより効率的かつ生産的にするのに役立ちます。リストの種類には、ユーザー名、パスワード、URL、ファジング ペイロード、機密データ パターン、Web シェルなどが含まれます。テスターはこのリポジトリを新しいテスト マシンにプルするだけで、必要なあらゆる種類のリストにアクセスできるようになります。

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

AtomエディタMac版ダウンロード

AtomエディタMac版ダウンロード

最も人気のあるオープンソースエディター

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

このプロジェクトは osdn.net/projects/mingw に移行中です。引き続きそこでフォローしていただけます。 MinGW: GNU Compiler Collection (GCC) のネイティブ Windows ポートであり、ネイティブ Windows アプリケーションを構築するための自由に配布可能なインポート ライブラリとヘッダー ファイルであり、C99 機能をサポートする MSVC ランタイムの拡張機能が含まれています。すべての MinGW ソフトウェアは 64 ビット Windows プラットフォームで実行できます。