検索
ホームページテクノロジー周辺機器AIシングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

現在、3D 画像再構成作業では通常、一定の自然光条件下で対象シーンを複数の視点 (マルチビュー) から捉える多視点ステレオ再構成手法 (Multi-view Stereo) が使用されています。ただし、これらの方法は通常、ランバート曲面を前提としており、高周波の詳細を復元するのが困難です。

シーン再構成のもう 1 つの方法は、固定視点で異なる点光源からキャプチャされた画像を利用することです。たとえば、フォトメトリック ステレオ法では、この設定を採用し、そのシェーディング情報を使用して、非ランバーシアン オブジェクトの表面の詳細を再構成します。ただし、既存のシングルビュー手法は通常、可視表面を表現するために法線マップまたは深度マップを使用するため、オブジェクトの裏側や遮蔽された領域を記述することができず、2.5D シーン ジオメトリのみを再構築できます。さらに、法線マップは深度の不連続性を処理できません。

最近の研究では、香港大学、香港中文大学 (深セン)、南洋理工大学、MIT-IBM Watson AI Lab の研究者が、次の方法を提案しました。単一のビュー マルチライト (シングルビュー、マルチライト) イメージを使用して、完全な 3D シーンを再構築します。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。


  • 論文リンク: https://arxiv.org/abs/2210.08936
  • ペーパーホームページ: https://ywq.github.io/s3nerf/
  • コードリンク: https://github.com/ywq/s3nerf

法線マップや深度マップに基づく既存の単一ビューのアプローチとは異なり、## 3-NeRF はニューラル シーン表現に基づいており、シーン内のシェーディングとシャドウ情報を使用して 3D シーン全体 (可視/不可視領域を含む) を再構築します。ニューラル シーン表現方法では、多層パーセプトロン (MLP) を使用して連続 3D 空間をモデル化し、3D ポイントを密度、色などのシーン属性にマッピングします。ニューラル シーン表現は、マルチビューの再構築と新しいビューの合成において大幅な進歩を遂げましたが、シングルビュー シーン モデリングではあまり研究されていません。マルチビューの写真の一貫性に依存する既存のニューラル シーン表現ベースの手法とは異なり、S3-NeRF は主に、単一ビューの下でシェーディングとシャドウ情報を利用することで神経野を最適化します。

光源の位置情報を入力として NeRF に直接導入するだけでは、シーンのジオメトリと外観を再構成できないことがわかりました。キャプチャされたフォトメトリック ステレオ イメージをより有効に活用するために、反射フィールドを使用して表面ジオメトリと BRDF を明示的にモデル化し、物理ベースのレンダリングを使用して、ステレオ レンダリングによって取得されるシーンの 3D ポイントの色を計算します。光線に対応する 2 次元ピクセル。同時に、シーンの可視性の微分可能なモデリングを実行し、3D ポイントと光源の間の光線を追跡することによってポイントの可視性を計算します。ただし、レイ上のすべてのサンプル ポイントの可視性を考慮すると計算コストがかかるため、レイ トレーシングによって取得された表面ポイントの可視性を計算することによってシャドウ モデリングを最適化します。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。ニューラル反射フィールドに基づくシーン表現

UNISURF と同様の占有フィールドを使用してシーン ジオメトリを表現します。 UNISURF は、MLP を通じて 3D ポイント座標と視線方向をポイントの占有値と色にマッピングし、ステレオ レンダリングを通じてピクセルの色を取得します。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

N

v# は、各レイのサンプリング ポイントの数です。

フォトメトリック ステレオ イメージのシェーディング情報を効果的に利用するために、S

3-NeRF はシーンの BRDF を明示的にモデル化し、物理ベースのレンダリング カラーを使用します。 3D ポイント。同時に、画像内の豊かな影の手がかりを活用するためにシーン内の 3D ポイントの光の可視性をモデル化し、次の式を通じて最終的なピクセル値を取得します。

物理ベースのレンダリング モデル

私たちのアプローチでは、非ランバート曲面と空間的に変化する BRDF を考慮しています。近視野点光源(pl, Le)下で視線方向dから観測した点xの値は

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

#と表せます。 #ここで、点光源の光減衰問題については、点に入射する光の強度は、光源と点の間の距離によって計算されます。拡散反射と鏡面反射を考慮した BRDF モデルを使用します。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

球ガウス基底の重み付けされた組み合わせを通じて鏡面反射率を表します

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

シャドウ モデリング

シャドウは、シーン ジオメトリの再構築における重要な手がかりの 1 つです。写真にある 3 つのオブジェクトは、正面から見ると同じ形状と外観をしていますが、背面の形状が異なります。異なる照明の下で生成される影を通して、影の形状が異なることが観察できます。これは、正面図の目に見えない領域の幾何学的情報を反映しています。光は、背景に反射する影を通して、オブジェクトの背面輪郭に特定の制約を作成します。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

#3D ポイントと光源の間の占有値を計算することで、ポイントの光の可視性を反映します

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

このうち、NL は点光源線分上でサンプリングされた点の数です。 。

すべての Nv 点の可視性を計算するには多大なコストがかかるため、光線に沿ったピクセル ポイントによってサンプリングされます (O (N#) ##vNL))、一部の既存のメソッドは MLP を使用してポイントの可視性を直接返します (O (N#) ##v ))、またはシーン ジオメトリを取得した後にサーフェス ポイントを事前抽出します (O (NL))。 S3-NeRF は、ルート探索によって特定された表面点を通じてピクセルの光の可視度をオンラインで計算し、ピクセル値を次の式で表します。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。 シーンの最適化

私たちの方法は影の監視を必要とせず、画像に依存します。最適化のための再構成損失。単一のパースペクティブに他のパースペクティブによってもたらされる追加の制約がないことを考慮すると、UNISURF のようなサンプリング戦略を採用してサンプリング範囲を徐々に縮小すると、サンプリング間隔が短縮された後にモデルの劣化が始まります。したがって、ジョイントステレオレンダリングとサーフェスレンダリングの戦略を採用し、ルートファインディングを使用して色をレンダリングし、L1損失を計算するサーフェスポイントを見つけます。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。実験結果

神経放射線場法との比較

まず、神経放射線場に基づく 2 つのベースライン手法と比較します (タスクが異なるため、カラー MLP に光源情報を導入します)。シーンのジオメトリを再構築したり、新しい照明の下で影を正確に生成したりできないことがわかります。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

単視点形状推定手法との比較

今と今単一ビューの法線/深さ推定方法の比較から、私たちの方法が法線推定と深さ推定の両方で最良の結果を達成し、シーン内の可視領域と不可視領域を同時に再構築できることがわかります。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

#さまざまな背景に対するシーンの再構築

私たちの手法はさまざまな背景に適用できます。背景条件が異なるシーン。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

#新しいビューのレンダリング、照明の変更、マテリアルの編集

ニューラル ベース反射フィールドのシーン モデリングでは、シーンのジオメトリ/マテリアル/照明などを分離することに成功したため、新しいビューのレンダリング、シーンの照明の変更、マテリアルの編集などのアプリケーションに適用できます。

シングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。

##実際の撮影シーンの再構築

探索するために 3 つの実際のシナリオを撮影しましたその実用性。カメラの位置を固定し、携帯電話の懐中電灯を点光源として使用し(周囲光源はオフ)、手持ちの懐中電灯をランダムに動かしてさまざまな光源の下で画像を撮影しました。この設定では光源のキャリブレーションは必要ありません。SDPS‑Net を適用して光源の方向を大まかに推定し、カメラとオブジェクト、および光源とオブジェクトの相対距離を大まかに推定することで光源の位置を初期化します。光源の位置は、トレーニング中にシーンのジオメトリおよび BRDF と共同して最適化されます。よりカジュアルなデータ キャプチャ設定 (光源のキャリブレーションなし) であっても、私たちの方法は 3D シーンのジオメトリを適切に再構築できることがわかります。

#概要

S

    3
  • -単一のビューを使用して複数の点光源の下でキャプチャされた NeRF 画像神経反射場を最適化して、3D シーンのジオメトリとマテリアル情報を再構築します。 シェーディングとシャドウの手がかりを利用することで、S
  • 3
  • -NeRF はシーン内の可視/不可視領域のジオメトリを効果的に復元でき、次のことを実現します。単眼視点からの完全なシーン ジオメトリ/BRDF の再構築。 さまざまな実験により、私たちの方法がさまざまな複雑な形状/材料のシーンを再構成でき、さまざまな形状/材料の背景および異なる光量/光源分布に対処できることが示されています。

以上がシングルビュー NeRF アルゴリズム S^3-NeRF は、マルチイルミネーション情報を使用してシーンのジオメトリとマテリアル情報を復元します。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事は51CTO.COMで複製されています。侵害がある場合は、admin@php.cn までご連絡ください。
ほとんどが使用されています10 Power BIチャート - 分析Vidhyaほとんどが使用されています10 Power BIチャート - 分析VidhyaApr 16, 2025 pm 12:05 PM

Microsoft PowerBIチャートでデータ視覚化の力を活用する 今日のデータ駆動型の世界では、複雑な情報を非技術的な視聴者に効果的に伝えることが重要です。 データの視覚化は、このギャップを橋渡しし、生データを変換するi

AIのエキスパートシステムAIのエキスパートシステムApr 16, 2025 pm 12:00 PM

エキスパートシステム:AIの意思決定力に深く飛び込みます 医療診断から財務計画まで、あらゆることに関する専門家のアドバイスにアクセスできることを想像してください。 それが人工知能の専門家システムの力です。 これらのシステムはプロを模倣します

3人の最高の雰囲気コーダーがこのAI革命をコードで分解する3人の最高の雰囲気コーダーがこのAI革命をコードで分解するApr 16, 2025 am 11:58 AM

まず第一に、これがすぐに起こっていることは明らかです。さまざまな企業が、現在AIによって書かれているコードの割合について話しており、これらは迅速なクリップで増加しています。すでに多くの仕事の移動があります

滑走路AIのGen-4:AIモンタージュはどのように不条理を超えることができますか滑走路AIのGen-4:AIモンタージュはどのように不条理を超えることができますかApr 16, 2025 am 11:45 AM

映画業界は、デジタルマーケティングからソーシャルメディアまで、すべてのクリエイティブセクターとともに、技術的な岐路に立っています。人工知能が視覚的なストーリーテリングのあらゆる側面を再構築し始め、エンターテイメントの風景を変え始めたとき

5日間のISRO AI無料コースを登録する方法は? - 分析Vidhya5日間のISRO AI無料コースを登録する方法は? - 分析VidhyaApr 16, 2025 am 11:43 AM

ISROの無料AI/MLオンラインコース:地理空間技術の革新へのゲートウェイ インド宇宙研究機関(ISRO)は、インドのリモートセンシング研究所(IIRS)を通じて、学生と専門家に素晴らしい機会を提供しています。

AIのローカル検索アルゴリズムAIのローカル検索アルゴリズムApr 16, 2025 am 11:40 AM

ローカル検索アルゴリズム:包括的なガイド 大規模なイベントを計画するには、効率的なワークロード分布が必要です。 従来のアプローチが失敗すると、ローカル検索アルゴリズムは強力なソリューションを提供します。 この記事では、Hill ClimbingとSimulについて説明します

OpenaiはGPT-4.1でフォーカスをシフトし、コーディングとコスト効率を優先しますOpenaiはGPT-4.1でフォーカスをシフトし、コーディングとコスト効率を優先しますApr 16, 2025 am 11:37 AM

このリリースには、GPT-4.1、GPT-4.1 MINI、およびGPT-4.1 NANOの3つの異なるモデルが含まれており、大規模な言語モデルのランドスケープ内のタスク固有の最適化への動きを示しています。これらのモデルは、ようなユーザー向けインターフェイスをすぐに置き換えません

プロンプト:ChatGptは偽のパスポートを生成しますプロンプト:ChatGptは偽のパスポートを生成しますApr 16, 2025 am 11:35 AM

Chip Giant Nvidiaは、月曜日に、AI Supercomputersの製造を開始すると述べました。これは、大量のデータを処理して複雑なアルゴリズムを実行できるマシンを初めて初めて米国内で実行します。発表は、トランプSI大統領の後に行われます

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

MantisBT

MantisBT

Mantis は、製品の欠陥追跡を支援するために設計された、導入が簡単な Web ベースの欠陥追跡ツールです。 PHP、MySQL、Web サーバーが必要です。デモおよびホスティング サービスをチェックしてください。

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

Eclipse を SAP NetWeaver アプリケーション サーバーと統合します。

VSCode Windows 64 ビットのダウンロード

VSCode Windows 64 ビットのダウンロード

Microsoft によって発売された無料で強力な IDE エディター

SublimeText3 英語版

SublimeText3 英語版

推奨: Win バージョン、コードプロンプトをサポート!

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強力な PHP 統合開発環境