検索
ホームページテクノロジー周辺機器AIMeta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル

最近、Meta とカーネギーメロン大学によって提案された 6-DoF ビデオ表現モデルである HyperReel は、新しい VR の「キラー」アプリケーションが誕生しようとしていることを示しているかもしれません。

いわゆる「6 自由度ビデオ」(6-DoF) は、単に超高解像度の 4D 体験再生です。

その中で、ユーザーはダイナミックなシーンに完全に「没入」し、自由に移動することができます。また、頭の位置 (3 DoF) と方向 (3 DoF) を任意に変更すると、それに応じて対応するビューも生成されます。

Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル

文書アドレス: https://arxiv.org/abs/2301.02238

以前の作品と比較した場合、HyperReel の最大の利点はメモリとコンピューティング効率にあり、どちらもポータブル VR ヘッドセットにとって重要です。

そして、バニラの PyTorch を使用するだけで、HyperReel は 1 台の NVIDIA RTX 3090 上で 18 フレーム/秒でメガピクセル解像度のレンダリングを実現できます。

Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル

長すぎて読めません:

1 。高解像度での高忠実度、高フレームレートのレンダリングと、コンパクトでメモリ効率の高いダイナミック ボリューム表現を実現できる光条件サンプリング予測ネットワークを提案します。

##2. 6-DoF ビデオ表現方法 HyperReel は、上記の 2 つのコア部分を組み合わせて、メガピクセルの解像度をリアルタイムでレンダリングしながら、速度、品質、メモリの理想的なバランスを実現します。

##3. HyperReel は、メモリ要件やレンダリング速度などの多くの点で他の方法よりも優れています。

論文紹介

ボリューム シーン表現は、静的シーンにリアルなビュー合成を提供することができ、ビデオ テクノロジの既存の 6-DoF の基礎を構成します。

ただし、これらの表現を推進するボリューム レンダリング プログラムでは、品質、レンダリング速度、メモリ効率の点で慎重なトレードオフが必要です。

既存の方法には欠点があります。リアルタイム パフォーマンス、小さなメモリ使用量、高品質のレンダリングを同時に達成することができず、困難な現実世界のシナリオでは非常に困難です。

これらの問題を解決するために、研究者らは、NeRF テクノロジー (Neural Radiation Field) に基づいた 6-DoF ビデオ表現手法である HyperReel を提案しました。

そのうち、HyperReel の 2 つのコア部分は次のとおりです:

1. 光条件下での高解像度のサンプリング予測ネットワーク。 -忠実度、高フレームレートのレンダリング;

2. コンパクトでメモリ効率の高いダイナミック ボリューム表現。

他の方法と比較して、HyperReel の 6-DoF ビデオ パイプラインは、視覚的な品質の点で非常に優れたパフォーマンスを発揮するだけでなく、必要なメモリも非常に少なくなります。

同時に、HyperReel は、カスタム CUDA コードを使用せずに、メガピクセル解像度で 18 フレーム/秒のレンダリング速度を達成できます。

# 具体的には、HypeReel は、サンプル予測ネットワークとキーフレームベースのボリューム表現を組み合わせて、効率のバランスをとることで、高いレンダリング品質、速度、メモリを実現します。

Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル

サンプル予測ネットワークは、特にビューの依存関係が難しいシーンにおいて、ボリューム レンダリングを高速化し、レンダリング品質を向上させることができます。

キーフレームに基づくボリューム表現に関して、研究者は TensoRF の拡張機能を使用しています。

このメソッドは、単一の静的フレーム TensoRF とほぼ同じメモリを消費しながら、完全なビデオ シーケンスを正確に表現できます。

Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル

リアルタイム デモンストレーション

次に、HypeReel がどのように動的シーンと静的シーンを解像度で実行するかをリアルタイムでデモンストレーションします。 512x512 ピクセル、レンダリング効果。

研究者がテクニカラー シーンとシャイニー シーンで小さなモデルを使用したため、レンダリングのフレーム レートが 40 FPS を超えていたことは注目に値します。残りのデータセットについては、完全なモデルが使用されますが、HypeReel は引き続きリアルタイム推論を提供できます。

Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル#テクニカラー

Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル##シャイニー

Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデルスタンフォード

Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル没入型

DoNeRF実装方法

HeperReel を実装するには、まず静的ビュー合成の最適化を考慮する必要があります。ボリュームの特性評価。

NeRF のようなボリューム表現は、3D 空間内の静的シーンの各ポイントの密度と外観をモデル化します。

より具体的には、関数

## を使用して、光線に沿った位置 x と方向 Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル を色にマッピングします。 Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル# と密度 σ(x)。 Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデルここでのトレーニング可能なパラメータ θ は、ニューラル ネットワークの重み、N 次元配列エントリ、または両方の組み合わせにすることができます。

次に、静的シーンの新しいビューをレンダリングできます

#どこで Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル

は o から Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル までの透過率を表します。 Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル実際には、式 1 は、指定された光線に沿って複数のサンプル ポイントを取得し、数値求積法を使用することによって計算できます。

Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル

重み Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル は、出力に対する各サンプル ポイントの色の寄与を指定します。

ボリューム レンダリングのメッシュの例

画像とカメラのセットが指定された静的シーンの HyperReel でトレーニングの目標は、各光線に関連付けられた測定された色を再構築することです。

ほとんどのシーンは、その表面が 3D シーン ボリューム内の 2D 多様体上にあるソリッド オブジェクトで構成されています。この場合、各光線のレンダリング カラーに影響を与えるサンプル ポイントは少数です。

そこで、研究者らは、ボリューム レンダリングを高速化するために、ゼロ以外の Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル ポイントについてのみ色と不透明度をクエリしたいと考えました。

下の図に示すように、研究者はフィードフォワード ネットワークを使用して一連のサンプル位置を予測しますMeta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル。具体的には、サンプル予測ネットワーク Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル を使用して光線 Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル をサンプル ポイント Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル にマッピングし、 の体積方程式 2 のレンダリングを取得します。

ここで、研究者らはプラッカーのパラメータ化を使用して光を特徴付けました。

Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル

しかし、問題があります。ネットワークに柔軟性を与えすぎると、ビュー合成の品質に悪影響を及ぼす可能性があります。たとえば、(x1, ..., xn) が完全に任意の点である場合、レンダリングは複数のビューにわたって一貫していないように見える可能性があります。

この問題を解決するために、研究者らは、サンプル予測ネットワークを使用して、一連の幾何学的プリミティブ G1、...、Gn のパラメーターを予測することにしました。プリミティブは入力レイに応じて決定できます。サンプル ポイントを取得するには、光線が各プリミティブと交差します。

Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル

図 a に示すように、カメラの原点 o から発生し、方向 ω に沿って伝播する入力光線が与えられたとすると、研究者らは最初にプラッカー座標を使用しました。 、ライトを再パラメータ化します。

Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル

図 b に示すように、ネットワーク はこの光線を入力として受け取り、セットを出力します。幾何学プリミティブのパラメータ {} (軸が整列した平面や球など) と変位ベクトル {}。

Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル

#図 c に示すように、ボリューム レンダリング用のサンプル ポイント {Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル#} を生成するために、研究者らは、光線と幾何学基底の間の交差を計算しました。要素と変位ベクトルが結果に追加されます。幾何学的プリミティブを予測する利点は、サンプリングされた信号が滑らかで内挿しやすいことです。

ディスプレイスメント ベクトルによりサンプル ポイントの柔軟性が向上し、視線に依存する複雑な外観をより適切にキャプチャできるようになります。

Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル

図 d に示すように、研究者は最後に、式 2 を通じてボリューム レンダリングを実行し、対応する観察結果に基づいてピクセル カラーを生成しました。 、それは監督され、訓練されました。

キーフレームに基づくダイナミックボリューム

上記の方法により、3D シーンのボリュームを効果的にサンプリングできます。

ボリュームをどのように特徴づけるか?静的なケースでは、研究者らはメモリ効率の高いテンソル放射場 (TensoRF) メソッドを使用し、動的ケースでは、TensoRF をキーフレームベースの動的ボリューム表現に拡張しました。

次の図は、キーフレームベースの表現から動的サンプルポイント表現を抽出するプロセスを説明しています。

Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル

#図 1 に示すように、研究者はまず、サンプルからのネットワーク出力の予測速度を利用しました{

}、時間 のサンプル ポイント {} を最も近いキーフレーム ## に変換します。 ####真ん中。

次に、図 2 に示すように、研究者は時空間テクスチャの外積をクエリして、各サンプル ポイントの外観特性を生成しました。次に、式 10 を介してこれを色に変換します。 Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル

このプロセスを通じて、研究者は各サンプルの不透明度を抽出しました。

結果の比較

Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル

静的シーンの比較

ここで勉強してください研究者らは、HyperReel を、NeRF、InstantNGP、および 3 つのサンプリング ネットワーク ベースの手法を含む既存の静的ビュー合成手法と比較しました。

DoNeRF データセット
  • DoNeRF データセットには、6 つの合成シーケンス、画像が含まれています。 800×800ピクセルです。

表 1 に示すように、HyperReel の手法は品質においてすべてのベースラインを上回り、他のサンプリング ネットワーク スキームのパフォーマンスを大幅に向上させます。

一方、HyperReel は標準の PyTorch で実装されており、単一の RTX 3090 GPU で 6.5 FPS (または Tiny モデル レンダリングでは 29 FPS) で 800 × 800 ピクセルの画像をレンダリングできます。

さらに、R2L の 88 層、256 隠れユニットのディープ MLP と比較して、研究者が提案した 6 層、256 隠れユニット ネットワークと TensoRF ボリューム バックボーンは、推論速度が高速になります #

Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル

  • LLFF データ セット

LLFF データ セットには 8 実数が含まれています- 1008×756 ピクセル画像のワールド シーケンス。

表 1 に示すように、HyperReel の手法は DoNeRF、AdaNeRF、TermiNeRF、InstantNGP より優れていますが、達成される品質は NeRF よりわずかに劣ります。

このデータセットは、不正確なカメラ キャリブレーションと入力ビューのまばらさのため、明示的な体積表現にとって大きな課題です。

Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル

ダイナミック シーンの比較

  • テクニカラー データセット

Technicolor ライト フィールド データセットには、時間同期された 4×4 カメラ セットアップによってキャプチャされたさまざまな屋内環境のビデオが含まれており、各ビデオ ストリーム内の各画像が含まれています。両方とも 2048 x 1088 ピクセルです。 。

研究者らは、このデータセットの 5 つのシーケンス (誕生日、ファビアン、画家、劇場、電車) について、フル画像解像度で HyperReel と Neural 3D ビデオを比較しました。各シーケンスの長さは 50 フレームです。

表 2 に示すように、HyperReel の品質は Neural 3D ビデオの品質を上回っていますが、シーケンスあたりのトレーニング時間はわずか 1.5 時間です (Neural 3D では 1000 時間以上かかります)。 、レンダリングが高速化されます。

  • ニューラル 3D ビデオ データ セット

ニューラル 3D ビデオ データ セットには 6 つの屋内が含まれています20 台のカメラで解像度 2704 × 2028 ピクセルでキャプチャされたマルチビュー ビデオ シーケンス。

表 2 に示すように、HyperReel は、NeRFPlayer や StreamRF などの最近の研究を含む、このデータセット上のすべてのベースライン手法を上回っています。

特に、HyperReel は、バックボーン方式として Plenoxels を使用しているにもかかわらず (カスタマイズされた CUDA カーネルを使用して)、量では NeRFPlayer を上回り、レンダリング速度は約 40 倍、品質では StreamRF を上回っています。推論を高速化し、レンダリングを高速化します。

さらに、HyperReel は、StreamRF と NeRFPlayer の両方よりも平均でフレームあたりのメモリ消費量がはるかに少なくなります。

  • Google イマーシブ データセット

Google イマーシブ データセットには、さまざまな屋内およびライト フィールドのビデオが含まれています屋外環境のこと。

表 2 に示すように、HyperReel は NeRFPlayer よりも品質が 1 dB 優れており、レンダリング速度も高速です。

Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル

残念ながら、HyperReel は VR で必要なレンダリング速度 (理想的には 72FPS、ステレオ) にまだ達していません。

ただし、このメソッドはバニラの PyTorch に実装されているため、カスタム CUDA カーネルなどの作業を通じてパフォーマンスをさらに最適化できます。

Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル

著者紹介

この論文の筆頭著者である Benjamin Attal は、現在カーネギー メロン ロボット研究所で博士号取得を目指しています。研究対象には、仮想現実、計算によるイメージングとディスプレイが含まれます。

Meta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデル

以上がMeta と CMU が協力して壮大な VR アップグレードを開始します!高忠実度の6自由度映像描画を実現するHyperReel最新モデルの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事は51CTO.COMで複製されています。侵害がある場合は、admin@php.cn までご連絡ください。
革新を調理する:人工知能がフードサービスを変革する方法革新を調理する:人工知能がフードサービスを変革する方法Apr 12, 2025 pm 12:09 PM

食品の準備を強化するAI まだ初期の使用中ですが、AIシステムは食品の準備にますます使用されています。 AI駆動型のロボットは、ハンバーガーの製造、SAの組み立てなど、食品の準備タスクを自動化するためにキッチンで使用されています

Pythonネームスペースと可変スコープに関する包括的なガイドPythonネームスペースと可変スコープに関する包括的なガイドApr 12, 2025 pm 12:00 PM

導入 Python関数における変数の名前空間、スコープ、および動作を理解することは、効率的に記述し、ランタイムエラーや例外を回避するために重要です。この記事では、さまざまなASPを掘り下げます

ビジョン言語モデル(VLM)の包括的なガイドビジョン言語モデル(VLM)の包括的なガイドApr 12, 2025 am 11:58 AM

導入 鮮やかな絵画や彫刻に囲まれたアートギャラリーを歩くことを想像してください。さて、各ピースに質問をして意味のある答えを得ることができたらどうでしょうか?あなたは尋ねるかもしれません、「あなたはどんな話を言っていますか?

MediaTekは、Kompanio UltraとDimenity 9400でプレミアムラインナップをブーストしますMediaTekは、Kompanio UltraとDimenity 9400でプレミアムラインナップをブーストしますApr 12, 2025 am 11:52 AM

製品のケイデンスを継続して、今月MediaTekは、新しいKompanio UltraやDimenity 9400を含む一連の発表を行いました。これらの製品は、スマートフォン用のチップを含むMediaTekのビジネスのより伝統的な部分を埋めます

今週のAIで:Walmartがファッションのトレンドを設定する前に設定します今週のAIで:Walmartがファッションのトレンドを設定する前に設定しますApr 12, 2025 am 11:51 AM

#1 GoogleはAgent2Agentを起動しました 物語:月曜日の朝です。 AI駆動のリクルーターとして、あなたはより賢く、難しくありません。携帯電話の会社のダッシュボードにログインします。それはあなたに3つの重要な役割が調達され、吟味され、予定されていることを伝えます

生成AIは精神障害に会います生成AIは精神障害に会いますApr 12, 2025 am 11:50 AM

私はあなたがそうであるに違いないと思います。 私たちは皆、精神障害がさまざまな心理学の用語を混ぜ合わせ、しばしば理解できないか完全に無意味であることが多い、さまざまなおしゃべりで構成されていることを知っているようです。 FOを吐き出すために必要なことはすべてです

プロトタイプ:科学者は紙をプラスチックに変えますプロトタイプ:科学者は紙をプラスチックに変えますApr 12, 2025 am 11:49 AM

今週公開された新しい研究によると、2022年に製造されたプラスチックの9.5%のみがリサイクル材料から作られていました。一方、プラスチックは埋め立て地や生態系に積み上げられ続けています。 しかし、助けが近づいています。エンジンのチーム

AIアナリストの台頭:これがAI革命で最も重要な仕事になる理由AIアナリストの台頭:これがAI革命で最も重要な仕事になる理由Apr 12, 2025 am 11:41 AM

主要なエンタープライズ分析プラットフォームAlteryxのCEOであるAndy Macmillanとの私の最近の会話は、AI革命におけるこの重要でありながら過小評価されている役割を強調しました。 MacMillanが説明するように、生のビジネスデータとAI-Ready情報のギャップ

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SecLists

SecLists

SecLists は、セキュリティ テスターの究極の相棒です。これは、セキュリティ評価中に頻繁に使用されるさまざまな種類のリストを 1 か所にまとめたものです。 SecLists は、セキュリティ テスターが必要とする可能性のあるすべてのリストを便利に提供することで、セキュリティ テストをより効率的かつ生産的にするのに役立ちます。リストの種類には、ユーザー名、パスワード、URL、ファジング ペイロード、機密データ パターン、Web シェルなどが含まれます。テスターはこのリポジトリを新しいテスト マシンにプルするだけで、必要なあらゆる種類のリストにアクセスできるようになります。

PhpStorm Mac バージョン

PhpStorm Mac バージョン

最新(2018.2.1)のプロフェッショナル向けPHP統合開発ツール

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強力な PHP 統合開発環境

SublimeText3 Linux 新バージョン

SublimeText3 Linux 新バージョン

SublimeText3 Linux 最新バージョン