リアルなリアルタイム レンダリング: ストリート ガウスに基づいたダイナミックな都市シーンのモデリング

正直に言うと、テクノロジーの更新のスピードは確かに非常に速いため、学術界の古い手法が徐々に新しい手法に置き換えられることもあります。最近、浙江大学の研究チームがガウシアンと呼ばれる新しい手法を提案し、広く注目を集めています。この方法には問題解決において独特の利点があり、仕事でもうまく使用されています。ナーフは徐々に学術界での影響力を失ってきましたが、

まだレベルに合格していないプレイヤーを助けるために、ゲーム内のパズルを解く具体的な方法を見てみましょう。

まだレベルをクリアしていないプレイヤーを助けるために、具体的なパズルの解決方法を一緒に学ぶことができます。これを行うために、パズル解決に関する論文を見つけました。リンクはここにあります: https://arxiv.org/pdf/2401.01339.pdf。この論文を読むことで、パズルを解くテクニックについて詳しく学ぶことができます。これがプレイヤーの役に立つことを願っています!

この論文は、単眼ビデオからダイナミックな都市街路シーンをモデル化するという問題を解決することを目的としています。最近の手法では、NeRF を拡張して、追跡された車両のポーズをアニメーション車両に組み込み、動的な都市のストリート シーンのフォトリアリスティックなビュー合成を可能にしました。ただし、トレーニングとレンダリングの速度が遅いことと、車両のポーズを追跡する際の高精度の緊急のニーズに大きな制限があります。このペーパーでは、これらすべての制限に対処する新しい明示的なシーン表現であるストリート ガウスを紹介します。具体的には、動的な街路は、セマンティック ロジットと 3D ガウスを備えた一連の点群として表現され、それぞれが前景の車両または背景に関連付けられます。

前景オブジェクトの車両のダイナミクスをモデル化するには、最適化可能な追跡ポーズと動的外観の動的球面調和モデルを使用して、各オブジェクト点群を最適化できます。この明示的な表現により、ターゲット車両と背景の簡単な合成、およびトレーニングの 30 分以内でのシーン編集操作と 133 FPS (解像度 1066 x 1600) でのレンダリングが可能になります。研究者らは、KITTI や Waymo Open データセットなど、いくつかの困難なベンチマークでこのアプローチを評価しました。

実験結果は、私たちが提案した手法がすべてのデータセットにおいて既存の手法よりも一貫して優れていることを示しています。既製のトラッカーからの姿勢情報のみに依存していますが、私たちの表現は、実際の姿勢情報を使用して達成されるものと同等のパフォーマンスを提供します。

まだレベルに合格していないプレイヤーを助けるために、具体的なパズルの解決方法を見つけることができるリンクを提供しました: https://zju3dv.github.io/streetgaussians/。リンクをクリックして参照してください。お役に立てれば幸いです。

ストリート ガウス手法の概要

都市の街路シーンで移動車両からキャプチャされた一連の画像を考慮して、この論文の目標は、次のような手法を開発することです。任意の入力タイム ステップおよび任意の視点からフォトリアリスティックな画像を生成するモデル。この目標を達成するために、動的なストリート シーンを表現するために特別に設計された、Street Gaussians と呼ばれる新しいシーン表現が提案されています。図 2 に示すように、動的な都市街路シーンは一連の点群として表され、各点群は静的な背景または移動する車両に対応します。明示的なポイントベースの表現により、個々のモデルを簡単に構成できるため、リアルタイムのレンダリングだけでなく、編集アプリケーションの前景オブジェクトの分解も可能になります。提案されたシーン表現は、追跡車両ポーズ最適化戦略によって強化された、既製のトラッカーからの追跡車両ポーズと RGB 画像のみを使用して効率的にトレーニングできます。

ストリート ガウスの概要 以下に示すように、動的な都市のストリート シーンは、追跡された車両のポーズが最適化された、ポイントベースの背景と前景のターゲットのセットとして表されます。各点には、位置、不透明度、および回転とスケールで構成される共分散を含む 3D ガウスが割り当てられ、ジオメトリを表現します。外観を表現するために、各背景点には球面調和モデルが割り当てられ、前景点には動的球面調和モデルが関連付けられます。明示的なポイントベースの表現により、個別のモデルを簡単に組み合わせることができ、高品質の画像とセマンティック マップ (トレーニング中に 2D セマンティック情報が提供される場合はオプション) のリアルタイム レンダリングが可能になるだけでなく、アプリケーション## を編集するための前景オブジェクトの分解も可能になります。

#実験結果の比較

Waymo オープン データセットと KITTI ベンチマークで実験を実施しました。 Waymo オープン データ セットでは、多数の移動物体、顕著な自我の動き、複雑な照明条件を含む 6 つの記録シーケンスが選択されました。すべてのシーケンスの長さは約 100 フレームで、シーケンス内の 10 枚ごとの画像がテスト フレームとして選択され、残りの画像がトレーニングに使用されます。高解像度画像を使用してトレーニングする場合、ベースライン手法のメモリ コストが高いことが判明したため、入力画像は 1066×1600 に縮小されました。 KITTI および Vitural KITTI 2 では、MARS の設定に従い、異なるトレーニング/テスト分割設定を使用して評価しました。 Waymo データセット上の検出器とトラッカーによって生成された境界ボックスを使用し、KITTI によって公式に提供されたターゲット軌道を使用します。

私たちの方法を最近の 3 つの方法と比較してください。

(1) NSG は背景をマルチプレーン画像として表し、各オブジェクトに対して学習した潜在コードと共有デコーダーを使用して移動オブジェクトをモデル化します。

(2) MARS は、Nerfstudio に基づいてシーン グラフを構築します。

(3) 3D ガウスは、一連の異方性ガウスを使用してシーンをモデル化します。

NSG と MARS はどちらも GT ボックスを使用してトレーニングおよび評価され、ここではさまざまなバージョンの実装が試行され、各シーケンスの最良の結果が報告されます。また、公平な比較のために、3D ガウス マップの SfM 点群を、私たちの方法と同じ入力で置き換えます。詳細については、補足情報を参照してください。 ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃ ＃オリジナルリンク: https://mp.weixin.qq.com/s/oikZWcR47otm7xfU90JH4g

以上がリアルなリアルタイム レンダリング: ストリート ガウスに基づいたダイナミックな都市シーンのモデリングの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。