ホームページ > 記事 > テクノロジー周辺機器 > 3D 編集を PS と同じくらい簡単に、新しいアルゴリズム GaussianEditor により 3D シーンの追加、削除、変更を数分で完了できます
3D編集はゲームやVRなどの分野で重要な役割を果たしていますが、これまでの3D編集は長時間かかる、制御性が悪いなどの問題があり、実際のシーンへの適用が困難でした。最近、南洋理工大学、清華大学、SenseTime が新しい 3D 編集アルゴリズムである GaussianEditor を提案しました。これは、これまでの 3D 編集作業を完全に超え、2 ~ 7 分で 3D シーンの制御可能で多様な編集を初めて実現しました。
近年、3D 編集分野の研究は一般的に神経放射線分野 (NeRF) に焦点を当てています。これは、NeRF が高い忠実度で 3D シーン モデリングを実行できるだけでなく、その暗黙的な特性によってスケーラビリティが大幅に向上し、従来の点群やメッシュ手法に比べて大きな利点があるためです。ただし、NeRF はシーン データをエンコードするために高次元多層パーセプトロン ネットワーク (MLP) に依存しているため、これにも一定の制限があります。これにより、シーンの特定の部分を直接変更することが難しくなり、画像の復元やシーンの構成などのタスクが複雑になります。この複雑さはトレーニング プロセスに影響を与えるだけでなく、実際のアプリケーションでの使用も制限します。その3D表現。ガウス スプラッティングは半年前に提案された新しいタイプの 3D 表現であり、3D や 4D の再構築など多くの 3D タスクにおいて NeRF を上回り、発表されるやいなや 3D 分野で広く注目を集め、今年の 3D 分野における最大の進歩。 Gaussian Splatting には優れた見通しと可能性があり、GaussianEditor はこの 3D 表現の編集を初めて実装しました。このプロジェクトはオープンソースであり、簡単に学習して使用できる WebUI インターフェイスを提供します。
論文アドレス: https://arxiv.org/abs/2311.14521
下図の赤い領域は追跡対象領域です。セマンティック追跡領域は、トレーニング プロセスの有効性を確保するために動的に更新されます。
さらに、ガウス スパッタリング (GS) が高度にランダムに生成されると良好な結果を達成するのが難しいという大きな課題に対処するために、GaussinEditor は新しい GS 表現である階層型ガウス スパッタリング (階層型ガウス スプラッティング) を採用しました。 、HGS)。 HGS では、ガウス ポイントは、トレーニング中の高密度化順序に基づいてさまざまな世代に編成されます。初期の緻密化プロセス中に形成されたガウス ポイントは古い世代とみなされ、元の状態を維持し、移動性を低減することを目的として、より厳しい制約が課されます。対照的に、後の段階で形成されたガウス点は、適応度を向上させるための制約が少ない、またはまったくない若い世代として扱われます。 HGS の設計は、新しい世代の柔軟性を維持しながら、古い世代に制限を課すことにより、GS のモビリティを効果的に規制します。このアプローチにより、ニューラル ネットワークを通じて実装された暗黙的表現でバッファリング関数をシミュレートし、より良い結果に向けた継続的な最適化が可能になります。
#GaussianEditor は、これに基づいてガウス スパッタリング表現の追加および削除アルゴリズムを提案しました。ターゲットの削除に関して、チームはオブジェクトとシーンの間の境界面でアーティファクトを効果的に除去する特殊なローカル修復アルゴリズムを開発しました。ターゲットの追加に関しては、GaussianEditor は、ユーザーが提供したテキスト プロンプトと 2D マスクに基づいて、指定されたターゲットを指定された領域に追加できます。 GaussianEditor はまず、2D 画像修復アルゴリズムを利用して、追加するオブジェクトの単一ビュー イメージを生成します。この画像は、Image to 3D アルゴリズムを使用して 3D GS に変換されます。最後に、ターゲットがガウス シーンに組み込まれます。
#比較実験では、GaussianEditor は、視覚的な品質、定量的な指標、制御性、生成速度の点で以前の作品を大幅に上回りました
##チームはまた、アブレーション実験を通じて、提案したガウス意味追跡と階層的ガウス表現の有効性を検証しました
#GaussianEditor 高度な 3D 編集アルゴリズムとして、3D シーンを柔軟かつ迅速に編集することに焦点を当てており、ガウス スパッタリングの編集が実装されています。初めて。
アルゴリズムの主な機能は次のとおりです。
ガウス セマンティック トラッキング
: トレーニング プロセス中に編集が必要なガウス ポイントを継続的に特定し、ターゲット領域のみが編集されるようにします。
階層型ガウス スプラッティング (HGS)
以上が3D 編集を PS と同じくらい簡単に、新しいアルゴリズム GaussianEditor により 3D シーンの追加、削除、変更を数分で完了できますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。