讓3D編輯像PS一樣簡單，新演算法GaussianEditor在幾分鐘內完成3D場景增刪改

3D 编辑在游戏和虚拟现实等领域中发挥着至关重要的作用，然而之前的 3D 编辑苦于耗时间长以及可控性差等问题，很难应用到实际场景。近日，南洋理工大学联合清华和商汤提出了一种全新的 3D 编辑算法 GaussianEditor，首次实现了在 2-7 分钟完成对 3D 场景可控的多样化的编辑，全面超越了之前的 3D 编辑工作。

近年来，3D编辑领域的研究重点普遍集中在神经辐射场（NeRF）上。这是因为NeRF不仅可以高度真实地进行3D场景建模，而且其隐式特性极大地提升了可扩展性，相较于传统的点云和网格等方法，具有显著优势。然而，NeRF依赖于高维多层感知网络（MLP）对场景数据进行编码，这也带来了一定的限制。它难以直接修改场景的特定部分，并且增加了图像修复和场景组合等任务的复杂性。这种复杂性不仅影响了训练过程，也限制了其在实际应用中的使用

GaussianEditor 为了解决上述问题，另辟蹊径，选择了高斯溅射（Gaussian Splatting）作为其 3D 表示。Gaussian Splatting 是半年前提出的一种新型 3D 表示，该表示已经在 3D，4D 重建等多项 3D 任务上超越了 NeRF，刚面世就引发了 3D 领域广泛的关注，是今年 3D 领域最大的突破之一。Gaussian Splatting 表示具有极好的前景和潜力， GaussianEditor 更是首个实现了对这种 3D 表示完成编辑的工作。该项目已开源，并提供了 WebUI 界面，便于学习和使用。

• 论文地址：https://arxiv.org/abs/2311.14521
• 主页地址：https://buaacyw.github.io/gaussian-editor/

尽管高斯喷洒（Gaussian Splatting）具有高效的渲染算法，但其作为显示表示的编辑存在不小的挑战。一个主要问题是缺乏有效的方法来准确识别编辑目标，这对于精确可控的编辑至关重要。此外，已有研究表明，使用高度随机的生成指导（例如 Stable Diffusion 等生成扩散模型）来优化高斯喷洒（GS）会遇到重大挑战。这可能是因为GS直接受到损失中随机性的影响，与神经网络缓冲的隐式表示不同。这种直接暴露导致更新不稳定，训练过程中高斯点的属性直接改变。此外，GS的每个训练步骤可能涉及大量高斯点的更新，而这一过程没有神经网络风格的缓冲机制。这些问题会导致GS的过度流动性阻碍了其在训练中向隐式表示那样的精细结果收敛

为了解决上述问题，团队首先引入了高斯语义追踪来完成对 Gaussian Splatting（GS）的精确控制。高斯语义追踪在训练过程中始终能够识别出需要编辑的高斯点。这与传统的 3D 编辑方法不同，后者通常依赖于静态的 2D 或 3D 掩码。随着 3D 模型的几何形状和外观在训练中的变化，这些掩码的会逐渐失效。高斯语义追踪则是通过将 2D 分割掩码投影到 3D 高斯点上并为每个高斯点分配语义标签来实现训练全程的追踪。随着训练过程中高斯点的变化，这些语义标签使得能够追踪到特定的目标高斯点。高斯语义追踪算法能确保只有目标区域被修改，从而实现精确和可控的编辑。

下图中红色区域为被追踪的目标区域，语义追踪的区域会随着训练过程动态更新来确保其有效性。

此外，為了應對高斯濺射（Gaussian Splatting，GS）在高度隨機生成的情況下難以實現精細結果的重大挑戰，GaussinEditor採用了一種新的GS表示方式：層次化高斯濺射（Hierarchical Gaussian Splatting，HGS）。在HGS中，高斯點根據它們在訓練過程中的稠密化順序被組織成不同的世代。在較早的稠密化過程中形成的高斯點被視為較老的世代，它們受到更嚴格的約束，目的是保持它們的原始狀態，減少它們的流動性。相反，後期階段形成的高斯點被視為較年輕的世代，受到較少或沒有約束，以提高其適應性。 HGS的設計有效地調節了GS的流動性，透過對較老的世代施加限制同時保持了較新一代的靈活性。這種方法使得持續優化朝向更好的結果成為可能，模擬了透過神經網路實現的隱式表示中的緩衝功能

GaussianEditor 在此基礎上提出了高斯濺鍍表示的增、刪演算法。在刪除目標方面，該團隊開發了一種專門的局部修復演算法，能有效地消除了物件與場景交界處的偽影。在新增目標方面，GaussianEditor 能根據使用者提供一個的文字提示和 2D 遮罩來為指定區域新增指定目標。 GaussianEditor 先使用 2D 影像 Inpainting 演算法產生要新增的物件的單視圖影像。然後，透過 Image to 3D 的演算法將該影像轉換成一個 3D GS。最後將該目標併入到高斯場景中。

在對比實驗中，GaussianEditor在視覺品質、量化指標、可控性和生成速度方面都顯著超過了先前的工作

團隊也透過消融實驗驗證了他們提出的高斯語義追蹤和層次化高斯表示的有效性

GaussianEditor 作為先進的3D 編輯演算法，重點在於靈活和快速地編輯3D 場景，並首次實現了對高斯濺鍍的編輯。

此演算法的關鍵特點包括：

1. #Gaussian 語意追蹤：它能在訓練過程中持續辨識需要編輯的高斯點，確保只有目標區域被編輯。
2. 層次化Gaussian Splatting（HGS）：這是一種新的GS 表示方式，透過在不同訓練階段形成的高斯點之間建立層次結構，以有效管理GS 場景的流動性，並模擬隱式表示中神經網路的緩衝功能。
3. 3D 場景的增加和刪除演算法：GaussianEditor 專為GS 開發設計了3D 場景的增刪演算法，能夠高效地從場景中移除或新增特定物件。

#

以上是讓3D編輯像PS一樣簡單，新演算法GaussianEditor在幾分鐘內完成3D場景增刪改的詳細內容。更多資訊請關注PHP中文網其他相關文章！