西浦、利物浦大学提出：点云数据增强首个全面综述

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本论文的第一作者朱钦峰是西交利物浦大学和利物浦大学联合培养的一年级在读博士，其导师为范磊副教授。他的主要研究方向为语义分割、多模态信息融合、3D视觉、高光谱图像和数据增强。该课题组正在招收24/25级博士生，欢迎邮件咨询。

邮箱：qinfeng.zhu21@student.xjtlu.edu.cn

主页：https://zhuqinfeng1999.github.io/

本文是对发表于模式识别领域顶刊Pattern Recognition 2024的最新综述论文：「Advancements in Point Cloud Data Augmentation for Deep Learning: A Survey 」的解读。

该论文由西交利物浦大学朱钦峰、范磊和翁宁馨完成。

这篇综述首次全面总结了点云数据增强的相关研究工作。

深度学习已成为点云分析任务（如检测、分割和分类）的主流和有效方法之一。为了减少在训练深度学习模型过程中的过拟合，特别是在训练数据量或多样性有限的情况下提高模型性能，数据增强通常是关键。尽管各种点云数据增强方法已在不同的点云处理任务中广泛应用，但目前尚未发布这些方法的系统性综述或讨论。

因此，本文对这些方法进行了调研，将其分类到一个包含基础和特定点云数据增强方法的分类框架中。通过对这些增强方法的全面评估，本文确定了它们的潜力和局限性，为选择合适的增强方法提供了有用的参考。

此外，本文还探讨了未来研究的潜在方向。本调研有助于提供点云数据增强当前研究的全面概览，促进其更广泛的应用和发展。

Free Access: https://authors.elsevier.com/c/1j3TW77nKoLGM

arXiv：https://arxiv.org/pdf/2308.12113

作者主页：https://zhuqinfeng1999.github.io/

                               ^{图1.点云数据增强方法的分类。}

点云数据增强

在深度学习领域，当可用的训练数据集有限时，数据增强常被使用。这涉及执行一系列特定的操作来修改或扩展原始数据，从而增加数据集的数量和多样性。

由于优质的增强数据集有助于提高网络的鲁棒性、增强泛化能力并减少过拟合，因此在训练深度学习网络时，数据增强几乎总是被视为理想的选择。在图像数据增强和文本数据增强领域，已经观察到了全面的发展。

在众多近期发表的关于点云处理任务的研究论文中，研究人员探索了各种增强点云数据的方法。这些方法的广泛范围为研究者在选择合适的方法时带来了挑战。因此，系统地调查这些方法并将它们分类成不同组别具有重要价值。

本文呈现了一个关于点云数据增强方法的全面调查。

基于我们的调查，我们提出了一个这些增强方法的分类体系，如图1所示。

增强方法可以被分为两个主要类别：基础点云增强和特定点云增强，这与图像增强的典型分类方法相似。

基础点云增强指的是那些概念简单且在不同任务和应用环境中具有普适性的方法，这一点通过它们在调查文献中与其他方法的广泛结合使用得到了证明。

特定点云增强则指通常为解决特定挑战或应对特定应用环境而开发的方法。在大多数情况下，特定点云增强在计算上比基础增强更为复杂，这取决于增强方法的实现细节。我们提出的分类体系中的子类别代表了文献中已用于点云数据增强的各种方法的总结，或具有潜力被用于点云数据增强的方法。

该综述的主要贡献如下：

• 这是第一篇全面调查点云数据增强方法的综述，涵盖了点云数据增强的最新进展。根据增强操作的特质，我们提出了一个点云数据增强方法的分类体系。
• 本研究总结了各种点云数据增强方法，讨论了它们在典型的点云处理任务（如检测、分割和分类）中的应用，并为未来的潜在研究提供了建议。

基础点云增强

仿射变换涉及到仿射空间的变换，它保留了共线性和距离比例。在图像数据增强中，常用的仿射变换方法包括缩放、平移、旋转、翻转和剪切。同样地，仿射变换也可以应用于点云数据增强。典型的方法包括平移、旋转、翻转和缩放，并且这些方法已被广泛用于生成额外的新训练数据。

这些操作可以应用于整个点云数据集，也可以使用特定策略应用于点云数据中选定的实例（实例指的是诸如图2（a）所示的车辆这样的语义对象），或者应用于选定实例的特定部分。

但是，通过仿射变换增强的数据可能面临信息丢失或语义不合理的问题。这些仿射变换的具体操作及其讨论详见论文。

                                    ^{图2.通过仿射变换增强点云数据的示例:(a)原始点云数据，(b)平移车辆，(c)旋转车辆，(d)缩放车辆，(e)翻转场景。}

丢弃增强是指丢弃点云数据中的一些数据点，如图3所示。去除点的选择是由具体策略决定的。丢弃的点可以是整个点云数据的一部分，也可以是场景中随机选择的点。丢弃增强有助于深度学习模型对表示遮挡或部分可见场景的缺失或不完整数据变得更加鲁棒。

它还可以防止深度学习模型过于依赖训练数据集中的特定数据点。然而，丢失过多或关键的点云信息可能会导致训练数据中对现实世界对象的不真实表示，并影响深度学习模型的训练。基于丢弃增强的各种方法和讨论详见论文。

                                   ^{图3.通过丢弃增强的点增强示例:(a)原始点云数据，(b)随机丢弃的增强点云，(c)丢弃部分的增强点云。}

抖动是指对点云中单个点的位置施加微小的扰动或噪声，如图4所示。基于抖动增强的各种方法和讨论详见论文。

^{#Figure 4. Treasure enhancement example: (a) original point cloud data, (b) point cloud data enhanced by jitter.}

In scene-level point cloud datasets, such as outdoor autonomous driving scenes, the labeled instances are usually limited. In this case, GT-sampling becomes a simple and effective data augmentation method.

GT-sampling refers to the operation of adding labeled instances to the training dataset. As shown in Figure 5, the labeled GT instances come from the same training dataset or other data sets. GT-sampling is usually suitable for scene-level point cloud datasets, while instance-level point cloud datasets such as ShapeNet are usually not considered. Various methods and discussions based on GT-sampling enhancement are detailed in the paper.

                                                                                                                                                                                                                                                                                    ^{. (b) Semantically unreasonable GT-sampling, one car is inside the building wall and the other is inside the trees.}

In addition, this article also introduces strategies applied to basic point cloud data enhancement methods, such as Patch-based strategies, and automatic optimization strategies (See Figure 6). This article summarizes typical basic point cloud enhancement methods, as shown in Table 1.

                                                                                                                                                                                                                                                                                ^.

#                                                                     Table 1. Representative basic point cloud enhancement methods.

Specific point cloud enhancement

Specific point cloud enhancement Methods are often designed to solve a specific challenge or application scenario. Specific point cloud enhancements include: Mixup enhancement, domain enhancement, adversarial deformation enhancement, upsampling enhancement, completion enhancement, generative enhancement, multimodal enhancement and others.

The specific definitions and discussions of these specific enhancement methods are detailed in the text. Table 2 provides an overview of the development of representative specific enhancement methods, providing various information.

                                                                    Table 2. Representative specific point cloud enhancement methods.

It should be noted that some adversarial deformation, upsampling, completion and generation technologies are not directly applied to point cloud data enhancement. ,as shown in Table 3. In order to provide a comprehensive classification of specific methods, these potential methods are also included and discussed in this article.

                                              Table 3. Potential specific point cloud enhancement methods.

Discussion

Point cloud data enhancement in the paper The applicable tasks and scenarios of the method are discussed in detail, and the role of point cloud data enhancement in consistency learning is pointed out, as shown in Figure 7.

^{圖7.(a)常規的深度學習訓練，將原始資料和增強資料傳送到深度學習網路進行訓練，得到訓練後的模型;(b)一致性學習，透過各種增強方法對輸入點雲資料進行變換，產生多個增強變量，然後將其饋送到多個網路進行一致性學習，在訓練期間做出一致的預測。}

表4對進行資料增強前後進行定量評估的文獻進行了整理，展示了資料增強的效果。作為比較各種增強方法的另一部分，附錄中（詳見論文）也概述了使用增強點雲資料的下游任務的定量效能，以及這些任務中採用的增強方法。

                                   ^{時表上使用「中點雲資料增強為增強模式表現的回報結果。}

#未來工作

• 
  
  ##研究團隊針對該領域，指出了進一步研究的九點可能的方向：
• 
  
  #研究人員沒有充分研究進行點雲數據增強的對抗性變形、上採樣、補全和生成。鑑於GAN和擴散模型的進步，這些模型可用於產生現實和多樣化的點雲實例。未來的研究應該在特定點雲處理任務的基準資料集上評估這些方法，以評估它們作為增強技術的有效性。
• 
  
  目前，很少有研究針對不同的點雲處理任務，使用一致的基準網路和資料集來評估點雲資料增強方法的性能。這樣的評估將增強我們對不同增強方法表現的理解。因此，未來的研究工作可能側重於建立新的方法、指標和/或資料集，以評估點雲資料增強方法的有效性及其對深度學習模型表現的影響。
• 
  
  當套用於大規模點雲資料集時，某些特定增強方法可能會導致運算成本高昂。未來的工作可以集中在開發有效的演算法，在計算成本和增強效率之間進行權衡。此外，一些特定點雲增強方法相對複雜，難以重現。建議開發即插即用方法，促進其廣泛採用。
• 
  
  對於點雲資料增強，缺乏普遍接受的基本增強操作組合。因此，未來的工作需要建立一個標準協議，在不犧牲增強效率的情況下，為不同的應用領域、任務和/或資料集選擇增強操作。
• 
  
  透過增強產生的多個點雲變體會影響一致性學習的有效性。目前，據我們所知，一致性學習中只使用了基本的增強方法。探索特定點雲增強方法，如對抗變形和生成增強，為提高一致性學習的有效性提供了一種有趣的方法，被認為是有價值的未來研究方向。
• 
  
  目前，將基礎點雲增強方法與特定點雲增強方法結合的研究有限。這樣的組合有可能進一步增加資料增強的多功能性，值得未來的研究。
• 
  
  增強功能需要真實地模擬點雲資料的變化，如物件大小、位置、方向、外觀和環境的變化，以確保模擬數據與現實世界的情況保持一致，並保持語義正確。未來的研究可以著眼於標準化各種增強範圍，以適應特定的應用場景。
• 
  
  某些應用，如目標偵測，可能涉及場景中的動態物件。在動態環境中捕獲的點雲可能需要考慮物體時間變化的特定增強策略。例如，可以設計運動物體的特定軌跡，這可以透過一組組合增強操作來實現，例如平移，旋轉和丟棄。

ViT在簡單組合基本運算的情況下，在分割和分類任務上也取得了較強的效能。當與最先進的ViT作為骨幹網路整合時，探索增強方法的性能將是有意義的。

參考文獻：

##[1] Qinfeng Zhu , Lei Fan , Ningxin Weng , Advancements in Point

########## ##Cloud Data Augmentation for Deep Learning: A Survey, Pattern Recognition (2024), doi:##################https://doi.org/10.1016/j. patcog.2024.110532##########

以上是西浦、利物浦大学提出：点云数据增强首个全面综述的详细内容。更多信息请关注PHP中文网其他相关文章！