西浦、利物浦大學提出：點雲資料增強首個全面綜述

AIxiv專欄是本站發布學術、技術內容的欄位。過去數年，本站AIxiv專欄接收通報了2,000多篇內容，涵蓋全球各大專院校與企業的頂尖實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或聯絡報道。投稿信箱：liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com

##本論文的第一作者朱欽峰是西交利物浦大學和利物浦大學聯合培養的一年級正在讀博士，其導師為範磊副教授。他的主要研究方向為語意分割、多模態資訊融合、3D視覺、高光譜影像和資料增強。該研究組正在招收24/25級博士生，歡迎郵件諮詢。

信箱：qinfeng.zhu21@student.xjtlu.edu.cn

首頁：https://zhuqinfeng1999.github.io/

本文是對發表於模式識別領域頂刊Pattern Recognition 2024的最新綜述論文：「Advancements in Point Cloud Data Augmentation for Deep Learning: A Survey 」的解讀。

論文由西交利物浦大學朱欽峰、範磊和翁寧馨完成。

這篇綜述首次全面總結了

點雲資料增強的相關研究工作。

深度學習已成為點雲分析任務（如偵測、分割和分類）的主流和有效方法之一。為了減少在訓練深度學習模型過程中的過度擬合，特別是在訓練資料量或多樣性有限的情況下提高模型效能，資料增強通常是關鍵。儘管各種點雲資料增強方法已在不同的點雲處理任務中廣泛應用，但目前尚未發布這些方法的系統性綜述或討論。

因此，本文對這些方法進行了研究，將其分類到

一個包含基礎和特定點雲資料增強方法的分類框架。透過對這些增強方法的全面評估，本文確定了它們的潛力和局限性，為選擇合適的增強方法提供了有用的參考。

此外，本文也探討了

未來研究的潛在方向。本研究有助於提供點雲資料增強目前研究的全面概覽，促進其更廣泛的應用和發展。

Free Access: https://authors.elsevier.com/c/1j3TW77nKoLGM

arXiv：https://arxiv.org/pdf/2308.12113

作者首頁：https://zhuqinfeng1999.github.io/

##                。

點雲資料增強

在深度學習領域，當可用的訓練資料集有限時，資料增強常被使用。這涉及執行一系列特定的操作來修改或擴展原始數據，從而增加數據集的數量和多樣性。

由於優質的增強資料集有助於提高網路的穩健性、增強泛化能力並減少過度擬合，因此在訓練深度學習網路時，數據增強幾乎總是被視為理想的選擇。在圖像資料增強和文字資料增強領域，已經觀察到了全面的發展。

在眾多近期發表的點雲處理任務的研究論文中，研究人員探討了各種增強點雲資料的方法。這些方法的廣泛範圍為研究者在選擇合適的方法時帶來了挑戰。因此，系統地調查這些方法並將它們分類成不同組別具有重要價值。

本文呈現了一個關於點雲資料增強方法的全面調查。

基於我們的調查，我們提出了一個這些增強方法的分類體系，如圖1所示。

增強方法可以被分成兩個主要類別：基礎點雲增強和特定點雲增強，這與影像增強的典型分類方法相似。

基礎點雲增強指的是那些概念簡單且在不同任務和應用環境中具有普適性的方法，這一點透過它們在調查文獻中與其他方法的廣泛結合使用得到了證明。

特定點雲增強則指通常為解決特定挑戰或因應特定應用環境而開發的方法。在大多數情況下，特定點雲增強在運算上比基礎增強更為複雜，這取決於增強方法的實作細節。我們提出的分類體系中的子類別代表了文獻中已用於點雲資料增強的各種方法的總結，或具有潛力被用於點雲資料增強的方法。

此綜述的主要貢獻如下：

• 這是第一篇全面調查點雲資料增強方法的綜述，涵蓋了點雲資料增強的最新進展。根據增強操作的特質，我們提出了一個點雲資料增強方法的分類系統。
• 本研究總結了各種點雲資料增強方法，討論了它們在典型的點雲處理任務（如檢測、分割和分類）中的應用，並為未來的潛在研究提供了建議。

#基礎點雲增強

仿射變換涉及到仿射空間的變換，它保留了共線性和距離比例。在影像資料增強中，常用的仿射變換方法包括縮放、平移、旋轉、翻轉和剪切。同樣地，仿射變換也可以應用於點雲資料增強。典型的方法包括平移、旋轉、翻轉和縮放，並且這些方法已被廣泛用於產生額外的新訓練資料。

這些操作可以套用於整個點雲資料集，也可以使用特定策略套用於點雲資料中選定的實例（實例指的是如圖2（ a）所示的車輛這樣的語意物件），或應用於選定實例的特定部分。

但是，透過仿射變換增強的資料可能面臨資訊遺失或語意不合理的問題。這些仿射變換的具體操作及其討論詳見論文。

                                    ^{圖2.中以仿射變換增強點雲資料的範例時為c)旋轉車輛，(d)縮放車輛，(e)翻轉場景。}

丟棄增強是指丟棄點雲資料中的一些資料點，如圖3所示。去除點的選擇是由具體策略決定的。丟棄的點可以是整個點雲資料的一部分，也可以是場景中隨機選擇的點。丟棄增強有助於深度學習模型對錶示遮蔽或部分可見場景的缺失或不完整資料變得更加穩健。

它還可以防止深度學習模型過度依賴訓練資料集中的特定資料點。然而，遺失過多或關鍵的點雲資訊可能會導致訓練資料中對現實世界物件的不真實表示，並影響深度學習模型的訓練。基於丟棄增強的各種方法和討論詳見論文。

                                   ^{圖3.中透過隨機增強的點增強範例​​資料(c)丟棄部分的增強點雲。}

抖動是指對點雲中單點的位置施加微小的擾動或噪聲，如圖4所示。基於抖動增強的各種方法和討論詳見論文。

                                 ^{圖4.中使用中動增強範例:(a) 原始點雲資料，(b) 抖動增強的點雲資料。}

在場景層級的點雲資料集中，例如戶外自動駕駛場景，標註的實例通常是有限的。在這種情況下，GT-sampling成為一種簡單而有效的資料增強方法。

GT-sampling是指將帶有標籤的實例新增至訓練資料集中的操作，如圖5所示，標記的GT實例來自相同訓練資料集或其他數據集。 GT-sampling通常適用於場景級點雲資料集，而通常不考慮實例級點雲資料集，如ShapeNet。基於GT-sampling增強的各種方法和討論詳見論文。

##卷(b) 語意不合理的GT-sampling，一輛車在建築物牆體內，另一輛在樹木。

除此之外，本文也介紹了應用於基礎點雲端資料增強方法的策略，如Patch-based策略，和自動最佳化策略（見圖6）。本文對典型的基礎點雲增強方法進行了匯總，如表1所示。

                                擷取中6.中6.自動最佳化的常見流程。

                                 表1.中使用「基礎點雲增強方法。

特定點雲增強

#特定點雲增強方法通常旨在解決特定的挑戰或應用場景。特定點雲增強包括：Mixup增強，域增強，對抗性變形增強，上採樣增強，補全增強，生成增強，多模態增強和其他。

這些特定增強方法的具體定義以及討論詳見文中。表2概述了具有代表性的特定增強方法的發展，提供了各種資訊。

                               作用表中使用2. 2.代表性動態增強方法。

要注意的是，目前一些對抗性變形、上取樣、補全和生成技術並沒有直接應用到點雲資料增強中，如表3所示。為了對特定方法進行全面的分類，本文也包括了這些潛在的方法並對其進行了討論。

                                   時建立時3.潛在中潛在的特定點雲增強方法。

#討論

#論文中對點雲資料增強方法的適用任務以及場景進行了詳細的討論，並指出了點雲資料增強在一致性學習中的作用，如圖7所示。

^{Figure 7. (a) Conventional deep learning training, sending original data and enhanced data to the deep learning network for training, and obtaining the trained model; (b) Consistency learning, through each An augmentation method transforms the input point cloud data to generate multiple augmentation variables, which are then fed to multiple networks for consistent learning to make consistent predictions during training.}

Table 4 summarizes the literature on quantitative evaluation before and after data enhancement, showing the effect of data enhancement. As another part of the comparison of various augmentation methods, the appendix (see paper for details) also provides an overview of the quantitative performance of downstream tasks using augmented point cloud data, and the augmentation methods employed in these tasks.

                                                                                                                                                                                                                                                                    ^{to be improved.}

Future Work

The research team pointed out nine possible directions for further research in this field:

• Researchers have not fully studied point cloud data augmentation confrontation Morphing, upsampling, completion and generation. Given the advances in GANs and diffusion models, these models can be used to generate realistic and diverse point cloud instances. Future research should evaluate these methods on benchmark datasets on specific point cloud processing tasks to assess their effectiveness as augmentation techniques.
  
  
• Currently, there are few studies to evaluate point cloud data augmentation methods using consistent baseline networks and datasets for different point cloud processing tasks. performance. Such an evaluation will enhance our understanding of the performance of different augmentation methods. Therefore, future research efforts may focus on establishing new methods, metrics, and/or datasets to evaluate the effectiveness of point cloud data augmentation methods and their impact on deep learning model performance.
  
  
• Some specific augmentation methods can be computationally expensive when applied to large-scale point cloud datasets. Future work can focus on developing efficient algorithms that trade off computational cost and enhanced efficiency. In addition, some specific point cloud enhancement methods are relatively complex and difficult to reproduce. It is recommended to develop a plug-and-play approach to promote its widespread adoption.
  
  
• For point cloud data enhancement, there is a lack of a universally accepted combination of basic enhancement operations. Therefore, future work is needed to establish a standard protocol for selecting augmentation operations for different application domains, tasks, and/or data sets without sacrificing augmentation efficiency.
  
  
• #Multiple point cloud variants generated through augmentation will affect the effectiveness of consistency learning. Currently, to the best of our knowledge, only basic boosting methods are used in consistency learning. Exploring specific point cloud enhancement methods, such as adversarial deformation and generative enhancement, provides an interesting way to improve the effectiveness of consistency learning and is considered a valuable future research direction.
  
  
• Currently, there is limited research on combining basic point cloud enhancement methods with specific point cloud enhancement methods. Such a combination has the potential to further increase the versatility of data augmentation and deserves future research.
  
  
• Enhancement needs to realistically simulate changes in point cloud data, such as changes in object size, position, orientation, appearance and environment, to ensure that simulated data Be consistent with real-world situations and remain semantically correct. Future research could look at standardizing the various enhancement ranges to suit specific application scenarios.
  
  
• Some applications, such as object detection, may involve dynamic objects in the scene. Point clouds captured in dynamic environments may require specific enhancement strategies that take into account temporal changes in objects. For example, a specific trajectory of a moving object can be designed, which can be achieved through a set of combined enhancement operations, such as translation, rotation, and discarding.
  
  
• ViT also achieves strong performance on segmentation and classification tasks by simply combining basic operations. It would be meaningful to explore the performance of the enhanced method when integrated with the state-of-the-art ViT as a backbone network.
  
  

^references:

^{[1] Qinfeng Zhu , Lei Fan , Ningxin Weng , Advancements in Point}

^{Cloud Data Augmentation for Deep Learning: A Survey, Pattern Recognition (2024), doi:}

^{https://doi.org/10.1016/j. patcog.2024.110532}

以上是西浦、利物浦大學提出：點雲資料增強首個全面綜述的詳細內容。更多資訊請關注PHP中文網其他相關文章！