增強多模態3D目標偵測的準確特徵對齊：GraphAlign的應用

原標題：GraphAlign: Enhancing Accurate Feature Alignment by Graph matching for Multi-Modal 3D Object Detection

需要重寫的內容是：論文連結：https://arxiv.org/pdf/2310.08261. pdf

作者單位：北京交通大學河北科技大學清華大學

##論文想法：

LiDAR 和相機是自動駕駛中3D目標偵測的互補感光元件。然而，研究點雲和影像之間的非自然交互作用具有挑戰，關鍵在於如何進行異構模態的特徵對齊。目前，許多方法僅透過投影校準來實現特徵對齊，而忽略了感測器之間座標轉換精度誤差的問題，導致性能次優。本文提出了一種名為GraphAlign的更準確的特徵對齊策略，透過圖匹配來進行3D目標檢測。具體而言，本文將影像分支中語意分割編碼器的影像特徵與LiDAR分支中3D稀疏CNN的點雲特徵進行融合。為了減少運算量，本文利用歐氏距離計算在點雲特徵子空間內進行最近鄰關係構造。透過影像和點雲之間的投影校準，將點雲特徵的最近鄰投影到影像特徵上。然後，透過將單一點雲的最近鄰與多個影像進行匹配，本文搜尋更合適的特徵對齊。此外，本文也提供了一個自註意力模組，以增強重要關係的權重，從而微調異構模態之間的特徵對齊。在nuScenes基準測試中進行了大量實驗證明了本文提出的GraphAlign的有效性和效率

#主要貢獻：

本文提出了GraphAlign，一種基於圖匹配(graph matching)的特徵對齊框架，來解決多模態3D 目標偵測中的未對齊問題。

本文提出圖形特徵對齊(Graph Feature Alignment)（GFA）和自註意力特徵對齊(Self-Attention Feature Alignment)（SAFA）模組來實現圖像特徵和點雲特徵的精確對齊，這可以進一步增強點雲和影像模態之間的特徵對齊，從而提高偵測精度。

透過使用KITTI和nuScenes兩個基準進行實驗，我們證明了GraphAlign可以有效提高點雲檢測的精確度，尤其是在遠距離目標檢測方面

網路設計：

圖1. 特徵對齊策略的比較

(a) 基於投影的方法可以快速建立模態特徵之間的關係，但可能會因感測器誤差而出現未對齊的情況。 (b) 基於注意力的方法透過學習對齊來保留語意訊息，但計算成本較高。 (c) 本文提出的 GraphAlign 使用基於圖形的特徵對齊來匹配模態之間更合理的對齊，從而減少計算量並提高準確性。

圖 2. GraphAlign 的框架。

重新寫成中文如下：它由圖形特徵對齊（GFA）模組和自註意力特徵對齊（SAFA）模組組成。 GFA模組接收影像和點雲特徵作為輸入，利用投影校準矩陣將3D位置轉換為2D像素位置，建構局部鄰域資訊來尋找最近鄰，並結合影像和點雲特徵。 SAFA模組透過自註意力機制對K近鄰之間的上下文關係進行建模，以增強融合特徵的重要性，並最終選擇最具代表性的特徵

圖3. GFA 處理流程

(a) 感測器精度誤差導致未對齊。 (b) GFA透過點雲特徵中的圖建立鄰近關係。 (c) 本文將點雲特徵投影到影像特徵上，並獲得影像特徵的 K 個最近鄰。 (d) 本文執行一對多融合，具體來說，透過將每個單獨的點雲特徵與 K 個相鄰影像特徵融合來實現更好的對齊。

圖4.SAFA 模組流程

我們簡化了head和max模組，SAFA模組的目的是改善K鄰域之間的全局上下文信息，以增強融合特徵的表示

實驗結果：

引用：

Song, Z., Wei, H., Bai, L., Yang, L., & Jia, C. (2023) . GraphAlign: Enhancing Accurate Feature Alignment by Graph matching for Multi-Modal 3D Object Detection.

 ArXiv. /abs/2310.08261

###### //mp.weixin.qq.com/s/eN6THT2azHvoleT1F6MoSw###

以上是增強多模態3D目標偵測的準確特徵對齊：GraphAlign的應用的詳細內容。更多資訊請關注PHP中文網其他相關文章！