全新BEV LV融合方案：超越BEVFusion的Lift-Attend-Splat

論文：利用Transformer技術進行鳥瞰攝影機和雷射雷達融合的Lift-Attend-Splat方法

請點擊連結查看文件：https://arxiv.org/pdf/2312.14919.pdf

#對於自動駕駛等安全關鍵應用來說，結合互補的感測器模態是至關重要的。最近的自動駕駛相機-光達融合方法使用單目深度估計來提高感知能力，但相比直接使用光達的深度信息，這是一項困難的任務。我們的研究發現，這種方法並沒有充分利用深度信息，並且證明天真地改進深度估計並不能提高目標檢測性能。令人驚訝的是，完全取消深度估計並不會降低目標檢測性能

這表明，在相機-光達融合過程中，依賴單目深度可能是一個不必要的架構瓶頸。本研究提出了一種新的融合方法，完全繞過了單目深度估計，而是利用簡單的注意力機制在BEV網格中選擇和融合相機和雷射雷達的特徵。研究結果表明，提出的模型能夠根據雷射雷達特徵的可用性來調整其對相機特徵的使用，並且在nuScenes資料集上比基於單目深度估計的基線模型有更好的3D檢測性能

本研究介紹了一種名為「Lift Attented Splat」的新型相機-雷射雷達融合方法。此方法避免了單眼深度估計，而是利用簡單的transformer在BEV中選擇和融合相機和雷射雷達的特性。實驗證明，與基於單目深度估計的方法相比，本研究方法能更好地利用相機，並提高物體偵測效能。本研究的貢獻如下：

1. 基於Lift Splat範式的相機-雷射雷達融合方法並沒有像預期的那樣利用深度。特別地，我們表明，如果完全去除單目深度預測，它們的性能相當或更好。
2. 本文介紹了一種新的相機-光達融合方法，該方法使用簡單的注意力機制融合純BEV中的相機和光達特徵。論文證明，與基於Lift Splat範式的模型相比，它可以更好地利用相機，並提高3D檢測性能。

主要結構介紹

深度預測的準確度通常較低。透過使用絕對相對誤差（Abs.Rel.）和均方根誤差（RMSE）來對比BEVFusion預測的深度品質與雷射雷達深度圖，可以進行定性和定量分析。如圖1所示，深度預測不能準確反映場景的結構，並且與光達深度圖有明顯差異，這表明單目深度沒有像預期那樣被充分利用。研究也發現，改進深度預測並不能提高物體偵測性能！完全取消深度預測不會對物體檢測性能產生影響

我們提出了一種相機-光達融合方法，該方法完全繞過單目深度估計，而是使用簡單的transformer在鳥瞰圖中融合相機和光達特徵。然而，由於大量的相機和光達特徵以及注意力的二次性，transformer架構很難簡單地應用於相機-雷射雷達融合問題。在BEV中投影相機特徵時，可以使用問題的幾何形狀來大幅限制注意力的範圍，因為相機特徵應該只對沿其對應光線的位置有貢獻。我們將這一想法應用於相機-雷射雷達融合的情況，並介紹了一種簡單的融合方法，該方法使用相機平面中的柱和雷射雷達BEV網格中的極射線之間的交叉注意力！交叉注意力不是預測單目深度，而是在光達特徵沿著其光線提供的背景下，學習哪些相機特徵是最顯著的

我們的模型與基於Lift Splat範式的方法具有相似的整體架構，除了在BEV中投影相機特徵。如下圖所示，它由相機和光達主幹、獨立生成每個模態特徵的模組、將相機特徵嵌入BEV並與光達融合的投影和融合模組以及檢測頭組成。在考慮目標偵測時，模型的最終輸出是場景中目標的屬性，包括位置、維度、方向、速度和分類信息，以3D邊界框的形式表示

Lift Attented Splat相機雷射雷達融合架構如下圖所示。 （左）整體架構：相機和光達主幹的特徵在傳遞到偵測頭之前融合在一起。 （inset）我們的3D投影的幾何結構：「Lift」步驟透過使用雙線性取樣沿z方向提升雷射雷達特徵，將光達BEV特徵嵌入投影地平線。 「splat」步驟對應於逆變換，因為它使用雙線性採樣將特徵從投影的地平線投影回BEV網格，再次沿著z方向！右邊是project模組的細節部分。

實驗結果

#原文連結：https://mp.weixin.qq.com/s/D7xgvrp8633S2SeUfCRFXQ

#

以上是全新BEV LV融合方案：超越BEVFusion的Lift-Attend-Splat的詳細內容。更多資訊請關注PHP中文網其他相關文章！