從論文到程式碼、從前沿研究到工業落地，全面了解BEV感知

BEV 感知到底是什麼？自動駕駛的學術界和工業界又都在關注 BEV 感知的什麼內容？本文將會為你揭曉答案。

在自動駕駛領域中，讓感知模型學習強大的鳥瞰圖（BEV）表徵是一種趨勢，並且已經引起了工業界和學術界的廣泛關注。相較於先前自動駕駛領域中的大多數基於在前視圖或透視圖中執行檢測、分割、追蹤等任務的模型，鳥瞰圖（BEV）表徵能夠讓模型更好地識別被遮擋的車輛，並且有利於後續模組（例如規劃、控制）的開發和部署。

可以看出，BEV 感知研究對自動駕駛領域具有巨大的潛在影響，值得學術界和產業界長期關注並投入大量精力，那麼 BEV 感知到底是什麼？自動駕駛的學術界和工業界大佬又都在關注 BEV 感知的什麼內容？本文將會透過 BEVPerception Survey 為你揭露答案。

BEVPerception Survey 是上海人工智慧實驗室自動駕駛OpenDriveLab 團隊與商湯研究院 合作論文《Delving into the Devils of Bird's-eye-view Perception: A Review, Evaluation and Recipe》 的實用化工具呈現方式，分為基於BEVPercption 的最新文獻研究和基於PyTorch 的開源BEV 感知工具箱兩大板塊。

• #論文網址：https://arxiv.org/abs/2209.05324
• 專案網址：https://github.com/OpenPerceptionX/BEVPerception-Survey-Recipe

#概要解讀、技術解讀

BEVPerception Survey 最新文獻回顧研究主要包含三個部分—BEV 相機、BEV 雷射雷達和BEV 融合#。 BEV 相機表示僅有視覺或以視覺為中心的演算法，用於從多個周圍攝影機進行三維目標檢測或分割；BEV 雷射雷達描述了點雲輸入的檢測或分割任務；BEV 融合描述了來自多個感測器輸入的融合機制，例如攝影機、雷射雷達、全球導航系統、里程計、高清地圖、CAN 總線等。

BEV 感知工具箱#是為基於BEV 相機的3D 物件偵測提供平台，並在Waymo 數據集上提供實驗平台，可以進行手動教學和小規模資料集的實驗。

圖1：BEVPerception Survey 框架

具體來說，BEV相機表示用於從多個周圍相機進行3D 物件偵測或分割的演算法；BEV 雷射雷達表示以點雲作為輸入來完成偵測或分割任務；BEV 融合則是使用多個感測器的輸出作為輸入，例如相機、 LiDAR、GNSS、里程計、HD-Map、CAN-bus 等。

BEVPercption 文獻綜述研究

BEV 相機

BEV 相機感知包含2D 特徵擷取器、視圖變換和3D 解碼器三部分。下圖展示了 BEV 相機感知流程圖，在視圖變換中，有兩種​​方式對 3D 資訊進行編碼 —— 一種是從 2D 特徵預測深度資訊；另一種是從 3D 空間中取樣 2D 特徵。

圖2：BEV 相機感知流程圖

#對於 2D 特徵擷取器， 2D 感知任務中存在大量可以在3D 感知任務中藉鏡的經驗，例如主幹預訓練的形式。 

視圖轉換模組#是與 2D 感知系統非常不同的其中一方面。如上圖所示，一般有兩種方式進行視圖變換：一種是從3D 空間到2D 空間的變換，另一種是從2D 空間到3D 空間的變換，這兩種轉換方法要么是利用在3D 空間中的物理先驗知識或利用額外的3D 資訊監督。值得注意的是並非所有 3D 感知方法都有視圖變換模組，例如有些方法直接從 2D 空間中的特徵檢測 3D 空間中的物件。

3D 解碼器#接收 2D/3D 空間中的特徵並輸出 3D 感知結果。大多數 3D 解碼器的設計來自基於 LiDAR 的感知模型。這些方法在 BEV 空間中執行檢測，但仍有一些 3D 解碼器利用 2D 空間中的特徵並直接回歸 3D 物件的定位。

BEV 光達

#BEV 光達感知的普通流程主要是將兩個分支將點雲數據轉換為BEV 表示。下圖為 BEV 雷射雷達感知流程圖，上分支擷取 3D 空間中的點雲特徵，提供更精確的偵測結果。下分支提取 2D 空間中的 BEV 特徵，提供更有效率的網路。除了基於點的方法能在原始點雲上進行處理外，基於體素的方法還將點體素化為離散網格，透過離散化連續的 3D 座標提供更高效的表示。基於離散體素表示，3D 卷積或 3D 稀疏卷積可用於提取點雲特徵。

#圖3：BEV 雷射雷達感知流程圖

BEV 融合

BEV 感知融合演算法有PV 感知和BEV 感知兩種方式，適用於學術界和工業界。下圖展示了 PV 感知與 BEV 感知流程圖的對比，兩者的主要差異在於 2D 到 3D 的轉換和融合模組。在 PV 感知流程圖中，不同演算法的結果首先被轉換到 3D 空間中，然後使用一些先驗知識或手動設計的規則進行整合。而在 BEV 感知流程圖中，PV 特徵圖會被轉換到 BEV 視角下，然後進行 BEV 空間下的融合從而得到最終的結果，因而能夠最大化保留原始特徵信息，避免過多的手工設計。

#圖4：PV 感知（左）與BEV 感知（右）流程圖

適用於BEV 感知模型的資料集

針對BEV 感知任務存在著許多的資料集。通常資料集由各種場景組成，並且每個場景在不同資料集中的長度不同。下表總結了目前學界常用的資料集。我們可以從中看到 Waymo 資料集相比其他資料集有著更多樣的場景以及更豐富的 3D 偵測框的標註。

###表1：BEV 感知資料集一覽###############然而目前學界並沒有針對Waymo 開發的BEV 感知任務的軟體公開。因此我們選擇基於 Waymo 資料集進行開發，希望可以推動 BEV 感知任務在 Waymo 資料集上的發展。 ######

Toolbox - BEV 感知工具箱

BEVFormer 是一种常用的 BEV 感知方法，它采用时空变换器将主干网络从多视图输入提取的特征转换为 BEV 特征，然后将 BEV 特征输入检测头中得到最后的检测结果。BEVFormer 有两个特点，它具有从 2D 图像特征到 3D 特征的精确转换，并可以把它提取的 BEV 特征适用于不同的检测头。我们通过一系列的方式进一步提升了 BEVFormer 的视图转换质量以及最终的检测性能。

在凭借 BEVFormer 取得 CVPR 2022 Waymo Challenge 第一名后，我们推出了 Toolbox - BEV 感知工具箱，通过提供一整套易于上手的 Waymo Open Dataset 的数据处理工具，从而集成一系列能够显著提高模型性能的方法（包括但不限于数据增强，检测头，损失函数，模型集成等），并且能够与领域内广泛使用的开源框架，如 mmdetection3d 以及 detectron2 兼容。与基础的 Waymo 数据集相比，BEV 感知工具箱将使用技巧加以优化改进以便不同类型研发人员使用。下图展示的是基于 Waymo 数据集的 BEV 感知工具箱使用示例。

图 5：基于 Waymo 数据集的 Toolbox 使用示例

总结

• BEVPerception Survey 总结了近年来 BEV 感知技术研究的总体情况，包括高层次的理念阐述和更为深入的详细讨论。对 BEV 感知相关文献的综合分析，涵盖了深度估计、视图变换、传感器融合、域自适应等核心问题，并对 BEV 感知在工业系统中的应用进行了较为深入的阐述。
• 除理论贡献外，BEVPerception Survey 还提供了一套对于提高基于相机的 3D 鸟瞰图（BEV）物体检测性能十分实用的工具箱，包括一系列的训练数据增强策略、高效的编码器设计、损失函数设计、测试数据增强和模型集成策略等，以及这些技巧在 Waymo 数据集上的实现。希望可以帮助更多的研究人员实现 “随用随取”，为自动驾驶行业研发人员提供更多的便利。

我们希望 BEVPerception Survey 不仅能帮助使用者方便地使用高性能的 BEV 感知模型，同时也能成为新手入门 BEV 感知模型的良好起点。我们着力于突破自动驾驶领域的研发界限，期待与学界分享观点并交流讨论进而不断发掘自动驾驶相关研究在现实世界中的应用潜力。

以上是從論文到程式碼、從前沿研究到工業落地，全面了解BEV感知的詳細內容。更多資訊請關注PHP中文網其他相關文章！