量產殺器！ P-Mapnet：利用低精地圖SDMap先驗，建圖效能暴力提升近20點！

写在前面

当前自动驾驶系统摆脱对高精度地图依赖的算法之一，是利用远距离范围下的感知表现依然较差的现实依然较差。为此，我们提出了P-MapNet，其中的“P”专注于融合地图先验来提高模型性能。具体来说，我们利用了SDMap和HDMap中的先验信息：一方面，我们从OpenStreetMap中提取了弱对准的SDMap数据，并将其编码为独立的条款来支持输入。严格修改输入与实际HD Map存在弱对齐的问题，我们基于Cross-attention机制的结构能够自适应地关注SDMap骨架，并带来显著的性能提升；另一方面，我们提出了一种使用MAE来捕捉HDMap的先验分布的refine模块，该模块有助于生成更符合实际地图的分布，有助于减小遮挡、伪影等影响。我们在nuScenes和Argoverse2数据集上进行了广泛的实验验证。

图 1

总结来说我们的贡献如下：

我们的SDMap先进能够提升在线地图生成性能，包含了栅格化（最多可提高18.73 mIoU）和量化化（最多可提高8.50 mAP）两种地图表现。

（2）我们的HDMap先验能够将地图感知指标提升最多6.34%。

（3）P-MapNet可以切换到不同的推理模式，以在精度和效率之间进行权衡。

P-MapNet是一种远距离HD Map生成的解决方案，对于较远的感知范围能够带来更大的改进。我们的代码和模型已经公开发布在https://jike5.github.io/P-MapNet/。

相关工作回顾

（1）在线地图生成

HD Map的制作主要包含SLAM建图、自动标注、人工标注等步骤。这导致了HD Map的成本高、鲜度有限。因此，在线地图生成对于自动驾驶系统是至关重要的。HDMapNet将地图元素通 过格化化进行表达，使用pixel-wise的预测和后处理方法获得矢量化的预测结果。最近的一些方法，如MapTR、PivotNet、Streammapnet等基于Transformer架构实现了端到端的矢量化预测，但这些方法仅使用传感器输入，在遮挡、极端天气等复杂环境下性能仍有限。

（2）远距离地图感知

为了让在线地图生成的结果能够更好的被下游模块使用，一些研究尝试将地图感知范围进一步拓展。SuperFusion[7]通过融合激光雷达和相机，通过depth-aware BEV变换，实现了前向90m的远距离预测。NeuralMapPrior[8]通过维护和更新全局神经地图先验来增强当前在线观测的质量、拓展感知的范围。[6]通过将卫星图像与车载传感器数据进行特征聚合来获得BEV特征，进一步再进行预测。MV-Map则专注于离线、长距离的地图生成，该方法通过聚合所有关联帧特征，并使用神经辐射场来对BEV特征进行优化。

概述P-MapNet

整体框架如图 2所示。

图 2

输入： 系统输入为点云： 、环视相机：，其中  为环视相机数量。通常的HDMap生成任务(例如HDMapNet)可以定义为：

其中 表示特征提取，  表示segmentation head， 则是HDMap的预测结果。

我们所提出的P-MapNet融合了SD Map和HD Map先验，这种新任务( setting)可以表示为：

其中， 表示SDMap先验， 表示本文所提的refinement模块。 模块通过预训练的方式学习HD Map分布先验。类似的，当只使用SDMap先验时，则得到 -only setting：

输出：对于地图生成任务，通常有两种地图表示形式：栅格化和矢量化。在本文的研究中，由于本文所设计的两个先验模块更适合栅格化输出，因此我们主要集中在栅格化的表示上。

3.1 SDMap Prior 模块

SDMap数据生成

本文基于nuScenes和Argoverse2数据集进行研究，使用OpenStreetMap数据生成以上数据集对应区域的SD Map数据，并通过车辆GPS进行坐标系变换，以获取对应区域的SD Map。

BEV Query

如圖2所示，我們首先分別對影像資料進行特徵提取與視角轉換、對點雲進行特徵提取，得到BEV特徵。然後將BEV特徵透過卷積網路進行下採樣後得到新的BEV特徵：，將該特徵圖展平得到BEV Query。

SD Map先驗融合

SD Map數據，透過卷積網路進行特徵提取後，得到的特徵  與BEV Query進行Cross-attention機制：

經過交叉注意力機制後得到的BEV特徵透過segmentation head可以獲得地圖元素的初始預測。

3.2、HDMap Prior 模組

直接將柵格化的HD Map作為原始MAE的輸入，MAE則會透過MSE Loss進行訓練，導致無法作為refinement模組。因此在本文中，我們透過將MAE的輸出替換為我們的segmentation head。為了讓預測的地圖元素具有連續性和真實性(與實際HD Map的分佈更貼近)，我們使用了一個預先訓練的MAE模組來進行refine。訓練此模組包含兩步驟：第一步上使用自監督學習訓練MAE模組來學習HD Map的分佈，第二步是透過使用第一步得到的權重作為初始權重，對網路的所有模組進行微調。

第一步預訓練時，從資料集中取得的真實HD Map經過隨機mask後作為網路輸入 ，訓練目標則為補全HD Map：

第二步驟fine-tune時， 則使用第一步預訓練的權重作為初始權重，完整的網路為：

4、實驗

4.1 資料集和指標

我們在兩個主流的資料集上進行了評測：nuScenes和Argoverse2。為了證明我們所提方法在遠距離上的有效性，我們設定了在三種不同的探測距離：, , 。其中， 範圍中BEV Grid的解析度為0.15m，另外兩種範圍下解析度為0.3m。我們使用mIOU指標來評估柵格化預測結果，並使用mAP來評估向量化預測結果。為了評估地圖的真實性，我們也使用了LPIPS指標作為地圖感知指標。

4.2 結果

與SOTA結果比較：我們將所提的方法與目前SOTA方法在短距離（60m × 30m）和長距離（90m × 30m ）下的地圖生成結果進行比較。如表II所示，我們的方法在與現有的僅視覺和多模態（RGB LiDAR）方法相比表現出更優越的性能。

我們在不同距離和使用不同感測器模式下，與HDMapNet [14] 進行了效能比較，結果總結在表I和表III。我們的方法在240m×60m範圍的mIOU上取得了13.4%改進。隨著感知距離超出或甚至超過感測器偵測範圍，SDMap先驗的有效性變得更加顯著，從而驗證了SDMap先驗的功效。最後，我們利用HD地圖先驗透過將初始預測結果精細化以使其更加真實，並消除了錯誤結果，進一步帶來了效能提升。

HDMap先驗的知覺度量指標。 HDMap先驗模組將網路的初始預測映射到HD地圖的分佈上，使其更加真實。為了評估HDMap先驗模組輸出的真實性，我們利用了感知度量LPIPS 數值越低表示效能越好）進行評測。如表IV所示，在  setting 中LPIPS指標比 -only setting 中的提升更大。

#視覺化：

###

以上是量產殺器！ P-Mapnet：利用低精地圖SDMap先驗，建圖效能暴力提升近20點！的詳細內容。更多資訊請關注PHP中文網其他相關文章！