在線建圖與軌跡預測如何緊密結合？

原標題：Producing and Leveraging Online Map Uncertainty in Trajectory Prediction

論文連結：https://arxiv.org/pdf/2403.16439.pdf

程式碼連結：https ://github.com/alfredgu001324/MapUncertaintyPrediction

作者單位：多倫多大學Vector Institute NVIDIA Research 史丹佛大學

#論文想法：

高精（HD）地圖在現代自動駕駛汽車（AV）技術堆疊的發展中扮演了不可或缺的角色，儘管與此相關的標註和維護成本很高。因此，許多近期的工作提出了從感測器資料在線估計HD地圖的方法，使自動駕駛技術堆疊中的整合變得複雜。特別是，它們不產生不確定性或置信度估計。本文擴展了多個最先進的線上地圖估計方法，使其能夠足夠額外估計不確定性，並且在真實世界的nuScenes駕駛資料集上的預測能力提高多達15%。在此過程中，本文發現納入不確定性可以使訓練收斂速度提高多達50%，並且在真實世界的nuScenes駕駛資料集上的預測能力提高多達15%。

主要貢獻：

本文介紹了一個通用的向量化地圖不確定性描述，並擴展了許多最先進的線上地圖估計方法，使其額外輸出不確定性估計，而不會降低純建圖效能。

本文透過實證分析潛藏在的地圖不確定性來源，確認了目前地圖估計方法缺乏置信度的地方，並為未來的研究方向提供了資訊。

本文將討論近期的線上地圖估計模型與多個最先進的軌跡預測方法相結合， 並展示瞭如何透過納入線上建圖不確定性顯著提高下游預測模型的性能和訓練特性，加速訓練收斂速度高達50%，並提高線上預測準確度達15%。

網路設計：

自動駕駛的關鍵組成部分是理解靜態環境，例如，圍繞自動駕駛汽車（AV）的道路佈局和通行性。因此，已經開發出高精度（HD）地圖來捕捉和提供此類信息，包含了道路邊界、車道分隔線以及厘米級的道路標記等語義信息。近年來，HD地圖已被證明對於自動駕駛汽車的開發和部署是不可或缺的，並且在今天已被廣泛使用[35]。然而，HD地圖的標註和長期維護成本高昂，而且它們只能在地理圍欄區域（geofenced areas）使用，這限制了自動駕駛汽車的可擴展性（scalability）。 」。

為了解決這些問題，許多近期的研究轉向從感測器資料在線估計高精（HD）地圖。廣義上，它們的目標是預測地圖元素的位置和類別，通常以多邊形或折線的形式，全部來自相機影像和雷射雷達（LiDAR）掃描。然而，目前的線上地圖估計方法並未產生任何相關的不確定性或置信度資訊。這是有問題的，因為它導致下游使用者(consumers)隱含地假設推斷出的地圖組件是確定的，任何建圖錯誤（例如，地圖元素的移動或放置不正確）可能導致錯誤的下游行為。為此，本文提出揭示在線地圖估計方法中的地圖不確定性，並將其納入下游模組中。具體來說，本文將地圖不確定性納入軌跡預測，並發現在結合了地圖不確定性的mapper-predictor 系統中（圖1）與那些沒有結合地圖不確定性的系統相比，性能有顯著提升。

圖1. 從線上高精（HD）地圖估計方法中產生不確定性，並將其納入下游模組中，帶來了多種好處。左圖：真實的HD地圖和代理位置。中圖：使用MapTR[22]輸出地圖的HiVT[41]預測。右圖：使用MapTR[22]輸出的地圖以及增加了點不確定性（由於左側道路邊界被停放的車輛遮擋，不確定性較大）的HiVT[41]預測。

圖2. 許多線上高精向量地圖估計方法透過編碼多攝影機影像，將它們轉換到一個共同的鳥瞰圖（BEV）特徵空間，並回歸地圖元素的頂點來運作。本文的工作透過增加一個機率回歸頭來增強這種常見的輸出結構，將每個地圖頂點建模為拉普拉斯分佈。為了評估由此產生的下游效應，本文進一步擴展了下游預測模型以編碼地圖不確定性，增強了基於圖神經網路（GNN）和基於Transformer 的地圖編碼器。

實驗結果：

圖3. 本文提出的不確定性表述能夠捕捉到由於自動駕駛車輛（AV）的攝影機與周圍地圖元素之間的遮蔽而產生的不確定性。左圖：前方和前右相機的影像。右圖：本文增強的線上高精地圖模型所產生的HD地圖。橢圓表示分佈的標準差。顏色代表道路邊界、車道分隔線、行人穿越道和車道中心線。

圖4. 在一個密集的停車場中，許多模型未能產生準確的地圖。左圖：後方和後左方攝影機的影像。右圖：本文增強的線上高精地圖模型所產生的HD地圖。橢圓展示了分佈的標準差。顏色代表道路邊界、車道分隔線、行人穿越道和車道中心線。

總結：

本文提出了一個通用的向量化地圖不確定性公式，並擴展了多種最新的線上地圖估計方法，包括MapTR [22]、MapTRv2 [23 ]和StreamMapNet [38]，使它們能夠額外輸出不確定性。本文系統性地分析了產生的不確定性，並發現本文的方法捕捉了許多不確定性來源（遮蔽、與攝影機的距離、一天中的時間和天氣）。最後，本文將這些線上地圖估計模型與最新的軌跡預測方法（DenseTNT [13]和HiVT [41]）結合起來，並展示了結合線上地圖不確定性顯著提高了預測模型的性能和訓練特性，分別高達15%和50%。一個令人興奮的未來研究方向是利用這些不確定性輸出來衡量地圖模型的校準度（類似[16]）。然而，這項任務因需要進行模糊點集匹配而變得複雜，這本身就是一個具有挑戰性的問題。

引用：

Gu X, Song G, Gilitschenski I, et al. Producing and Leveraging Online Map Uncertainty in Trajectory Prediction[J]. arXiv preprint arXiv:2403.16439 , 2024.##########

以上是在線建圖與軌跡預測如何緊密結合？的詳細內容。更多資訊請關注PHP中文網其他相關文章！