4D成像雷達如何與3D多目標追蹤結合？ TBD-EOT或是答案！

大家好，非常感謝自動駕駛之心的邀請，我很榮幸能夠在這裡與大家分享我們的工作

線上3D多目標追蹤（MOT）技術在先進駕駛輔助系統（ADAS）和自動駕駛（AD）中具有重要的應用價值。近年來，隨著業界對於高效能三維感知的需求持續成長，線上3D MOT演算法得到了日益廣泛的研究和關注。對於4D毫米波雷達（又稱4D成像雷達）或光達點雲數據，目前應用在ADAS和AD領域的在線3D MOT演算法大多採用基於檢測後追蹤策略的點目標追蹤（TBD-POT）框架。然而，基於聯合檢測追蹤策略的擴展目標追蹤（JDT-EOT）作為另一個重要的MOT框架，在ADAS和AD領域尚未得到充分研究。本文首次在真實的線上3D MOT應用場景中，對包括TBD-POT，JDT-EOT，以及我們提出的TBD-EOT框架的性能進行了系統性的討論和分析。特別地，本文在View-of-Delft（VoD）和TJ4DRadSet兩個資料集的4D成像雷達點雲資料上對三種框架的SOTA實現進行了性能評估和比較。實驗結果表明，傳統的TBD-POT框架具有計算複雜度低、跟踪性能高的優點，在3D MOT任務中仍然可以作為首要選擇；同時，本文提出的TBD-EOT框架在特定場景下具備超越TBD- POT框架的潛力。值得注意的是，近期得到學術界關注的JDT-EOT框架在ADAS和AD場景下表現表現不佳。本文基於多種效能評估指標對上述實驗結果進行了分析，並給出了在真實應用場景中提高演算法追蹤效能的可能方案。針對基於4D成像雷達的線上3D MOT演算法，上述研究在ADAS和AD領域內提供了首個性能基準測試，並為此類演算法的設計和應用提供了重要的觀點和建議

1 .簡介

線上3D多目標追蹤（MOT）是先進駕駛輔助系統（ADAS）和自動駕駛（AD）中的重要組成部分。近年來，隨著感測器和訊號處理技術的發展，基於相機、光達和雷達等多種類型感測器的線上3D MOT技術得到了廣泛的關注。在各種感測器中，雷達作為唯一的價格低廉且能在極端光照和惡劣氣象條件下工作的感測器，已經在實例分割、目標檢測以及MOT等感知任務中得到了大量應用。然而，儘管傳統的汽車雷達能夠在距離和多普勒速度上有效地區分目標，雷達量測的低角度分辨率仍然限制了目標偵測和多目標追蹤演算法的性能。與傳統汽車雷達不同，近期出現的基於MIMO技術的4D成像雷達能夠測量目標的距離、速度、方位角、俯仰角信息，從而為基於雷達的3D MOT提供了新的發展可能。

3D MOT演算法的設計範式可以分為兩類：基於模型的和基於深度學習的。基於模型的設計範式採用了精心設計的多目標動態模型和測量模型，適合用於開發高效且可靠的3D MOT方法。在基於模型的典型MOT框架中，採用檢測後追蹤策略的點目標追蹤框架得到了學術界和工業界的廣泛接受。點目標追蹤框架假設每個目標在一次感測器掃描中僅產生一個量測點，然而對於雷射雷達和4D成像雷達，一個目標經常在一次掃描中產生多個量測點。因此，在進行目標追蹤之前，首先需要透過目標偵測器將來自同一個目標的多個量測處理成一個偵測結果，例如一個目標偵測框。檢測後追蹤框架的有效性已經在諸多基於真實雷射雷達點雲資料的3D MOT任務中得到了驗證

採用聯合偵測追蹤（JDT）策略的擴展目標追蹤（EOT）作為另一種基於模型的MOT框架，近期在學術界得到了廣泛關注。與POT不同，EOT假設一個目標能夠在一次感測器掃描中產生多個量測，因此在實現JDT時無需額外的目標偵測模組。相關研究指出，JDT-EOT在真實的光達點雲以及汽車雷達檢測點數據上追蹤單一目標時能夠得到良好的性能表現。然而，對於複雜ADAS和AD場景下的線上3D MOT任務，鮮有使用真實資料對EOT進行評估的研究，而且這些研究並未在ADAS/AD資料集上詳細評估EOT框架對不同類型目標的MOT效能，也沒有使用被廣泛接受的性能指標對實驗結果進行系統性的分析。本文的研究首次透過綜合性的評估和分析嘗試回答了這個開放性問題：EOT框架是否能夠應用在複雜ADAS和AD場景下，並獲得優於傳統TBD-POT框架的追蹤效能和計算效率。本文的主要貢獻主要包括：

• 透過比較POT和EOT框架，本文在ADAS和AD領域為此後研究基於4D成像雷達的線上3D MOT方法提供了首個性能基準。文中的效能評估和分析展示了POT和EOT框架各自的優勢和不足，同時為設計線上3D MOT演算法提供了指導建議。
• 為了填補基於EOT的線上3D MOT方法在理論與實際之間的差距，本文首次在真實的ADAS和AD場景下對EOT框架進行了系統性的研究。儘管在學術界廣泛研究的JDT-EOT框架性能表現不佳，本文提出的TBD-EOT框架發揮了深度學習目標檢測器所具有的優勢，從而實現了優於JDT-EOT框架的跟踪性能和計算效率。
• 實驗結果表明，傳統的TBD-POT框架因為具備高追蹤性能和計算效率，所以在基於4D成像雷達的線上3D MOT任務中仍然是優先選擇。然而TBD-EOT框架在特定場合的表現優於TBD-POT框架，展現了在真實ADAS和AD應用中使用EOT框架的潛力。

2.方法

本節介紹在4D成像雷達點雲資料上進行線上3D MOT的三種演算法框架，包括TBD-POT、JDT-EOT和TBD- EOT，如下圖所示：

重寫後的內容：A.框架1：採用偵測後追蹤策略的點目標追蹤（待定-點目標追蹤）

TBD-POT框架已經在基於多種感測器的MOT研究中得到了廣泛的接受。在這個追蹤框架下，4D成像雷達點雲首先經過目標偵測器的處理產生3D偵測框，提供例如目標位置、偵測框尺寸、朝向、目標類別、偵測得分等資訊。為了簡化計算，POT演算法通常選取直角座標系下的二維目標位置作為量測，並在鳥瞰視角（BEV）下進行MOT。再將估計得到的目標位置與3D偵測框的其他資訊結合，得到最終的3D追蹤結果。 TBD-POT框架有兩個主要優勢：1）POT演算法能夠利用目標類型和偵測得分等附加資訊來提升追蹤效能；2）POT演算法通常比EOT演算法計算複雜度更低。

我們選擇全域最近鄰泊鬆多伯努利濾波器（GNN-PMB）作為POT演算法，該演算法在基於雷射雷達的線上3D MOT任務中取得了SOTA性能。 GNN-PMB透過傳播PMB密度估計多目標狀態，其中未偵測到的目標由泊松點過程（PPP）建模，偵測到的目標由多伯努利（MB）密度建模。資料關聯透過管理局部假設和全局假設來實現。在每個時刻，一個量測可能與一個已經被追蹤的目標、一個新偵測目標、或是一個虛警相關聯，形成不同的局部假設。相容的局部假設被統合在一個全局假設中，描述當前所有目標與量測的關聯關係。與計算並傳播多個全域假設的泊鬆多伯努利混合（PMBM）濾波器不同，GNN-PMB僅傳播最優的全域假設，從而降低了計算複雜度。綜上所述，本文所研究的第一個在線3D MOT框架將一個基於深度學習的目標檢測器與GNN-PMB演算法相結合

B.框架2：採用聯合檢測跟踪策略的擴展目標追蹤（JDT-EOT）

與第一種框架TBD-POT不同，JDT-EOT框架透過同時偵測和追蹤多個目標，能夠直接處理4D成像雷達點雲。首先，點雲透過聚類形成可能的量測劃分（點簇），然後EOT演算法使用這些點簇進行3D MOT。理論上，因為點雲相比經過預處理的3D檢測框具有更豐富的信息，這種框架能夠更準確地估計目標位置、形狀並減少目標漏檢。然而對於包含大量雜波的4D成像雷達點雲，產生精確的測量劃分是比較困難的。由於不同目標的點雲空間分佈也可能不同，JDT-EOT框架通常採用DBSCAN和k-means等多種聚類演算法結合不同的參數設置，產生盡可能多的可能量測劃分。這進一步增加了EOT的運算複雜度，影響這個框架的即時性。

本文選擇了基於伽瑪高斯逆威沙特（GGIW）分佈的PMBM濾波器實現JDT-EOT框架。 GGIW-PMBM濾波器是具有SOTA估計精度和計算複雜度的EOT演算法之一。選擇PMBM濾波器是因為演算法使用多伯努利混合（MBM）密度建模目標並且傳播多個全局假設，能夠較好地應對雷達量測的高度不確定性。 GGIW模型假設一個目標產生的測量點數服從泊松分佈，單一量測服從高斯分佈。在這個假設下，每個目標的外形呈橢圓形，以逆威沙特（IW）密度描述，橢圓的長軸和短軸可以用來形成目標的矩形外框。這種外形建模較為簡單，適用於多種類型的目標，並且在現有EOT演算法實作中計算複雜度最低。

C. 框架3：使用偵測後追蹤策略的擴展目標追蹤（TBD-EOT）

为了在EOT框架下发挥深度学习目标检测器的优势，我们提出了第三种MOT框架：TBD-EOT。与在完整点云上进行聚类的JDT-EOT框架不同，TBD-EOT框架在进行聚类前首先选出在目标3D检测框内部的有效雷达量测点，这些量测点更可能来源于真实目标。与JDT-EOT相比，TBD-EOT框架具有两方面的优势。首先，移除可能来源于杂波的量测点后，EOT算法中数据关联步骤的计算复杂度将显著降低，同时虚假检测的数量也可能减少。其次，EOT算法可以利用源自检测器的信息，进一步提高跟踪性能。例如为不同类别的目标设定不同的跟踪参数，丢弃检测得分低的目标检测框等。TBD-EOT框架在部署时使用了与TBD-POT相同的目标检测器，同时采用GGIW-PMBM作为EOT滤波器。

3.实验与分析

A.数据集和评估指标

本文在VoD数据集的0、8、12、18号序列和TJ4DRadSet的0、10、23、31、41号序列中的Car、Pedestrian、Cyclist类别上对三种MOT框架进行了评估。输入TBD-POT和TBD-EOT框架的目标检测结果由SMURF提供，该方法是4D成像雷达点云上的SOTA目标检测器之一。由于JDT-EOT不能获取目标的类型信息，我们在GGIW-PMBM算法的状态提取过程增加了根据目标外形尺寸判断类别的启发式目标分类步骤。

本文后续的评估选用了包括MOTA、MOTP、TP、FN、FP和IDS在内的一组常用MOT性能指标。此外我们还应用了一种较新的MOT性能指标：高阶跟踪精度（HOTA）。HOTA可以分解成检测精度（DetA）、关联精度（AssA）和定位精度（LocA）子指标，有助于更明确地分析MOT性能。

跟踪框架性能对比的内容需要进行重写

在VoD数据集上，对于三种MOT框架的算法实现SMURF GNN-PMB、GGIW-PMBM和SMURF GGIW-PMBM进行了参数调优。它们的性能如下表所示：

各算法在TJ4DRadSet数据集上的性能如下表所示：

1）GGIW-PMBM的性能

实验结果表明，GGIW-PMBM的性能表现低于预期。由于跟踪结果包含大量的FP和FN，GGIW-PMBM在三个类别上的检测精度很低。为了分析这一现象的成因，我们使用未经分类的跟踪结果计算了TP与FN，如下表所示。可观察到三个类别上的TP数量均有明显提升，说明GGIW-PMBM能够产生接近真实目标位置的跟踪结果。然而如下图所示，GGIW-PMBM估计的目标大部分具有相似的长度和宽度，这导致启发式目标分类步骤无法基于目标尺寸有效区分目标类型，对跟踪性能造成了不利影响。

进一步分析了GGIW-PMBM在两个数据集上的性能差异。在TJ4DRadSet数据集上，行人和骑车者的MOTA指标远低于VoD数据集，这表明GGIW-PMBM在TJ4DRadSet上产生了更多的虚假轨迹。造成这种现象的原因可能是TJ4DRadSet数据集包含更多来自道路两侧障碍物的杂波测量，如下图所示。由于大部分路边障碍物是静止不动的，可以在聚类之前去除低径向速度的雷达测量点来改善这个问题。由于TJ4DRadSet尚未公开自车运动数据，本文没有提供额外的实验证据。尽管如此，我们可以推测类似的处理步骤同样会影响到静止目标的雷达点云，增加这些目标未能被正确跟踪的可能性

总体而言，GGIW-PMBM未能在真实的4D成像雷达点云上获得良好的性能，主要因为在没有目标检测器提供额外信息的情况下，算法难以通过启发式方法判断跟踪结果的类别，或是区分来自目标的点云与背景杂波。

2）SMURF GNN-PMB和SMURF GGIW-PMBM的性能

SMURF GNN-PMB和SMURF GGIW-PMBM都利用了来自目标检测器的信息。实验结果显示，前者在Car类别上的性能明显优于后者，主要原因是后者对于Car目标的定位精度较低。造成这种现象的主要原因是点云分布建模的误差。如下图所示，对于车辆目标，雷达点云倾向于聚集在靠近雷达传感器的一侧。这与GGIW模型中量测点在目标表面均匀分布的假设不符，导致SMURF GGIW-PMBM估计得到的目标位置和外形与真实值产生偏差。因此，在跟踪车辆等大型目标时，使用更准确的目标量测模型，例如高斯过程，可能有助于TBD-EOT框架获得更好的性能，但这也可能增加算法的计算复杂度

我们同样观察到SMURF GGIW-PMBM和SMURF GNN-PMB在Cyclist类别上的性能差距缩小了，前者的HOTA指标在Pedestrian类别上甚至优于后者。此外，SMURF GGIW-PMBM在Pedestrian和Cyclist类别上的IDS数量也更少。这些现象的成因可能包括：首先，GGIW-PMBM根据估计的GGIW密度自适应计算目标的检测概率；其次，GGIW-PMBM在计算关联假设似然时不仅考虑了目标位置，同时也考虑了目标量测点的数量和空间分布。对于Pedestrian和Cyclist等小型目标，雷达点在目标表面分布更加均匀，更符合GGIW模型假设；因此SMURF GGIW-PMBM能够利用来自点云的信息更准确地估计检测概率和关联假设似然，从而通过减少轨迹中断和错误关联来提高定位、关联和ID维持方面的性能。

4.结论

本文对比了基于4D成像雷达点云的在线3D MOT任务中POT和EOT框架的性能。我们在VoD和TJ4DRadSet两个数据集的Car、Pedestrian和Cyclist类别上评估了TBD-POT、JDT-EOT和TBD-EOT三种框架的跟踪性能。结果显示，传统的TBD-POT框架仍然有效，其算法实现SMURF GNN-PMB在Car和Cyclist类别上表现最佳。然而，JDT-EOT框架无法有效去除杂波量测，导致过多的量测划分假设，使GGIW-PMBM的性能不尽如人意。在本文提出的TBD-EOT框架下，SMURF GGIW-PMBM在Pedestrian类别上实现了最佳的关联和定位精度，并且在Pedestrian和Cyclist类别上实现了可靠的ID估计，展现出超越TBD-POT框架的潜力。然而，SMURF GGIW-PMBM无法有效建模非均匀分布的雷达点云，导致其对于车辆目标的跟踪性能较差。因此，未来需要进一步研究更符合实际且计算复杂度低的扩展目标模型

需要重写的内容是：原文链接：https://mp.weixin.qq.com/s/ZizQlEkMQnlKWclZ8Q3iog

以上是4D成像雷達如何與3D多目標追蹤結合？ TBD-EOT或是答案！的詳細內容。更多資訊請關注PHP中文網其他相關文章！