一文讀懂自動駕駛的光達與視覺融合感知

2022年是智慧駕駛由L2向L3/L4跨越的窗口期，越來越多的汽車廠商開始佈局更高級別的智慧駕駛量產，汽車智慧化時代已悄然而至。

隨著雷射雷達硬體的技術提升，車規級量產和成本下行，高級別智慧駕駛功能促進了雷射雷達在乘用車領域的量產上車，多款搭載光達的車型將在今年交付，2022年也被稱為「光達上車元年」。

01 光達感測器vs影像感測器

#雷射雷達是用於精準獲取物體三維位置的感測器，本質上是激光探測和測距。憑藉在目標輪廓測量、通用障礙物檢出等方面所具有的極佳性能，正在成為L4自動駕駛的核心配置。

然而，雷射雷達的測距範圍（一般在200公尺左右，不同廠商的量產型號指標各異）導致感知範圍遠小於影像感測器。

又由於其角解析度（一般為0.1°或0.2°）比較小，導致點雲的解析度遠小於影像感測器，在遠距離感知時，投射到目標物上的點可能及其稀疏，甚至無法成像。對於點雲目標偵測來說，演算法真正能用的點雲有效距離大約只有100公尺左右。

影像感測器能以高幀率、高解析度獲取周圍複雜信息，且價格便宜，可以部署多個不同FOV和解析度的感測器，用於不同距離和範圍的視覺感知，解析度可以達到2K-4K。

但影像感測器是被動式感測器，深度感知不足，測距精度差，特別是在惡劣環境下完成感知任務的難度會大幅提升。

在面對強光、夜晚低照度、雨雪霧等天氣和光線環境，智慧駕駛對感光元件的演算法要求很高。雖然雷射雷達對環境光線影響不敏感，但對於積水路面、玻璃牆面等，測距將會受到很大影響。

可以看出，光達和影像感測器各有優劣。大多數高階智慧駕駛乘用車選擇將不同感測器進行融合使用，優勢互補、冗餘融合。

這樣的融合感知方案也成為了高階自動駕駛的關鍵技術之一。

02 基於深度學習的點雲和影像融合感知

#點雲和影像的融合屬於多感測器融合（Multi-Sensor Fusion ,MSF）的技術領域，有傳統的隨機方法和深度學習方法，按照融合系統中資訊處理的抽象程度，主要分為三個層次：

資料層融合（Early Fusion）

首先將感測器的觀測資料融合，然後從融合的資料中提取特徵進行識別。在3D目標檢測中，PointPainting（CVPR20）採用這種方式，PointPainting方法先是對圖像做語義分割，並將分割後的特徵通過點到圖像像素的矩陣映射到點雲上，然後將這個“繪製點”的點雲送到3D點雲的偵測器對目標Box進行回歸。

#特徵層融合（Deep Fusion）

先從每個感測器提供的觀測資料中擷取各自然資料特徵，並對這些特徵融合後進行辨識。在基於深度學習的融合方法中，這種方式對點雲和圖像分支都各自採用特徵提取器，對圖像分支和點雲分支的網絡在前反饋的層次中逐語義級別融合，做到多尺度信息的語意融合。

基於深度學習的特徵層融合方法，對於多個感測器之間的時空同步要求很高，一旦同步不好，直接影響特徵融合的效果。同時，由於尺度和視角的差異，LiDAR和影像的特徵融合很難達到1 1>2的效果。

決策層融合（Late Fusion）

相對前兩種來說，是複雜度最低的一種融合方式。不在資料層或特徵層融合，是一種目標層級的融合，不同感測器網路結構互不影響，可以獨立訓練和組合。

由於決策層融合的兩類感測器和偵測器相互獨立，一旦某感測器發生故障，仍可進行感測器冗餘處理，工程上穩健性較好。

隨著雷射雷達與視覺融合感知技術的不斷迭代，以及不斷累積的知識場景與案例，會出現越來越多的全端融合運算解決方案為自動駕駛帶來更安全與可靠的未來。

以上是一文讀懂自動駕駛的光達與視覺融合感知的詳細內容。更多資訊請關注PHP中文網其他相關文章！