一文詳解智慧駕駛感知系統測試技術

前言

隨著人工智慧及其軟硬體技術的進步，近年來自動駕駛獲得了快速發展。自動駕駛系統已經被應用於民用汽車輔助駕駛器、自動物流機器人、無人機等領域。感知組件是自動駕駛系統的核心，它使得車輛能夠分析和理解內外交通環境資訊。然而，與其他軟體系統一樣，自動駕駛感知系統困擾於軟體缺陷。並且，自動駕駛系統運行於安全相關場景，其軟體缺陷可能導致災難性後果。近年來，已經發生多起自動駕駛系統缺陷導致的傷亡事故。自動駕駛系統測試技術受到學術界和工業界的廣泛重視。企業與研究機構提出了一系列包括虛擬模擬測試、實景道路測試和虛實結合測試等在內的技術和環境。然而，由於自動駕駛系統輸入資料類型的特殊性和運作環境的多樣性，這類測試技術的實施過程需要消耗過多資源，並需要承擔較大風險。本文簡要分析目前自動駕駛感知系統測試方法的研究和應用現況。

1  自動駕駛感知系統測試

#自動駕駛感知系統的品質保證越來越重要。感知系統需要幫助車輛自動分析和理解路況訊息，其組成非常複雜，需要充分檢驗待測系統在眾多交通場景下的可靠性和安全性。目前自動駕駛感知測試主要分為三大類。無論何種測試方法，都表現出了一個區別於傳統測試的重要特徵，即對於測試數據的強依賴性。

第一類測試主要基於軟體工程理論和形式化方法等，以感知系統實現的模型結構機制為切入點的測試。這種測試方法建立在對自動駕駛感知運行機制和系統特徵的高度理解。這種偏向感知系統邏輯測試的目的是在系統開 發早期發現感知模組設計缺陷，以保障早期系統迭代中模 型演算法的有效性。研究人員基於自動駕駛演算法模型特徵，提出了一系列測試資料產生、測試驗證指標、測試評估方法和技術。

第二類測試虛擬模擬方法，借助電腦抽象實際交通 系統來完成測試任務，包括在預設虛擬環境下的系統測試或針對感知組件的獨立測試。虛擬模擬測試的效果依賴 虛擬環境真實度、測試資料品質和具體測試執行技術，需 充分考慮模擬環境建構方法、資料品質評估和測試驗證 技術的有效性。自動駕駛環境感知和場景分析模型依賴大規模的有效交通場景資料進行訓練和測試驗證。國內外研 究者針對交通場景及其資料構造生成技術進行了大量的研究。利用數據變異、模擬引擎生成和遊戲模型渲染等方法 建立虛擬測試場景數據，從而獲得高品質的測試數據，並將不同的生成測試數據用於自動駕駛模型和數據擴增和增 強。測試場景和資料生成是關鍵技術。測試案例必須足夠 豐富，以涵蓋測試樣本的狀態空間。需要在極端交通情況 下產生測試樣本，測試系統在這些邊界用例下決策輸出模 型的安全性。虛擬測試往往結合現有的測試理論和技術，建構用於評估和驗證測試效果的有效方法。

第三類是對搭載自動駕駛感知系統的真實車輛進行路測，包括預設的封閉場景測試和實際路況測試等。這類測試優點在於真實環境下的測試可以充分保障結果的有 效性。然而，這類方法存在測試場景難以滿足多樣化需求，相關交通場景資料樣本取得困難，真實道路擷取資料人工標註成本高昂、標註品質參差不齊，測試里程要求過大，資料擷取週期過長等困難。危險場景人工駕駛有安全風險，在現實世界中測試人員很難解決這些問題。同時，交通場景資料也受到資料來源單一、資料多樣性不足等問 題，不足以滿足軟體工程中自動駕駛研究人員的測試驗證 要求。儘管如此，道路測試作為傳統汽車測試不可缺少的 一環，在自動駕駛感知測試中極為重要。

#

從測試類型來看，感知系統測試針對車輛開發生命週期，有不同的測試內容。自動駕駛測試可分為模型在環(MiL)測試、軟體在環（SiL）測試，硬體在環 (HiL)測試、整車在環 (ViL) 測試等。本文重點介紹自動駕駛感知系統測試 SiL 和 HiL 相關部分。 HiL 包含感知硬體設備，如相機、光達、人機互動感知模組。而 SiL 則透過軟體模擬來取代真實硬體產生的資料。兩者的測試目的都是在於驗證自動駕駛系統的功能、性能、穩健性和可靠性等。針對特定的測試對象，不同類型的測試在每個感知系統開發階段，結合不同的測試技術，完成對應的驗證要求。目前自動駕駛感知資訊主要來自於幾類主要資料的分析獲得，包括基於影像（攝影機）、點雲（雷射雷達）、以及融合感知系統。本文主要分析這三類數據的感知測試。

2 自動駕駛影像系統測試

多型攝影機擷取的影像是自動駕駛感知最為重要的輸入資料類型之一。影像資料能夠提供車輛運行前視、環視、後視和側視環境信息，幫助自動駕駛系統實現道路測距、目標識別與追蹤、自動變換車道分析等功能。影像資料具有多種格式，例如 RGB 影像、語意影像、景深影像等。這些影像格式儲存具有各自的特點，例如RGB影像色彩資訊更加豐富，景深圖片則包含更多的場景深度信息，語義影像基於像素分類獲得，對於目標檢測和追蹤任務更加有利。

基於影像的自動駕駛感知系統測試依賴大規模的有效交通場景影像進行訓練和測試驗證。然而真實道路採集資料人工標註成本高昂，資料採集週期過長，危險場景人工駕駛法規不完善，標註品質參差不齊。同時，交通場景資料也受到資料來源單一、資料多樣性不足等因素影響，不足以滿足自動駕駛研究的測試驗證要求。

國內外研究者針對交通場景資料的建構生成技術進行了大量的研究，利用資料變異、對抗生成網路、模擬引擎生成和遊戲模型渲染等方法建構虛擬測試場景數據，從而獲得高品質的測試數據，將不同的生成測試數據用於自動駕駛模型和數據增強。使用影像硬編碼變換的方法產生測試影像是一種有效方法。可以利用多種數學變換和影像處理技術變異原始影像，測試自動駕駛系統在不同環境條件下潛在的錯誤行為。

Zhang等人使用了基於對抗生成網路的方法進行影像風格變換，以模擬指定環境條件的車輛駕駛場景。一 一些研究在虛擬環境中執行自動駕駛測試，利用從實體模擬 模型中的 3D模型建構交通場景，並渲染為 2D的影像作 為感知系統的輸入。測試影像還可以利用合成方式生成，在低維度影像的子空間中取樣可修改內容並進行影像合成，和對影像直接變異相比，合成場景更加豐富，且影像擾動操作更加自由。 Fremont等人使用自動駕駛領域特定 程式語言 Scenic預先設計測試場景，使用遊戲引擎介面 產生特定交通場景影像，在目標偵測模型上使用渲染產生的影像進行訓練與驗證。

Pei等人使用差分測試的思想尋找自動駕駛轉向模型的不一致輸出，也提出使用神經元覆蓋率，即神經網路中神經元超過預設給定激活閾值的比例，來衡量測試樣本的有效性。在神經覆蓋基礎上，研究者也提出了許多新的測試覆蓋概念，例如神經元邊界覆蓋、強神經元覆蓋、層級神經元覆蓋等。除此之外，使用啟發式搜尋技術尋找目標測試案例，也是有效的方法，核心困難在於設計引導搜尋的測試評估指標。自動駕駛影像系統測試普遍存在特殊駕駛場景有標數據匱乏等問題。本團隊提出了一種自適應性的深度神經網路測試用例選擇方法ATS，以軟體測試領域中自適應隨機測試的想法為啟發，解決自動駕駛感知系統中深度神經網路測試資料標記的人力資源成本高這一難題。

3 自動駕駛光達系統測試

雷射雷達作為自動駕駛系統至關重要的感測器，夠測定感測器發射器與目標物體之間的傳播距離，分析目標物體表面的反射能量大小、反射波譜的振幅、頻率和相位等資訊。其採集的點雲數據精確描繪了駕駛場景中各類物體的三維尺度與反射強度訊息，能夠彌補攝影機在數據形式和精度上不足。光達在自動駕駛目標偵測與定位建圖等任務扮演重要角色，僅靠單一視覺無法取代。

作為典型的複雜智慧軟體系統，自動駕駛將雷射雷達捕獲的周圍環境資訊作為輸入，並透過感知模組中的人工智慧模型做出判斷，經系統規劃控制後，完成各類駕駛任務。雖然人工智慧模型的高複雜性賦予了自動駕駛系統的感知能力，但現有的傳統測試技術依賴點雲資料手動收集和標註，成本高效率低。另一方面，點雲資料具有無序、缺乏明顯的顏色資訊、容易受到天氣因素幹擾、且訊號容易衰減，使得點雲資料的多樣性在測試過程中尤其重要。

針對以雷射雷達為基礎的自動駕駛系統測試仍處於初步階段。實際路測和模擬測試都存在代價昂貴、測試效率低、測試充分性無法保證等問題。針對自動駕駛系統面臨的測試場景多變、軟體系統龐大複雜、測試成本龐大等問題，能夠結合領域知識提出測試資料產生技術對自動駕駛系統保障有著重要意義。

在雷達點雲資料生成方面，Sallab等人 透過建構循環一致性產生對抗網路對雷達點雲資料進行建模，並對模擬資料進行特徵分析產生新的點雲資料。 Yue等人提出了一個針對自動駕駛場景的點雲數據生成框架，該框架透過精確地對遊戲場景中的點雲數據進行基於標註物體的變異，從而獲得新的數據，他們用該方法獲得的變異資料重新訓練自動駕駛系統的點雲資料處理模組，得到了較好的精確度提升。

本團隊設計並實現了一個雷射雷達自動化測試工具LiRTest, 主要用於自動駕駛汽車目標檢測系統的自動化測試，並且能夠進一步重新訓練以提升系統穩健性。 LiRTest 首先由領域專家設計了物理和幾何模型，然後根據模型建構變換算子。開發人員從現實世界的資料中選擇點雲種子，利用點雲處理單元對其進行識別和處理，並實現基於變換算子的變異演算法，來產生評估自動駕駛3D目標偵測模型的穩健性的測試數據。最終 LiRTest 得到測試報告，並對算子設計給予回饋，從而迭代提升品質。

自動駕駛系統是典型的資訊 - 實體融合系統，其 運作狀態不僅由使用者輸入資訊及軟體系統內部狀態決定，同時也受到實體環境的影響。雖然目前有少量研究關注多種環境因素影響的點雲數據生成問題，但由於點雲數據的自身特點，其生成數據的真實性很難與路測數據等同因此，如何在不明顯增加額外資源消耗的情況下，自動化地產生能夠描述多種真實環境因素的點雲數據，是需要解決的關鍵問題。

在自動駕駛軟體常見軟體架構中，人工智慧模型對於駕駛決策及系統行為具有極其重要的影響，其影響到的功能包括：物體識別，路徑規劃，行為預測等。點雲資料處理最常使用的人工智慧模型是目標偵測模型，採用深度神經網路實作。雖然該技術可以在特定任務上獲得較高的精確度，但是由於其結果缺乏可解釋性，用戶與開發人員無法對其行為進行分析確認，給測試技術的研發以及測試充分性的評估帶來了極大的困難。這些，都是未來光達模型測試人員需要面對的挑戰。

4 自動駕駛融合感知系統測試

自動駕駛系統通常配備多種感測器以感知環境訊息，並搭載多種軟體和演算法以完成各類自動駕駛任務。不同感測器具備不同的物理特性，其應用場景也存在差異。融合感知技術可以彌補單一感測器環境適應性差的特點，透過多感測器互相配合協作保證自動駕駛系統在各種環境條件下正常運作。

由於資訊記錄方式的不同，不同類型感測器之間存在較強互補性。攝影機安裝成本低，採集的影像資料解析度高，具備豐富的色彩和紋理等視覺資訊。然而，相機對環境敏感，在夜晚、強光等光線變化時可能會不可靠。而光達則不易受到光線變化的影響，在白天和黑夜中提供精確的三維感知能力。然而，光達造價昂貴，採集的點雲數據缺乏顏色信息，很難識別沒有明顯形狀的目標。如何運用各模態資料的優點，挖掘更深層的語意資訊成了融合感知技術中的重要問題。

研究者提出了多種資料融合的方法。基於深度學習的雷射雷達和攝影機的融合感知技術由於其高準確性已成為了主要研究方向。 Feng等人將融合方法可簡單概括為三種 : 前期，中期和後期融合。前期融合僅對原始資料或預處理後的資料進行融合；中期融合對每個分支提取的資料特徵進行交叉融合；後期融合僅融合每個分支最後的輸出結果。儘管基於深度學習的融合感知技術在現有的基準資料集中展示了巨大的潛力，但此類智慧模型在環境複雜的真實場景中仍可能表現出不正確和意外的極端行為，從而導致致命的損失。為確保自動駕駛系統的安全性，需要對這類融合感知模型進行完備的測試。

目前，融合感知測試技術仍處於初步階段，測試輸入域龐大，資料收集成本高是主要難題，自動化的測試資料產生技術因而得到了廣泛關注。 Wang等人 提出一種跨模態資料增強演算法，根據幾何一致性規則將虛擬物件插入影像和點雲中產生測試資料集。 Zhang 等人提出一種多模態資料增強方法，利用多模態轉換流保持點雲和影像像素之間的正確映射，並在此基礎上進一步提出了多模態剪切和貼上增強方法。

考慮到真實場景中的複雜環境對感測器的影響，本團隊設計了一種針對多模態融合感知系統的資料擴增技術。此方法由領域專家為各模態數據制定一套具有現實語義的變異規則，自動化的生成測試數據，以模擬真實場景中對感測器幹擾的多種因素，在有限的資源內幫助軟體開發人員測試和評估融合感知系統。此方法使用的變異算子包含三大類別：訊號雜訊算子，訊號對齊算子和訊號遺失算子，分別模擬真實場景中存在的 不同類型乾擾。雜訊算子即指 在感測器資料擷取過程中，受環境因素影響而使得擷取資料存在雜訊。例如，對於影像數據，採用光點、模糊等算子以模擬攝影機遇強光，抖動時的狀況。對齊算子模擬了多模態資料模態未對齊的情況，具體包含時間未對齊和空間未對齊。對於前者，透過隨機將一路訊號延遲以模擬出現傳輸阻塞或延遲的情況。對於後者，透過對各感測器的標定參數進行微小調整，以模擬在車輛在行進過程中由於車輛抖動等問題而導致感測器發生位置輕微變化。訊號遺失算子則模擬感測器失靈。具體而言，隨機將一路訊號丟棄後，觀察融合演算法能否及時做出反應或正常運作。

總之，多感測器融合感知技術是自動駕駛發展的必然趨勢，完備的測試是保證系統在複雜的真實環境中正常工作的必備條件，如何在有限資源內充分的測試仍是亟待解決的問題。

結論

#

自動駕駛感知測試正與自動駕駛軟體開發流程緊密結合，各類在環測試將逐漸成為自動駕駛品質保障的必要組成部分。在工業應用中，實際路測仍然很重要。但有成本過高、效率不足、安全隱患大等問題，遠遠無法滿足自動駕駛智慧感知系統的測試驗證需求。形式化方法、模擬虛擬測試多個分支研究領域快速發展提供了完善測試的有效途徑，研究者探索適用於智慧驅動的模型測試指標與技術，為虛擬模擬測試方法提供支援。本團隊致力於研究自動駕駛感知測試資料產生、評估和最佳化方式，重點在於以影像、點雲資料和感知融合測試三個面向進行深入研究，以保障高品質的自動駕駛感知系統。

以上是一文詳解智慧駕駛感知系統測試技術的詳細內容。更多資訊請關注PHP中文網其他相關文章！