開源！ V2Xverse：上交發布首個針對V2X的模擬平台與端對端模型

車路協同的同步駕駛資料

#車路協同輔助的自動駕駛V2X-AD（Vehicle- to-everything-aided autonomous driving）在提供更安全的駕駛策略方面具有巨大潛力。研究者們在V2X-AD的通訊和通訊層面進行了大量的研究，但是這些基礎設施和通訊資源在提高駕駛性能方面的效果仍未得到充分探索。這突顯了研究協同自動駕駛的必要性，即如何設計面向駕駛規劃的高效資訊共享策略，從而提高每輛汽車駕駛性能。 這需要兩個關鍵的基礎條件：一個是能夠為V2X-AD提供資料環境的平台，以及一個具有駕駛相關完整功能以及資訊共享機制的端到端駕駛系統。 在提供數據環境的平台方面，可以利用車輛之間的通訊網路以及基礎設施的支援來實現。透過這種方式，車輛可以共享駕駛所需的即時和環境資訊，從而提高駕駛性能。 另一方面，端到端駕駛系統需要具備完整的駕駛功能，並且能夠分享資訊。這意味著駕駛系統應該能夠獲取來自其他車輛和基礎設施的駕駛相關信息，並將這些信息與自身的駕駛規劃相結合，以提供更高效的駕駛性能。 在實現這兩個基礎條件的同時，也需要考慮安全性和隱私保護。因此，設計V2X-AD的駕駛規劃策略時，應著重於資訊共享策略的高效性，並從而提高每輛汽車駕駛性能。 總結起來，車路協同輔助的自動駕駛V2X-AD具有巨大的潛力

"為此，來自上海交通大學和上海人工智慧實驗室的研究者們在新的研究文章《Towards Collaborative Autonomous Driving: Simulation Platform and End-to-End System》提出了CoDriving：一種端到端協同駕駛系統，該系統利用一種面向駕駛規劃的資訊共享策略實現了通訊高效的協作。建造了模擬平台V2Xverse，該平台為協同駕駛提供了完整的訓練測試環境，包含車路協同驅動資料集的生成、全端協同驅動系統的部署、以及可自訂場景下的閉環驅動性能評估和駕駛任務評估。自動駕駛。 V2Xverse突破了現有協同感知方法只能「看」不能「控制」的局限性，支持將現有的協同感知方法嵌入到完整的駕駛系統，並在模擬環境中測試駕駛性能。本文的研究者們相信這將為自動駕駛中基於視覺的車路協同研究帶來更好的功能延展和更貼合實際駕駛場景的測試基準。

論文連結：https://arxiv.org/pdf/2404.09496

• 程式碼連結：https://github.com/CollaborativePerception /V2Xverse

研究背景與意義

本文的研究著重於基於V2X(Vehicle-to-everything)通訊的協同自動駕駛。相較於單車自動駕駛，協同自動駕駛透過車輛與周圍環境（如路邊單元、智慧型裝置裝備的行人等）之間的資訊交換提升車輛輛感知能力與駕駛性能，這將有利於視野受限的複雜場景（如圖1）的安全駕駛。

圖 1. 危險的「鬼探頭」場景，單車無法感知被遮蔽的物體

目前基於V2X的車路協同工作大多專注於優化模組級感知能力。然而，如何將協作感知能力用於提升整合系統中的最終駕駛性能仍然不足夠的探索。

為了解決這個問題，本文旨在將協同感知能力擴展為涵蓋全面駕駛能力的協同駕駛系統，包含感知，預測、規劃和控制等關鍵模組。實現協同自動駕駛需要兩個關鍵基礎：一個能夠為V2X-AD提供資料環境的平台；二是整合了完整駕駛相關功能和資訊共享機制的端到端駕駛系統。從平台的角度，本工作建立了V2Xverse，這是一個綜合的協同自動駕駛模擬平台，提供了從車路協同駕駛資料集產生到全端協作駕駛系統的部署和閉環駕駛性能評估的完整流程。從駕駛系統的角度，本文介紹了CoDriving，一種新的端到端協作駕駛系統，該系統在完整的自動駕駛框架中設計並嵌入了基於V2X通信的協作模組，透過共享感知資訊提升協同駕駛性能。 CoDriving的核心思想是一種新的面向駕駛規劃的資訊共享策略，使用在空間上稀疏但對駕駛重要的視覺特徵資訊作為通訊內容，在優化通訊效率的同時提高駕駛性能。

V2Xverse: 車路協同駕駛模擬平台

本文提出的V2Xverse的關鍵特徵是能夠實現與駕駛相關的子任務的離線基準生成和不同場景下駕駛性能的線上閉環評估，全面支持協同自動駕駛系統的開發。為了創建V2X-AD場景，V2Xverse在場景中設置了多輛配備了完整的駕駛能力的智慧車，並透過一定策略在道路兩旁放置路邊單元，從而為智慧車提供補充視野。為了支援協同自動駕駛方法的開發，V2Xverse首先提供了(車輛-車輛)以及(車輛-路邊單元)的通訊模組，並且為系統訓練提供了完整的駕駛信號和專家標註，也為閉環駕駛評估提供了多種危險場景。仿真平台框架見圖 2。

圖 2. V2Xverse 模擬平台框架

與現有基於Carla的自動駕駛模擬平台相比，V2Xverse有三個優勢。首先，V2Xverse支援多車駕駛模擬，而主流的carla-leaderboard及其衍生平台僅支援單車駕駛模擬。第二，V2Xverse支援全駕駛功能模擬，而現有的協同感知模擬平台只支援與感知模組相關的功能。第三，V2Xverse支援全面的V2X-AD場景，包括多樣化的感測器設備、模型整合和靈活的場景客製化；見表 1。

表1. V2Xverse 與現有基於Carla的自動駕駛模擬平台的比較

CoDriving: 面向高效協作的端到端自駕模型

#CoDriving包括兩個組成部分（見圖3）：1）端到端的單車自動駕駛網絡，將感測器輸入轉換為駕駛控制訊號；2）面向駕駛的協作，協作者透過共享對駕駛關鍵的感知特徵來實現高效通信，並透過特徵聚合來增強單車BEV感知特徵，增強後的感知特徵將有利於系統產生更準確的感知識別結果和規劃預測結果。

圖3. CoDriving的整體框架

端對端自動駕駛網路

端對端單車自動駕駛網路是基於來自不同模態的輸入來學習輸出路徑點預測，並透過一個控制模組將路徑點轉換為駕駛控制訊號。為了實現這一點，CoDriving將駕駛所需的模組化元件整合到端對端的系統中，包括3D目標偵測器、路徑點預測器和控制器。 CoDriving使用鳥瞰圖（BEV）表示，因為它提供了一個統一的全局坐標系，避免了複雜的坐標轉換，更好地支援基於空間資訊的協作。

面向駕駛的協作策略

V2X協作透過資訊共享解決單車不可避免的可見性受限問題。在這項工作中，本文提出了一種新的面向駕駛的協作策略，以同時優化駕駛性能和通訊效率。該方案包括i）基於駕駛意圖的感知通信，CoDriving透過一個駕駛請求模組交換空間稀疏但對駕駛關鍵的BEV感知特徵；以及ii）BEV特徵增強，CoDriving利用接收到的特徵信息增強每個協作車輛的BEV感知特徵。增強後的BEV特徵將有利於系統產生更準確的感知辨識結果和規劃預測結果。

实验结果

利用V2Xverse仿真平台，本文在闭环驾驶，3D目标检测，路径点预测三个任务上对CoDriving的性能进行了检验。在关键的闭环驾驶测试中，相比于之前的单车端到端自动驾驶的SOTA方法， CoDriving的驾驶分数显著地提升了62.49%，行人碰撞率下降了53.50%。在目标检测与路径点预测任务中，CoDriving相比于其他协同方法表现更好，见表 2。

表 2. CoDriving 在闭环驾驶任务中优于SOTA的单体驾驶方法，在模块化的感知和规划子任务中优于其他协同感知方法

本文同时对CoDriving在不同通信带宽下的协作表现进行了验证，在闭环驾驶，3D目标检测，路径点预测三个任务上，CoDriving在不同的通信带宽限制下优于其他协作方法，见图 4。

图 4. CoDriving 在不同通信带宽下的协作表现

图 5展示了CoDriving在V2Xverse仿真环境中的驾驶案例。在图 5的场景中，一个视野盲区的行人突然冲出马路，可以看到单车自动驾驶视野受限，无法提前规避行人，造成了严重的车祸事故。而CoDriving利用路边单元的共享视野特征提前探测到了行人，从而安全避让。

图 5(1). 相比于视野受限的单车自驾，CoDriving 利用路边单元提供的信息检测到了视野盲区的行人图 5(2). CoDriving成功规避行人，而单车自驾避让不及时造成了碰撞事故

总结

本工作通过搭建仿真平台V2Xverse来帮助协同自动驾驶方法的开发，并提出了一种新的端到端自驾系统。其中，V2Xverse是一个支持闭环驾驶测试的V2X协同驾驶仿真平台，该平台为开发以提升最终驾驶性能为目标的协同自动驾驶系统提供了完整的开发渠道。值得一提的是，V2Xverse也支持多种现有单车自动驾驶系统的部署，以及多种现有协同感知方法的训练和闭环驾驶测试。同时，本文提出了一种新的端到端协同自动驾驶系统CoDriving，该系统通过共享驾驶关键感知信息来提高驾驶性能并优化通信效率。对整个驾驶系统的综合评估表明，CoDriving在不同的通信带宽上显著优于单车自驾系统。本文的研究者们相信V2Xverse平台和CoDriving系统为更可靠的自动驾驶提供了潜在的解决方案。

以上是開源！ V2Xverse：上交發布首個針對V2X的模擬平台與端對端模型的詳細內容。更多資訊請關注PHP中文網其他相關文章！