搜尋
首頁科技週邊人工智慧開環端對端自動駕駛中自車狀態是你所需要的一切嗎?

原標題:Is Ego Status All You Need for Open-Loop End-to-End Autonomous Driving?

論文連結:https://arxiv.org/abs/2312.03031

程式碼連結:https://github.com/NVlabs/BEV-Planner

作者單位:南京大學NVIDIA

開環端對端自動駕駛中自車狀態是你所需要的一切嗎?

論文想法:

端到端自動駕駛最近作為一個有前景的研究方向浮現出來,以全端視角為目標尋求自動化。沿著這條線,許多最新的工作遵循開環評估設置在 nuScenes 上研究規劃行為。本文透過徹底的分析並揭示更多細節中的難題,更深入地探討了這個問題。本文最初觀察到,以相對簡單的駕駛場景為特徵的 nuScenes 資料集,導致在整合了自車狀態(ego status)的端到端模型中感知資訊的利用不足,例如自車的速度。這些模型傾向於主要依賴自車狀態進行未來路徑規劃。除了資料集的局限性之外,本文還注意到目前的指標並不能全面評估規劃質量,這導致從現有基準中得出的結論可能存在偏見。為了解決這個問題,本文引入了一個新的指標來評估預測的軌跡是否遵循道路。本文進一步提出了一個簡單的基線,能夠在不依賴感知標註的情況下達到有競爭力的結果。鑑於現有基準和指標的局限性,本文建議學術界重新評估相關的主流研究,並謹慎考慮持續追求最先進技術是否會產生令人信服的普遍結論。

主要貢獻:

基於nuScenes 的開環自動駕駛模型受到自車狀態(速度、加速度、偏航角)的顯著影響,這些因素在規劃性能中起著關鍵作用。當自車狀態參與其中時,模型的軌跡預測主要受其控制,可能導致對感知資訊的利用減少。

現有的規劃指標可能無法全面評估模型的實際表現。不同指標下模型的評估結果可能有明顯差異。因此,建議引入更多多樣化和全面的指標來評估模型的效能,避免模型只在某些指標下表現優異而忽略其他潛在風險。

相對於在現有的 nuScenes 資料集上取得最先進效能,開發更適用的資料集和指標被認為是一項更為關鍵和緊迫的挑戰。

論文設計:

端對端自動駕駛的目標是綜合考慮感知和規劃,以全端方式實現[1, 5, 32, 35]。其基本動機在於將自動駕駛車輛(AV)的感知視為實現目標(規劃)的手段,而非過度依賴某些感知度量標準進行擬合。

與知覺不同,規劃通常較開放式且難以量化[6, 7]。理想情況下,規劃的開放式特性將支援閉環評估設置,在該設置中,其他代理可以對自車的行為做出反應,原始感測器資料也可以相應地變化。然而,到目前為止,在閉環模擬器中進行代理行為建模和真實世界數據模擬[8, 19]仍然是具有挑戰性的未解決問題。因此,閉環評估不可避免地引入了與現實世界相當大的領域差距(domain gaps)。

另一方面,開環評估旨在將人類駕駛視為真實情況,並將規劃表述為模仿學習[13]。這種表述允許透過簡單的日誌回放,直接使用現實世界的資料集,避免了來自模擬的域差距(domain gaps)。它還提供了其他優勢,例如能夠在複雜和多樣的交通場景中訓練和驗證模型,這些場景在模擬中經常難以高保真度生成[5]。因為這些好處,一個已經建立的研究領域集中在使用現實世界資料集的開環端到端自動駕駛[2, 12, 13, 16, 43]。

目前流行的端對端自動駕駛方法[12, 13, 16, 43]通常使用 nuScenes[2] 來進行其規劃行為的開環評估。例如,UniAD[13] 研究了不同知覺任務模組對最終規劃行為的影響。然而,ADMLP[45] 最近指出,一個簡單的MLP網路也能僅依靠自車狀態(ego status) 訊息,就實現最先進的規劃結果。這激發了本文提出一個重要問題:

開環端對端自動駕駛是否只需要自車狀態(ego status) 資訊?

本文的答案是肯定的也是否定的,這考慮到了在當前基準測試中使用自車狀態(ego status) 資訊的利弊:

是。 自車狀態(ego status) 中的信息,如速度、加速度和偏航角,顯然應有利於規劃任務的執行。為了驗證這一點,本文解決了AD-MLP的一個公開問題,並移除了歷史軌跡真實值(GTs)的使用,以防止潛在的標籤外洩。本文復現的模型,Ego-MLP(圖1 a.2),僅依賴自車狀態(ego status) ,並且在現有的L2距離和碰撞率指標方面與最先進方法不相上下。另一個觀察結果是,只有現有的方法[13, 16, 43],將自車狀態(ego status) 資訊納入規劃模組中,才能獲得與 Ego-MLP 相當的結果。儘管這些方法採用了額外的感知資訊(追蹤、高清地圖等),但它們並未顯示出比 Ego-MLP 更優越。這些觀察結果驗證了自車狀態(ego status) 在端到端自動駕駛開環評估中的主導作用。

不是。 很明顯,作為一個安全至關重要的應用,自動駕駛在決策時不應該只依賴自車狀態(ego status) 。那麼,為什麼僅使用自車狀態(ego status) 就能達到最先進規劃結果的現象會發生呢?為了回答這個問題,本文提出了一套全面的分析,涵蓋了現有的開環端對端自動駕駛方法。本文識別了現有研究中的主要缺陷,包括與資料集、評估指標和具體模型實現相關的方面。本文在本節的其餘部分列舉並詳細說明了這些缺陷:

資料集不平衡。 NuScenes 是常用的開環評估任務的基準[11–13, 16, 17, 43]。然而,本文的分析顯示,73.9%的 nuScenes 資料涉及直線行駛的場景,如圖2所示軌跡分佈反映的那樣。對於這些直線行駛的場景,大多數時候保持目前的速度、方向或轉向率就足夠了。因此,自車狀態(ego status) 資訊可以很容易地被當作一種捷徑來適應規劃任務,這導致了 Ego-MLP 在 nuScenes 上的強大表現。

現有的評估指標不全面。 NuScenes 數據中剩餘的26.1%涉及更具挑戰性的駕駛場景,可能是規劃行為更好的基準。然而,本文認為廣泛使用的當前評估指標,如預測與規劃真實值之間的L2距離以及自車與周圍障礙物之間的碰撞率,並不能準確衡量模型規劃行為的品質。透過可視化各種方法產生的眾多預測軌跡,本文注意到一些高風險軌跡,如駛出道路可能在現有指標中不會受到嚴重懲罰。為了回應這個問題,本文引入了一種新的評估指標,用於計算預測軌跡與道路邊界之間的交互率(interaction rate)。當專注於與道路邊界的交匯率(intersection rates) 時,基準將經歷一個實質的轉變。在這個新的評估指標下,Ego-MLP 傾向於預測出比 UniAD 更頻繁偏離道路的軌跡。

自車狀態(ego status)偏誤與駕駛邏輯相矛盾。 由於自車狀態(ego status) 可能導致過擬合,本文進一步觀察到一個有趣的現象。本文的實驗結果表明,在某些情況下,從現有的端到端自動駕駛框架中完全移除視覺輸入,並不會顯著降低規劃行為的品質。這與基本的駕駛邏輯相矛盾,因為感知被期望為規劃提供有用的信息。例如,在 VAD [16] 中屏蔽所有攝影機輸入會導致感知模組完全失效,但如果有自車狀態(ego status) 的話,規劃的退化卻很小。然而,改變輸入的自身速度可以顯著影響最終預測的軌跡。

總之,本文推測,最近在端到端自動駕駛領域的努力及其在nuScenes 上的最先進成績很可能是由於過度依賴自車狀態(ego status) ,再加上簡單駕駛場景的主導地位所造成的。此外,目前的評估指標在全面評估模型預測軌跡的品質方面還不夠。這些懸而未決的問題和不足可能低估了規劃任務的潛在複雜性,並且造成了一種誤導性的印象,那就是在開環端到端自動駕駛中,自車狀態(ego status) 就是你所需要的一切。

目前開環端到端自動駕駛研究中自車狀態(ego status) 的潛在幹擾引出了另一個問題:是否可以透過從整個模型中移除自車狀態(ego status) 來抵消這種影響?然而,值得注意的是,即使排除了自車狀態(ego status) 的影響,基於 nuScenes 資料集的開環自動駕駛研究的可靠性仍然存疑。

開環端對端自動駕駛中自車狀態是你所需要的一切嗎?

圖1。 (a) AD-MLP 同時使用自車狀態(ego status) 和過去軌跡的真實值作為輸入。本文復現的版本(Ego-MLP)去掉了過去的軌跡。 (b) 現有的端到端自動駕駛流程包括感知、預測和規劃模組。自車狀態(ego status) 可以整合到鳥瞰圖(BEV)生成模組或規劃模組中。 (c) 本文設計了一個簡單的基線以便與現有方法進行比較。這個簡單的基線不利用感知或預測模組,而是直接基於 BEV 特徵預測最終軌跡。

開環端對端自動駕駛中自車狀態是你所需要的一切嗎?

圖2。 (a) nuScenes 資料集中的自車軌跡熱圖。 (b) nuScenes 資料集中的大多數場景由直行駕駛情況組成。

開環端對端自動駕駛中自車狀態是你所需要的一切嗎?

圖3。目前方法[12, 13, 16]忽略了考慮自車的偏航角變化,始終保持0偏航角(由灰色車輛表示),從而導致假陰性(a)和假陽性(b)的碰撞檢測事件增加。本文透過估計車輛軌跡的變化來估計車輛的偏航角(以紅色車輛表示),以提高碰撞偵測的準確性。

開環端對端自動駕駛中自車狀態是你所需要的一切嗎?

圖4。本文展示了 VAD 模型(在其規劃器中結合了自車狀態(ego status) )在各種影像損壞情況下的預測軌跡。給定場景中的所有軌跡(跨越20秒)都以全域座標系統呈現。每個三角形標記代表自車的真實軌跡點,不同的顏色代表不同的時間步。值得注意的是,即使輸入為空白影像,模型的預測軌跡仍保持合理性。然而,紅色框內的軌跡是次優的,如圖5中進一步闡述的。儘管對所有環視圖像都進行了損壞處理,但為了便於可視化,只顯示了初始時間步對應的前視圖像。

開環端對端自動駕駛中自車狀態是你所需要的一切嗎?

圖5。在開環自動駕駛方法中,從自車的起始位置預測未來軌跡。在模仿學習範式內,預測軌跡理想下應該與實際的真實軌跡密切對齊。此外,連續時間步預測的軌跡應保持一致性,從而確保駕駛策略的連續性和平滑性。因此,圖4 中紅色框顯示的預測軌跡不僅偏離了真實軌跡,而且在不同的時間戳上顯示出顯著的分歧。

開環端對端自動駕駛中自車狀態是你所需要的一切嗎?

圖6。對於在其規劃器中結合了自車狀態(ego status) 的基於VAD的模型,本文在視覺輸入保持恆定的情況下,向自車速度引入噪音。值得注意的是,當自車的速度數據被擾動時,結果軌跡顯示出顯著的變化。將車輛的速度設為零會導致靜止的預測,而速度為100公尺/秒會導致預測不切實際的軌跡。這表明,儘管感知模組繼續提供準確的周圍信息,模型的決策過程過度依賴自車狀態(ego status) 。

開環端對端自動駕駛中自車狀態是你所需要的一切嗎?

圖7。 BEVFormer在 BEV查詢的初始化過程中結合了自車狀態(ego status) 訊息,這是當前端到端自動駕駛方法[13, 16, 43]未曾涉及的細節。

開環端對端自動駕駛中自車狀態是你所需要的一切嗎?

圖8。在 BEV-Planner 中引入自車狀態(ego status) 資訊使得模型能夠非常快速地收斂。

開環端對端自動駕駛中自車狀態是你所需要的一切嗎?

圖9。比較本文基線的 BEV特徵與對應的場景。

實驗結果:

開環端對端自動駕駛中自車狀態是你所需要的一切嗎?

開環端對端自動駕駛中自車狀態是你所需要的一切嗎?開環端對端自動駕駛中自車狀態是你所需要的一切嗎?

開環端對端自動駕駛中自車狀態是你所需要的一切嗎?

開環端對端自動駕駛中自車狀態是你所需要的一切嗎?開環端對端自動駕駛中自車狀態是你所需要的一切嗎?

開環端對端自動駕駛中自車狀態是你所需要的一切嗎?

論文總結:

本文深入分析了目前開環端對端自動駕駛方法固有的缺點。本文的目標是貢獻研究成果,促進端到端自動駕駛的逐步發展。

引用:

Li Z, Yu Z, Lan S, et al. Is Ego Status All You Need for Open-Loop End-to-End Autonomous Driving? [J]. arXiv preprint arXiv:2312.03031, 2023.

#

以上是開環端對端自動駕駛中自車狀態是你所需要的一切嗎?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
在 CARLA自动驾驶模拟器中添加真实智体行为在 CARLA自动驾驶模拟器中添加真实智体行为Apr 08, 2023 pm 02:11 PM

arXiv论文“Insertion of real agents behaviors in CARLA autonomous driving simulator“,22年6月,西班牙。由于需要快速prototyping和广泛测试,仿真在自动驾驶中的作用变得越来越重要。基于物理的模拟具有多种优势和益处,成本合理,同时消除了prototyping、驾驶员和弱势道路使用者(VRU)的风险。然而,主要有两个局限性。首先,众所周知的现实差距是指现实和模拟之间的差异,阻碍模拟自主驾驶体验去实现有效的现实世界

特斯拉自动驾驶算法和模型解读特斯拉自动驾驶算法和模型解读Apr 11, 2023 pm 12:04 PM

特斯拉是一个典型的AI公司,过去一年训练了75000个神经网络,意味着每8分钟就要出一个新的模型,共有281个模型用到了特斯拉的车上。接下来我们分几个方面来解读特斯拉FSD的算法和模型进展。01 感知 Occupancy Network特斯拉今年在感知方面的一个重点技术是Occupancy Network (占据网络)。研究机器人技术的同学肯定对occupancy grid不会陌生,occupancy表示空间中每个3D体素(voxel)是否被占据,可以是0/1二元表示,也可以是[0, 1]之间的

一文通览自动驾驶三大主流芯片架构一文通览自动驾驶三大主流芯片架构Apr 12, 2023 pm 12:07 PM

当前主流的AI芯片主要分为三类,GPU、FPGA、ASIC。GPU、FPGA均是前期较为成熟的芯片架构,属于通用型芯片。ASIC属于为AI特定场景定制的芯片。行业内已经确认CPU不适用于AI计算,但是在AI应用领域也是必不可少。 GPU方案GPU与CPU的架构对比CPU遵循的是冯·诺依曼架构,其核心是存储程序/数据、串行顺序执行。因此CPU的架构中需要大量的空间去放置存储单元(Cache)和控制单元(Control),相比之下计算单元(ALU)只占据了很小的一部分,所以CPU在进行大规模并行计算

自动驾驶汽车激光雷达如何做到与GPS时间同步?自动驾驶汽车激光雷达如何做到与GPS时间同步?Mar 31, 2023 pm 10:40 PM

gPTP定义的五条报文中,Sync和Follow_UP为一组报文,周期发送,主要用来测量时钟偏差。 01 同步方案激光雷达与GPS时间同步主要有三种方案,即PPS+GPRMC、PTP、gPTPPPS+GPRMCGNSS输出两条信息,一条是时间周期为1s的同步脉冲信号PPS,脉冲宽度5ms~100ms;一条是通过标准串口输出GPRMC标准的时间同步报文。同步脉冲前沿时刻与GPRMC报文的发送在同一时刻,误差为ns级别,误差可以忽略。GPRMC是一条包含UTC时间(精确到秒),经纬度定位数据的标准格

特斯拉自动驾驶硬件 4.0 实物拆解:增加雷达,提供更多摄像头特斯拉自动驾驶硬件 4.0 实物拆解:增加雷达,提供更多摄像头Apr 08, 2023 pm 12:11 PM

2 月 16 日消息,特斯拉的新自动驾驶计算机,即硬件 4.0(HW4)已经泄露,该公司似乎已经在制造一些带有新系统的汽车。我们已经知道,特斯拉准备升级其自动驾驶硬件已有一段时间了。特斯拉此前向联邦通信委员会申请在其车辆上增加一个新的雷达,并称计划在 1 月份开始销售,新的雷达将意味着特斯拉计划更新其 Autopilot 和 FSD 的传感器套件。硬件变化对特斯拉车主来说是一种压力,因为该汽车制造商一直承诺,其自 2016 年以来制造的所有车辆都具备通过软件更新实现自动驾驶所需的所有硬件。事实证

端到端自动驾驶中轨迹引导的控制预测:一个简单有力的基线方法TCP端到端自动驾驶中轨迹引导的控制预测:一个简单有力的基线方法TCPApr 10, 2023 am 09:01 AM

arXiv论文“Trajectory-guided Control Prediction for End-to-end Autonomous Driving: A Simple yet Strong Baseline“, 2022年6月,上海AI实验室和上海交大。当前的端到端自主驾驶方法要么基于规划轨迹运行控制器,要么直接执行控制预测,这跨越了两个研究领域。鉴于二者之间潜在的互利,本文主动探索两个的结合,称为TCP (Trajectory-guided Control Prediction)。具

一文聊聊自动驾驶中交通标志识别系统一文聊聊自动驾驶中交通标志识别系统Apr 12, 2023 pm 12:34 PM

什么是交通标志识别系统?汽车安全系统的交通标志识别系统,英文翻译为:Traffic Sign Recognition,简称TSR,是利用前置摄像头结合模式,可以识别常见的交通标志 《 限速、停车、掉头等)。这一功能会提醒驾驶员注意前面的交通标志,以便驾驶员遵守这些标志。TSR 功能降低了驾驶员不遵守停车标志等交通法规的可能,避免了违法左转或者无意的其他交通违法行为,从而提高了安全性。这些系统需要灵活的软件平台来增强探测算法,根据不同地区的交通标志来进行调整。交通标志识别原理交通标志识别又称为TS

一文聊聊SLAM技术在自动驾驶的应用一文聊聊SLAM技术在自动驾驶的应用Apr 09, 2023 pm 01:11 PM

定位在自动驾驶中占据着不可替代的地位,而且未来有着可期的发展。目前自动驾驶中的定位都是依赖RTK配合高精地图,这给自动驾驶的落地增加了不少成本与难度。试想一下人类开车,并非需要知道自己的全局高精定位及周围的详细环境,有一条全局导航路径并配合车辆在该路径上的位置,也就足够了,而这里牵涉到的,便是SLAM领域的关键技术。什么是SLAMSLAM (Simultaneous Localization and Mapping),也称为CML (Concurrent Mapping and Localiza

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
3 週前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解鎖Myrise中的所有內容
3 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

DVWA

DVWA

Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中

VSCode Windows 64位元 下載

VSCode Windows 64位元 下載

微軟推出的免費、功能強大的一款IDE編輯器

SublimeText3 英文版

SublimeText3 英文版

推薦:為Win版本,支援程式碼提示!

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

將Eclipse與SAP NetWeaver應用伺服器整合。