搜尋
首頁科技週邊人工智慧進一步加速落地:壓縮自動駕駛端到端運動規劃模型

原標題:On the Road to Portability: Compressing End-to-End Motion Planner for Autonomous Driving

論文連結:https://arxiv.org/pdf/2403.01238.pdf

程式碼連結:https://github.com/tulerfeng/PlanKD

作者單位:北京理工大學ALLRIDE.AI 河北省大數據科學與智慧技術重點實驗室

進一步加速落地:壓縮自動駕駛端到端運動規劃模型

#論文想法

端到端的運動規劃模型配備了深度神經網絡,在實現全自動駕駛方面展現出了巨大潛力。然而,過大的神經網路使得它們不適合部署在資源受限的系統上,這無疑需要更多的運算時間和資源。為了解決這個問題,知識蒸餾提供了一種有前景的方法,它透過使一個較小的學生模型從較大的教師模型學習來壓縮模型。儘管如此,如何應用知識蒸餾來壓縮運動規劃器到目前為止還未被探索。本文提出了 PlanKD,這是第一個為壓縮端到端運動規劃器量身定制的知識蒸餾框架。首先,考慮到駕駛場景本質上是複雜的,常常包含與規劃無關或甚至是噪音訊息,遷移這種資訊對學生規劃者並無益處。因此,本文設計了一種基於資訊瓶頸(information bottleneck)的策略,只蒸餾與規劃相關的訊息,而不是無差別地遷移所有資訊。其次,輸出規劃軌跡中的不同 waypoints 可能對運動規劃的重要性各不相同,某些關鍵 waypoints 的輕微偏差可能會導致碰撞。因此,本文設計了一個 safety-aware waypoint-attentive 的蒸餾模組,根據重要性為不同 waypoints 分配自適應權重,以鼓勵學生模型更準確地模仿更關鍵的 waypoints ,從而提高整體安全性。實驗表明,本文的 PlanKD 可以大幅提升小型規劃器的性能,並顯著減少它們的參考時間。

主要貢獻:

  1. 本文建構了第一個旨在探索專用知識蒸餾方法以壓縮自動駕駛中端到端運動規劃器的嘗試。
  2. 本文提出了一個通用且創新的框架 PlanKD,它使學生規劃器能夠繼承中間層中與規劃相關的知識,並促進關鍵waypoints 的準確匹配以提高安全性。
  3. 實驗表明,本文的 PlanKD 可以大幅提升小型規劃器的效能,為資源有限的部署提供了更便攜、更有效率的解決方案。

網路設計:

端對端運動規劃最近作為自動駕駛中的一個有前景的方向出現[3, 10, 30, 31, 40, 47, 48],它直接將原始感測器資料映射到規劃的動作上。這種基於學習的典範展現出減少對手動制定規則的嚴重依賴和減輕在複雜級聯模組(通常是檢測-追蹤-預測-規劃)[40, 48]內錯誤累積的優點。儘管取得了成功,但運動規劃器中深度神經網路龐大的架構為在資源受限環境中的部署帶來了挑戰,例如依賴邊緣設備運算能力的自動配送機器人。此外,即便是在常規車輛中,車載設備上的運算資源也經常是有限的[34]。因此,直接部署深層且龐大的規劃器不可避免地需要更多的運算時間和資源,這使得快速回應潛在危險變得具有挑戰性。為了緩解這個問題,一個直接的方法是透過使用較小的主幹網路來減少網路參數的數量,但本文觀察到,端到端規劃模型的效能會急劇下降,如圖1所示。例如,儘管當 InterFuser [33](典型的端對端運動規劃器)的參數數量從52.9M減少到26.3M時,推理時間降低了,但其駕駛得分也從53.44下降到了36.55。因此,有必要開發一種適用於端到端運動規劃的模型壓縮方法。

為了得到一個可攜帶的運動規劃器,本文採用知識蒸餾[19]來壓縮端對端運動規劃模型。知識蒸餾(KD)已在各種任務中被廣泛研究用於模型壓縮,例如目標檢測[6, 24]、語義分割[18, 28]等。這些工作的基本思想是透過從更大的教師模型繼承知識來訓練一個簡化的學生模型,並在部署期間使用學生模型來替代教師模型。雖然這些研究取得了顯著的成功,但直接將它們應用於端到端運動規劃會導致次優結果。這源自於運動規劃任務中固有的兩個新出現的挑戰:(i) 駕駛場景本質上是複雜的[46],涉及包括多個動態和靜態物體、複雜的背景場景以及多方面的道路和交通資訊在內的多樣化資訊。然而,並不是所有這些資訊都對規劃有益。例如,背景建築物和遠處的車輛對規劃來說是無關的甚至是噪音[41],而附近的車輛和交通燈則有確定性的影響。因此,自動地只從教師模型中提取與規劃相關的資訊至關重要,而以往的KD方法無法做到這一點。 (ii) 輸出規劃軌跡中的不同 waypoints 通常對運動規劃的重要性各不相同。例如,在導航一個交叉口時,軌跡中靠近其他車輛的 waypoints 可能比其他 waypoints 具有更高的重要性。這是因為在這些點,自車需要主動與其他車輛互動,即使是微小的偏差也可能導致碰撞。然而,如何自適應地確定關鍵 waypoints 並準確地模仿它們是以往KD方法的另一個重大挑戰。

為了解決上述兩個挑戰,本文提出了第一個為壓縮自動駕駛中端到端運動規劃器量身定制的知識蒸餾方法,稱為 PlanKD 。首先,本文提出了一個基於資訊瓶頸原理[2]的策略,其目標是提取包含最少且足夠規劃資訊的與規劃相關的特徵。具體來說,本文最大化提取的與規劃相關特徵和本文定義的規劃狀態的真值之間的互信息,同時最小化提取特徵和中間特徵映射之間的互信息。這項策略使本文能夠只在中間層提取關鍵的與規劃相關的信息,從而增強學生模型的有效性。其次,為了動態辨識關鍵 waypoints 並如實地模仿它們,本文採用注意力機制[38]計算每個 waypoints 及其在鳥瞰圖(BEV)中與關聯上下文之間的注意力權重。為了在蒸餾過程中促進對安全關鍵 waypoints 的準確模仿,本文設計了一個 safety-aware ranking loss ,鼓勵對於靠近移動障礙物的 waypoints 給予更高的注意力權重。相應地,學生規劃器的安全性可以顯著增強。如圖1所示的證據顯示,透過本文的 PlanKD,學生規劃器的駕駛得分可以顯著提高。此外,本文的方法可以將參考時間降低約50%,同時保持與教師規劃器在 Town05 Long Benchmark 上相當的效能。

進一步加速落地:壓縮自動駕駛端到端運動規劃模型

圖1. 在 Town05 Long Benchmark [31]上,隨著參數數量的減少,InterFuser[33] 效能下降的示意圖。透過利用本文的 PlanKD ,可以提升緊湊型運動規劃器的性能,並且顯著降低參考時間。推理時間在伺服器上的 GeForce RTX 3090 GPU 上進行評估。

進一步加速落地:壓縮自動駕駛端到端運動規劃模型

圖2. 本文的 PlanKD 框架示意圖。 PlanKD 由兩個模組組成:一個與規劃相關的特徵蒸餾模組,透過資訊瓶頸(IB)從中間特徵映射中提取與規劃相關的特徵;一個safety-aware waypoint-attentive 蒸餾模組,動態確定關鍵waypoints ,並從中提取知識以增強整體安全性。

實驗結果:

進一步加速落地:壓縮自動駕駛端到端運動規劃模型

圖3. 在不同駕駛場景下,safety-aware 注意力權重的視覺化。綠色塊代表自車(ego-vehicle),黃色塊代表其他道路使用者(例如汽車、自行車)。一個 waypoint 的顏色越紅,它的注意力權重就越高。

進一步加速落地:壓縮自動駕駛端到端運動規劃模型進一步加速落地:壓縮自動駕駛端到端運動規劃模型進一步加速落地:壓縮自動駕駛端到端運動規劃模型進一步加速落地:壓縮自動駕駛端到端運動規劃模型

總結:

本文提出了 PlanKD,這是一種為壓縮端到端運動規劃器量身定制的知識蒸餾方法。所提出的方法可以透過資訊瓶頸學習與規劃相關的特徵,以實現有效的特徵蒸餾。此外,本文設計了一個 safety-aware waypoint-attentive 蒸餾機制,以適應性地決定每個 waypoint 對 waypoint 蒸餾的重要性。廣泛的實驗驗證了本文方法的有效性,證明了 PlanKD 可以作為資源有限部署的便攜式和安全的解決方案。

引用:

Feng K, Li C, Ren D, et al. On the Road to Portability: Compressing End-to-End Motion Planner for Autonomous Driving[ J]. arXiv preprint arXiv:2403.01238, 2024.

以上是進一步加速落地:壓縮自動駕駛端到端運動規劃模型的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
及時工程中的思想圖是什麼及時工程中的思想圖是什麼Apr 13, 2025 am 11:53 AM

介紹 在迅速的工程中,“思想圖”是指使用圖理論來構建和指導AI的推理過程的新方法。與通常涉及線性S的傳統方法不同

優化您的組織與Genai代理商的電子郵件營銷優化您的組織與Genai代理商的電子郵件營銷Apr 13, 2025 am 11:44 AM

介紹 恭喜!您經營一家成功的業務。通過您的網頁,社交媒體活動,網絡研討會,會議,免費資源和其他來源,您每天收集5000個電子郵件ID。下一個明顯的步驟是

Apache Pinot實時應用程序性能監視Apache Pinot實時應用程序性能監視Apr 13, 2025 am 11:40 AM

介紹 在當今快節奏的軟件開發環境中,確保最佳應用程序性能至關重要。監視實時指標,例如響應時間,錯誤率和資源利用率可以幫助MAIN

Chatgpt擊中了10億用戶? Openai首席執行官說:'短短幾週內翻了一番Chatgpt擊中了10億用戶? Openai首席執行官說:'短短幾週內翻了一番Apr 13, 2025 am 11:23 AM

“您有幾個用戶?”他扮演。 阿爾特曼回答說:“我認為我們上次說的是每週5億個活躍者,而且它正在迅速增長。” “你告訴我,就像在短短幾週內翻了一番,”安德森繼續說道。 “我說那個私人

pixtral -12b:Mistral AI'第一個多模型模型 - 分析Vidhyapixtral -12b:Mistral AI'第一個多模型模型 - 分析VidhyaApr 13, 2025 am 11:20 AM

介紹 Mistral發布了其第一個多模式模型,即Pixtral-12b-2409。該模型建立在Mistral的120億參數Nemo 12B之上。是什麼設置了該模型?現在可以拍攝圖像和Tex

生成AI應用的代理框架 - 分析Vidhya生成AI應用的代理框架 - 分析VidhyaApr 13, 2025 am 11:13 AM

想像一下,擁有一個由AI驅動的助手,不僅可以響應您的查詢,還可以自主收集信息,執行任務甚至處理多種類型的數據(TEXT,圖像和代碼)。聽起來有未來派?在這個a

生成AI在金融部門的應用生成AI在金融部門的應用Apr 13, 2025 am 11:12 AM

介紹 金融業是任何國家發展的基石,因為它通過促進有效的交易和信貸可用性來推動經濟增長。交易的便利和信貸

在線學習和被動攻擊算法指南在線學習和被動攻擊算法指南Apr 13, 2025 am 11:09 AM

介紹 數據是從社交媒體,金融交易和電子商務平台等來源的前所未有的速度生成的。處理這種連續的信息流是一個挑戰,但它提供了

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
3 週前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解鎖Myrise中的所有內容
4 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

Safe Exam Browser

Safe Exam Browser

Safe Exam Browser是一個安全的瀏覽器環境,安全地進行線上考試。該軟體將任何電腦變成一個安全的工作站。它控制對任何實用工具的訪問,並防止學生使用未經授權的資源。

MantisBT

MantisBT

Mantis是一個易於部署的基於Web的缺陷追蹤工具,用於幫助產品缺陷追蹤。它需要PHP、MySQL和一個Web伺服器。請查看我們的演示和託管服務。

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

將Eclipse與SAP NetWeaver應用伺服器整合。

SublimeText3 英文版

SublimeText3 英文版

推薦:為Win版本,支援程式碼提示!

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)