「人車互動」新突破！普渡大學發布Talk2Drive框架：可學習/客製化的「指令識別」系統

在普渡大學數位孿生實驗室的最新研究中，科學家們採用了一項革命性技術——利用大型語言模型（LLM）來增強自動駕駛汽車的智慧指令解析能力。這項創新為自動駕駛技術的發展帶來了新的可能性，並有望提高車輛對駕駛指令的理解和反應速度。

這項技術的關鍵是Talk2Drive框架，旨在利用人類自然語言來操控自動駕駛汽車，開創了一種獨特的人車互動方式。

圖片

論文連結：https://www.php.cn/link/5f221386d076f4e7f6a97bb3b406c7b8

專案網站：purduedigitaltwin.github .io/llm4ad

透過其創新的設計，Talk2Drive框架實現了自動駕駛汽車與人類駕駛員之間的高效、直覺互動。此框架的運作流程包括接收命令、處理與推理、產生可執行程式碼以及執行程式碼和收集回饋等關鍵步驟。透過這些步驟，框架能夠確保自動駕駛汽車以安全、可靠的方式與駕駛員互動，並在需要時進行必要的決策和行動。 Talk2Drive框架的設計旨在提高駕駛體驗，並為自動駕駛技術的發展提供了重要支援。

首先，透過先進的語音辨識技術，框架能夠準確地接收和轉換人類口頭命令為文字指令，從而確保對人類意圖的精準理解。

結合雲端的即時環境數據，如天氣和交通狀況，LLM在處理指令時會綜合這些關鍵上下文信息，以確保制定的駕駛策略既安全又能適應當前環境條件。

圖片

LLM利用上下文學習和思維鏈提示對指令進行推理，產生的程式碼不僅包含基本的駕駛指令，還涉及複雜的駕駛行為和需要在車輛低階控制器中進行調整的參數。這些參數的調整，如前瞻距離和速度，是基於對當前道路狀況和駕駛需求的深入理解。

在安全性方面，Talk2Drive框架透過對產生程式碼的格式和參數進行嚴格檢查，確保了自動駕駛行為的安全性。

，長度05:24

此外，記憶模組的引入，允許系統記錄和學習駕駛員的偏好和回饋，為駕駛員提供更個人化的駕駛體驗。

Talk2Drive框架的獨特之處在於它高度個人化的服務。

透過分析乘客的語言指令，如「請盡快送我到目的地，我不想讓朋友等太久」或「我感覺有些暈車，請減慢速度」，該框架能夠精確理解並滿足乘客的需求。每次的人車互動都會被記錄並用於優化系統，使得它能夠學習乘客的偏好，並在未來提供更客製化的駕駛體驗。

圖片

此外，實驗結果顯示，對不同駕駛風格的駕駛員，採用不同的LLM，採用Talk2Drive框架的自動駕駛汽車在實際道路測試中表現出色，能理解駕駛員不同晦澀程度的指令，有效降低了人為接管的需求，並且能夠適應不同的駕駛風格和場景。

這項成就不僅展示了大語言模型在自動駕駛領域的巨大潛力，也為未來的自動駕駛技術發展打開了新的道路。

圖片

對不同類型的駕駛者， 使用Talk2Drive 框架能顯著降低駕駛過程中的接管率。

隨著技術的不斷進步和優化，Talk2Drive框架將能夠為自動駕駛汽車提供更安全、舒適和個人化的駕駛體驗。這項突破性的研究不僅標誌著自動駕駛與人機互動領域的融合與進步，也預示著一個以人為本、更智慧化的未來交通時代的到來。

研究團隊

普渡大學數位孿生實驗室致力於在大語言模型與自動駕駛的交叉領域中進行創新和探索。

歡迎全球對此領域感興趣的研究者、工程師及產業同仁造訪我們的專案網站，共同推動自動駕駛技術的發展，探索未來交通的可能性。

圖片

參考資料：

#https://www.php.cn/link/5f221386d076f4e7f6a97bb3b406c7b8

#

以上是「人車互動」新突破！普渡大學發布Talk2Drive框架：可學習/客製化的「指令識別」系統的詳細內容。更多資訊請關注PHP中文網其他相關文章！