搜尋
首頁科技週邊人工智慧MotionLM:多智能體運動預測的語言建模技術

本文經自動駕駛之心公眾號授權轉載,轉載請聯絡來源。

原標題:MotionLM: Multi-Agent Motion Forecasting as Language Modeling

論文連結:https://arxiv.org/pdf/2309.16534.pdf

#作者單位: Waymo

會議:ICCV 2023

MotionLM:多智能體運動預測的語言建模技術

#論文想法:

##對於自動駕駛車輛安全規劃來說,可靠地預測道路代理未來行為是至關重要的。本研究將連續軌跡表示為離散運動令牌序列,並將多智能體運動預測視為語言建模任務。我們提出的模型MotionLM有以下幾個優點:首先,它不需要使用錨點或顯式潛變數來最佳化學習多模態分佈。相反,我們利用標準的語言建模目標,最大化序列令牌的平均對數機率。其次,我們的方法避免了事後交互啟發法,其中個體代理軌跡生成是在交互評分之後進行的。相反,MotionLM在單一自回歸解碼過程中產生了互動式代理未來的聯合分佈。此外,模型的順序分解可以實現時間上的因果條件推論。我們提出的方法在Waymo Open Motion Dataset上取得了新的最先進性能,排名第一於互動式挑戰排行榜

主要貢獻:

在這在篇文章中,我們將多智能體運動預測作為語言建模任務來討論。我們引入了時間因果解碼器,對經過因果語言建模損失訓練的離散運動令牌進行解碼

本文將結合模型中的取樣和簡單的rollout 聚合方案,以提高聯合軌蹟的加權模式識別能力。我們透過Waymo Open Motion Dataset 互動預測挑戰中的實驗,證明了這項新的方法在排名聯合mAP 指標上提高了6%,達到了最先進的性能水平

本文對本文的方法進行了廣泛的消融實驗,並對它的時間因果條件預測進行了分析,這在很大程度上是目前的聯合預測模型所不支持的。

網路設計:

本文的目標是以一種通用的方式對多智能體互動上的分佈建模,這種分佈可以應用於不同的下游任務,包括最低限度的、聯合的和條件預測。為了實現這一目標,需要一個有表現力的生成框架,能夠捕捉到駕駛場景中的多種形態。此外,本文在這裡考慮保存時間依賴性;即,在本文的模型中,推理遵循一個有向無環圖,每個節點的父節點在時間上較早,子節點在時間上較晚,這使得條件預測更接近因果幹預,因為它消除了某些虛假的相關性,否則就會導致不服從時間因果關係。本文觀察到,不保留時間依賴關係的聯合模型可能在預測實際agent反應方面的能力有限,這是規劃中的關鍵用途。為此,本文利用了未來解碼器的自回歸分解,其中代理的運動tokens有條件地依賴所有先前採樣的tokens,並且軌跡按順序推出

MotionLM:多智能體運動預測的語言建模技術

圖1。本文的模型自回歸地為一組代理程式產生離散運動tokens序列,以產生一致的互動式軌跡預測。

MotionLM:多智能體運動預測的語言建模技術

請看圖2,這是MotionLM的架構

#本文首先將與每個建模代理相關的異質場景特徵(左)編碼為形狀R、N、·、H的場景嵌入。其中,R為首次推出(rollouts)的數量,N為聯合建模的代理數量,H為每次嵌入的維數。在推理過程中,為了並行取樣,本文在批次維度上重複嵌入R次。接下來,一個軌跡解碼器以一種時間因果的方式(中心)為多個代理推出(rolls out) T 個離散運動tokens。最後,透過使用非最大抑制初始化的k-means聚類的簡單聚合,可以恢復 rollouts 典型模式(右圖)。

MotionLM:多智能體運動預測的語言建模技術

圖3。展示了三個WOMD場景的前兩種預測聯合推出(joint rollout)模式。

顏色梯度表示了從t = 0秒到t = 8秒的時間變化。聯合模式由綠色過渡到藍色,次聯合模式由橙色過渡到紫色的機率最大。我們觀察到了三種類型的交互:相鄰車道中的智能體會根據變換車道時間給予變換車道智能體讓行(左側),行人會根據車輛的進度走在過往車輛後面(中間),轉彎車輛要么會給過路的騎車人讓路(最可能的模式),要么會在騎車人接近之前轉彎(次要模式)(右側)

MotionLM:多智能體運動預測的語言建模技術

請看圖4。這張圖展示了聯合推出(左側)、幹預後因果貝葉斯網絡(中間)和因果條件反射(右側)的因果貝葉斯網絡表示

#實線表示時間上的因果相關性,而虛線表示因果訊息流。沒有時間依賴限制的模型將支持因果條件作用,但不支持時間因果條件作用,這在試圖預測agent反應時可能是有問題的。

實驗結果:

MotionLM:多智能體運動預測的語言建模技術

MotionLM:多智能體運動預測的語言建模技術

MotionLM:多智能體運動預測的語言建模技術

MotionLM:多智能體運動預測的語言建模技術

MotionLM:多智能體運動預測的語言建模技術

MotionLM:多智能體運動預測的語言建模技術

MotionLM:多智能體運動預測的語言建模技術

#Seff, A., Cera, B., Chen, D., Ng, M., Zhou, A., Nayakanti, N., Refaat, K. S., & Sapp, B. (2023). MotionLM: Multi-Agent Motion Forecasting as Language Modeling. ArXiv. /abs/2309.16534

MotionLM:多智能體運動預測的語言建模技術

原文連結:https://mp.weixin.qq.com/s/MTai0rA8PeNFuj7UjCfd6A

#

以上是MotionLM:多智能體運動預測的語言建模技術的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
讓我們跳舞:結構化運動以微調我們的人類神經網讓我們跳舞:結構化運動以微調我們的人類神經網Apr 27, 2025 am 11:09 AM

科學家已經廣泛研究了人類和更簡單的神經網絡(如秀麗隱桿線蟲中的神經網絡),以了解其功能。 但是,出現了一個關鍵問題:我們如何使自己的神經網絡與新穎的AI一起有效地工作

新的Google洩漏揭示了雙子AI的訂閱更改新的Google洩漏揭示了雙子AI的訂閱更改Apr 27, 2025 am 11:08 AM

Google的雙子座高級:新的訂閱層即將到來 目前,訪問Gemini Advanced需要$ 19.99/月Google One AI高級計劃。 但是,Android Authority報告暗示了即將發生的變化。 最新的Google P中的代碼

數據分析加速度如何求解AI的隱藏瓶頸數據分析加速度如何求解AI的隱藏瓶頸Apr 27, 2025 am 11:07 AM

儘管圍繞高級AI功能炒作,但企業AI部署中潛伏的巨大挑戰:數據處理瓶頸。首席執行官慶祝AI的進步時,工程師努力應對緩慢的查詢時間,管道超載,一個

Markitdown MCP可以將任何文檔轉換為Markdowns!Markitdown MCP可以將任何文檔轉換為Markdowns!Apr 27, 2025 am 09:47 AM

處理文檔不再只是在您的AI項目中打開文件,而是將混亂變成清晰度。諸如PDF,PowerPoints和Word之類的文檔以各種形狀和大小淹沒了我們的工作流程。檢索結構化

如何使用Google ADK進行建築代理? - 分析Vidhya如何使用Google ADK進行建築代理? - 分析VidhyaApr 27, 2025 am 09:42 AM

利用Google的代理開發套件(ADK)的力量創建具有現實世界功能的智能代理!該教程通過使用ADK來構建對話代理,並支持Gemini和GPT等各種語言模型。 w

在LLM上使用SLM進行有效解決問題-Analytics Vidhya在LLM上使用SLM進行有效解決問題-Analytics VidhyaApr 27, 2025 am 09:27 AM

摘要: 小型語言模型 (SLM) 專為效率而設計。在資源匱乏、實時性和隱私敏感的環境中,它們比大型語言模型 (LLM) 更勝一籌。 最適合專注型任務,尤其是在領域特異性、控制性和可解釋性比通用知識或創造力更重要的情況下。 SLM 並非 LLMs 的替代品,但在精度、速度和成本效益至關重要時,它們是理想之選。 技術幫助我們用更少的資源取得更多成就。它一直是推動者,而非驅動者。從蒸汽機時代到互聯網泡沫時期,技術的威力在於它幫助我們解決問題的程度。人工智能 (AI) 以及最近的生成式 AI 也不例

如何將Google Gemini模型用於計算機視覺任務? - 分析Vidhya如何將Google Gemini模型用於計算機視覺任務? - 分析VidhyaApr 27, 2025 am 09:26 AM

利用Google雙子座的力量用於計算機視覺:綜合指南 領先的AI聊天機器人Google Gemini擴展了其功能,超越了對話,以涵蓋強大的計算機視覺功能。 本指南詳細說明瞭如何利用

Gemini 2.0 Flash vs O4-Mini:Google可以比OpenAI更好嗎?Gemini 2.0 Flash vs O4-Mini:Google可以比OpenAI更好嗎?Apr 27, 2025 am 09:20 AM

2025年的AI景觀正在充滿活力,而Google的Gemini 2.0 Flash和Openai的O4-Mini的到來。 這些尖端的車型分開了幾週,具有可比的高級功能和令人印象深刻的基準分數。這個深入的比較

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

EditPlus 中文破解版

EditPlus 中文破解版

體積小,語法高亮,不支援程式碼提示功能

Dreamweaver Mac版

Dreamweaver Mac版

視覺化網頁開發工具

SublimeText3 英文版

SublimeText3 英文版

推薦:為Win版本,支援程式碼提示!