本文經自動駕駛之心公眾號授權轉載,轉載請聯絡來源。
原標題:MotionLM: Multi-Agent Motion Forecasting as Language Modeling
論文連結:https://arxiv.org/pdf/2309.16534.pdf
#作者單位: Waymo
會議:ICCV 2023
#論文想法:
##對於自動駕駛車輛安全規劃來說,可靠地預測道路代理未來行為是至關重要的。本研究將連續軌跡表示為離散運動令牌序列,並將多智能體運動預測視為語言建模任務。我們提出的模型MotionLM有以下幾個優點:首先,它不需要使用錨點或顯式潛變數來最佳化學習多模態分佈。相反,我們利用標準的語言建模目標,最大化序列令牌的平均對數機率。其次,我們的方法避免了事後交互啟發法,其中個體代理軌跡生成是在交互評分之後進行的。相反,MotionLM在單一自回歸解碼過程中產生了互動式代理未來的聯合分佈。此外,模型的順序分解可以實現時間上的因果條件推論。我們提出的方法在Waymo Open Motion Dataset上取得了新的最先進性能,排名第一於互動式挑戰排行榜主要貢獻:
在這在篇文章中,我們將多智能體運動預測作為語言建模任務來討論。我們引入了時間因果解碼器,對經過因果語言建模損失訓練的離散運動令牌進行解碼本文將結合模型中的取樣和簡單的rollout 聚合方案,以提高聯合軌蹟的加權模式識別能力。我們透過Waymo Open Motion Dataset 互動預測挑戰中的實驗,證明了這項新的方法在排名聯合mAP 指標上提高了6%,達到了最先進的性能水平本文對本文的方法進行了廣泛的消融實驗,並對它的時間因果條件預測進行了分析,這在很大程度上是目前的聯合預測模型所不支持的。網路設計:
本文的目標是以一種通用的方式對多智能體互動上的分佈建模,這種分佈可以應用於不同的下游任務,包括最低限度的、聯合的和條件預測。為了實現這一目標,需要一個有表現力的生成框架,能夠捕捉到駕駛場景中的多種形態。此外,本文在這裡考慮保存時間依賴性;即,在本文的模型中,推理遵循一個有向無環圖,每個節點的父節點在時間上較早,子節點在時間上較晚,這使得條件預測更接近因果幹預,因為它消除了某些虛假的相關性,否則就會導致不服從時間因果關係。本文觀察到,不保留時間依賴關係的聯合模型可能在預測實際agent反應方面的能力有限,這是規劃中的關鍵用途。為此,本文利用了未來解碼器的自回歸分解,其中代理的運動tokens有條件地依賴所有先前採樣的tokens,並且軌跡按順序推出顏色梯度表示了從t = 0秒到t = 8秒的時間變化。聯合模式由綠色過渡到藍色,次聯合模式由橙色過渡到紫色的機率最大。我們觀察到了三種類型的交互:相鄰車道中的智能體會根據變換車道時間給予變換車道智能體讓行(左側),行人會根據車輛的進度走在過往車輛後面(中間),轉彎車輛要么會給過路的騎車人讓路(最可能的模式),要么會在騎車人接近之前轉彎(次要模式)(右側)
請看圖4。這張圖展示了聯合推出(左側)、幹預後因果貝葉斯網絡(中間)和因果條件反射(右側)的因果貝葉斯網絡表示
#實線表示時間上的因果相關性,而虛線表示因果訊息流。沒有時間依賴限制的模型將支持因果條件作用,但不支持時間因果條件作用,這在試圖預測agent反應時可能是有問題的。
實驗結果:
#Seff, A., Cera, B., Chen, D., Ng, M., Zhou, A., Nayakanti, N., Refaat, K. S., & Sapp, B. (2023). MotionLM: Multi-Agent Motion Forecasting as Language Modeling. ArXiv. /abs/2309.16534
原文連結:https://mp.weixin.qq.com/s/MTai0rA8PeNFuj7UjCfd6A
#以上是MotionLM:多智能體運動預測的語言建模技術的詳細內容。更多資訊請關注PHP中文網其他相關文章!

科學家已經廣泛研究了人類和更簡單的神經網絡(如秀麗隱桿線蟲中的神經網絡),以了解其功能。 但是,出現了一個關鍵問題:我們如何使自己的神經網絡與新穎的AI一起有效地工作

Google的雙子座高級:新的訂閱層即將到來 目前,訪問Gemini Advanced需要$ 19.99/月Google One AI高級計劃。 但是,Android Authority報告暗示了即將發生的變化。 最新的Google P中的代碼

儘管圍繞高級AI功能炒作,但企業AI部署中潛伏的巨大挑戰:數據處理瓶頸。首席執行官慶祝AI的進步時,工程師努力應對緩慢的查詢時間,管道超載,一個

處理文檔不再只是在您的AI項目中打開文件,而是將混亂變成清晰度。諸如PDF,PowerPoints和Word之類的文檔以各種形狀和大小淹沒了我們的工作流程。檢索結構化

利用Google的代理開發套件(ADK)的力量創建具有現實世界功能的智能代理!該教程通過使用ADK來構建對話代理,並支持Gemini和GPT等各種語言模型。 w

摘要: 小型語言模型 (SLM) 專為效率而設計。在資源匱乏、實時性和隱私敏感的環境中,它們比大型語言模型 (LLM) 更勝一籌。 最適合專注型任務,尤其是在領域特異性、控制性和可解釋性比通用知識或創造力更重要的情況下。 SLM 並非 LLMs 的替代品,但在精度、速度和成本效益至關重要時,它們是理想之選。 技術幫助我們用更少的資源取得更多成就。它一直是推動者,而非驅動者。從蒸汽機時代到互聯網泡沫時期,技術的威力在於它幫助我們解決問題的程度。人工智能 (AI) 以及最近的生成式 AI 也不例

利用Google雙子座的力量用於計算機視覺:綜合指南 領先的AI聊天機器人Google Gemini擴展了其功能,超越了對話,以涵蓋強大的計算機視覺功能。 本指南詳細說明瞭如何利用

2025年的AI景觀正在充滿活力,而Google的Gemini 2.0 Flash和Openai的O4-Mini的到來。 這些尖端的車型分開了幾週,具有可比的高級功能和令人印象深刻的基準分數。這個深入的比較


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

Atom編輯器mac版下載
最受歡迎的的開源編輯器

Dreamweaver CS6
視覺化網頁開發工具

EditPlus 中文破解版
體積小,語法高亮,不支援程式碼提示功能

Dreamweaver Mac版
視覺化網頁開發工具

SublimeText3 英文版
推薦:為Win版本,支援程式碼提示!