來一趟未來之旅，首個多視圖預測+規劃自動駕駛世界模型抵達

近期，世界模型的概念引發了火熱浪潮，而自動駕駛領域豈能隔岸觀「火」。來自中科院自動化所的團隊，首次提出了名為 Drive-WM 的全新多視圖世界模型，旨在增強端到端自動駕駛規劃的安全性。

網址：https://drive-wm.github.io

論文網址：https ://arxiv.org/abs/2311.17918

首個多視圖預測與規劃的自動駕駛世界模型

在CVPR2023 自動駕駛的研討會上，特斯拉和Wayve 兩大科技巨頭狂秀黑科技，一種名為「生成式世界模型」的全新概念隨之火爆自動駕駛領域。 Wayve 更是發布了 GAIA-1 的生成式 AI 模型，展現了令人震撼的影片場景產生能力。而最近，中科院自動化所的研究者們也提出了一個新的自動駕駛世界模型——Drive-WM，首次實現了多視圖預測的世界模型，與當下主流的端到端自動駕駛規劃器無縫結合。

Drive-WM 利用了 Diffusion 模型的強大生成能力，能夠產生逼真的影片場景。

想像一下，你正在開車，而你的車載系統正在根據你的駕駛習慣和路況預測未來的發展，並產生相應的視覺回饋來指導軌跡路線的選擇。這種預見未來的能力和規劃器結合，將大大提高自動駕駛的安全性！

基於多重視圖世界模型的預測與規劃。

世界模型與端對端自動駕駛的結合提升駕駛安全性

Drive-WM 模型首次將世界模型與端到端規劃相結合，為端到端自動駕駛的發展開啟了新的篇章。在每個時間步上，規劃器可以藉助世界模型預測未來可能發生的情景，再利用影像獎勵函數全面評估。

基於世界模型的端對端軌跡規劃樹可以進行重寫

採用最佳估計法和擴展規劃樹技術，可以實現更有效和安全的規劃

##########

Drive-WM透過創新地研究，探索了世界模型在端到端規劃中的兩種應用

1. 展示了世界模型在面對OOD場景時的穩健性。作者透過對比實驗發現了目前的端到端規劃者在面對 OOD 情境時的表現並不理想。

作者給出了以下圖片，當對初始位置進行輕微的橫向偏移擾動後，目前的端到端規劃器就難以輸出合理的規劃路線。

端到端規劃器在面對 OOD 情況時難以輸出合理的規劃路線。

Drive-WM的強大生成能力為解決OOD問題提供了新的思路。作者利用產生的影片來微調規劃器，從OOD資料中進行學習，使得規劃器在面對這樣的場景時可以擁有更好的性能

2. 這表明了引入未來場景評估對於端到端規劃的增強作用

#如何建立多視圖的視訊生成模型

#多視圖影片產生的時空一致性一直以來都是一個具有挑戰性的問題。 Drive-WM 透過引入時序層的編碼來擴展視訊生成的能力，並透過視圖分解建模的方式實現多視圖的視訊生成。這種視圖分解的產生方式可以大幅提升視圖之間的一致性

#Drive-WM 整體模型設計

#高品質的影片生成與可控性

Drive-WM實現了高品質的多視圖影片生成，並且具有出色的可控性。它提供了多種控制選項，可以透過文字、場景佈局、運動資訊來控制多視圖影片的生成，也為未來的神經模擬器提供了新的可能性

例如使用文字來改變天氣和光照：

例如，行人的產生和前景的編輯：

利用速度和方向的控制方法：

###來產生稀有事件，例如在路口掉頭或開進側方草叢######

結語

Drive-WM 不僅展示了其強大的多視圖視訊生成能力，也揭示了世界模型與端到端駕駛模型結合的巨大潛力。相信在未來，世界模型可以幫助實現更安全、穩定、可靠的端到端自動駕駛系統。

以上是來一趟未來之旅，首個多視圖預測+規劃自動駕駛世界模型抵達的詳細內容。更多資訊請關注PHP中文網其他相關文章！