arXiv論文“ST-P3: End-to-end Vision-based Autonomous Driving via Spatial-Temporal Feature Learning“,22年7月,作者來自上海交大、上海AI實驗室、加州聖地亞哥分校和京東公司的北京研究院。
提出一種時空特徵學習方案,可以同時為感知、預測和規劃任務提供一組更具代表性的特徵,稱為ST-P3。具體而言,提出一種以自車為中心對齊(egocentric-aligned)的累積技術,在感知BEV轉換之前保留3-D空間中的幾何信息;作者設計一種雙路(dual pathway )模型,將過去的運動變化考慮在內,用於未來的預測;引入一個基於時域的細化單元,補償為規劃的基於視覺元素識別。原始碼、模型和協定詳細資料開源https://github.com/OpenPerceptionX/ST-P3.
開創性的LSS方法從多視圖攝影機中提取透視特徵,透過深度估計將其提升到3D,並融合到BEV空間。兩個視圖之間的特徵轉換,其潛深度預測至關重要。
將二維平面資訊提升到三維需要附加維度,也就是適合三維幾何自主駕駛任務的深度。為了進一步改進特徵表示,自然要將時域資訊合併到框架中,因為大多數場景的任務是視訊來源。
如圖描述ST- P3整體框架:具體來說,給定一組周圍的攝影機視頻,將其輸入主幹生成初步的前視圖特徵。執行輔助深度估計將2D特徵轉換到3D空間。以自車為中心對齊累積方案,首先將過去的特徵對齊到目前視圖座標系。然後在三維空間中聚合當前和過去的特徵,在轉換到BEV表示之前保留幾何資訊。除了常用的預測時域模型外,透過建構第二條路徑來解釋過去的運動變化,表現也進一步提升。這種雙路徑建模確保了更強的特徵表示,推斷未來的語義結果。為了實現軌跡規劃的最終目標,整合網路早期的特徵先驗知識。設計了一個細化模組,在不存在高清地圖的情況下,借助高級命令產生最終軌跡。
如圖是感知的以自我為中心對齊累計方法。 (a) 利用深度估計將當前時間戳處的特徵提升到3D,並在對齊後合併到BEV特徵;(b-c)將先前幀的3D特徵與當前幀視圖對齊,並與所有過去和當前狀態融合,從而增強特徵表示。
如圖是用於預測的雙路模型:(i) 潛碼是來自特徵圖的分佈;(ii iii)路a結合了不確定性分佈,指示未來的多模態,而路b從過去的變化中學習,有助於路a的資訊進行補償。
作為最終目標,需要規劃一條安全舒適的軌跡,到達目標點。這個運動規劃器對一組不同的軌跡進行取樣,並選擇一個最小化學習成本函數的軌跡。然而,透過一個時域模型來整合目標(target)點和交通燈的信息,加上額外的最佳化步驟。
如圖是為規劃的先驗知識整合與細化:總體成本圖包含兩個子成本。使用前視特徵進一步重新定義最小成本軌跡,從攝影機輸入中聚合基於視覺的資訊。
懲罰具有較大橫向加速度、急動或曲率的軌跡。希望這條軌跡能夠有效地到達目的地,因此向前推進的軌跡將會獎勵。然而,上述成本項不包含通常由路線地圖提供的目標(target)資訊。採用進階命令,包括前進、左轉和右轉,並且只根據相應的命令評估軌跡。
此外,交通號誌對SDV至關重要,透過GRU網路優化軌跡。以編碼器模組的前攝影機特徵初始化隱藏狀態,並以成本項的每個取樣點作為輸入。
實驗結果如下:
以上是ST-P3:端到端時空特徵學習的自動駕駛視覺方法的詳細內容。更多資訊請關注PHP中文網其他相關文章!

斯坦福大學以人為本人工智能研究所發布的《2025年人工智能指數報告》對正在進行的人工智能革命進行了很好的概述。讓我們用四個簡單的概念來解讀它:認知(了解正在發生的事情)、欣賞(看到好處)、接納(面對挑戰)和責任(弄清我們的責任)。 認知:人工智能無處不在,並且發展迅速 我們需要敏銳地意識到人工智能發展和傳播的速度有多快。人工智能係統正在不斷改進,在數學和復雜思維測試中取得了優異的成績,而就在一年前,它們還在這些測試中慘敗。想像一下,人工智能解決複雜的編碼問題或研究生水平的科學問題——自2023年

Meta的Llama 3.2:多模式和移動AI的飛躍 Meta最近公佈了Llama 3.2,這是AI的重大進步,具有強大的視覺功能和針對移動設備優化的輕量級文本模型。 以成功為基礎

本週的AI景觀:進步,道德考慮和監管辯論的旋風。 OpenAI,Google,Meta和Microsoft等主要參與者已經釋放了一系列更新,從開創性的新車型到LE的關鍵轉變

連接的舒適幻想:我們在與AI的關係中真的在蓬勃發展嗎? 這個問題挑戰了麻省理工學院媒體實驗室“用AI(AHA)”研討會的樂觀語氣。事件展示了加油

介紹 想像一下,您是科學家或工程師解決複雜問題 - 微分方程,優化挑戰或傅立葉分析。 Python的易用性和圖形功能很有吸引力,但是這些任務需要強大的工具

Meta's Llama 3.2:多式聯運AI強力 Meta的最新多模式模型Llama 3.2代表了AI的重大進步,具有增強的語言理解力,提高的準確性和出色的文本生成能力。 它的能力t

數據質量保證:與Dagster自動檢查和良好期望 保持高數據質量對於數據驅動的業務至關重要。 隨著數據量和源的增加,手動質量控制變得效率低下,容易出現錯誤。

大型機:AI革命的無名英雄 雖然服務器在通用應用程序上表現出色並處理多個客戶端,但大型機是專為關鍵任務任務而建立的。 這些功能強大的系統經常在Heavil中找到


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

Dreamweaver Mac版
視覺化網頁開發工具

MantisBT
Mantis是一個易於部署的基於Web的缺陷追蹤工具,用於幫助產品缺陷追蹤。它需要PHP、MySQL和一個Web伺服器。請查看我們的演示和託管服務。

SAP NetWeaver Server Adapter for Eclipse
將Eclipse與SAP NetWeaver應用伺服器整合。

VSCode Windows 64位元 下載
微軟推出的免費、功能強大的一款IDE編輯器

PhpStorm Mac 版本
最新(2018.2.1 )專業的PHP整合開發工具