搜尋
首頁科技週邊人工智慧ST-P3:端到端時空特徵學習的自動駕駛視覺方法

arXiv論文“ST-P3: End-to-end Vision-based Autonomous Driving via Spatial-Temporal Feature Learning“,22年7月,作者來自上海交大、上海AI實驗室、加州聖地亞哥分校和京東公司的北京研究院。

ST-P3:端到端時空特徵學習的自動駕駛視覺方法

提出一種時空特徵學習方案,可以同時為感知、預測和規劃任務提供一組更具代表性的特徵,稱為ST-P3。具體而言,提出一種以自車為中心對齊(egocentric-aligned)的累積技術,在感知BEV轉換之前保留3-D空間中的幾何信息;作者設計一種雙路(dual pathway )模型,將過去的運動變化考慮在內,用於未來的預測;引入一個基於時域的細化單元,補償為規劃的基於視覺元素識別。原始碼、模型和協定詳細資料開源https://github.com/OpenPerceptionX/ST-P3.

開創性的LSS方法從多視圖攝影機中提取透視特徵,透過深度估計將其提升到3D,並融合到BEV空間。兩個視圖之間的特徵轉換,其潛深度預測至關重要。

將二維平面資訊提升到三維需要附加維度,也就是適合三維幾何自主駕駛任務的深度。為了進一步改進特徵表示,自然要將時域資訊合併到框架中,因為大多數場景的任務是視訊來源。

如圖描述ST- P3整體框架:具體來說,給定一組周圍的攝影機視頻,將其輸入主幹生成初步的前視圖特徵。執行輔助深度估計將2D特徵轉換到3D空間。以自車為中心對齊累積方案,首先將過去的特徵對齊到目前視圖座標系。然後在三維空間中聚合當前和過去的特徵,在轉換到BEV表示之前保留幾何資訊。除了常用的預測時域模型外,透過建構第二條路徑來解釋過去的運動變化,表現也進一步提升。這種雙路徑建模確保了更強的特徵表示,推斷未來的語義結果。為了實現軌跡規劃的最終目標,整合網路早期的特徵先驗知識。設計了一個細化模組,在不存在高清地圖的情況下,借助高級命令產生最終軌跡。

ST-P3:端到端時空特徵學習的自動駕駛視覺方法

如圖是感知的以自我為中心對齊累計方法。 (a) 利用深度估計將當前時間戳處的特徵提升到3D,並在對齊後合併到BEV特徵;(b-c)將先前幀的3D特徵與當前幀視圖對齊,並與所有過去和當前狀態融合,從而增強特徵表示。

ST-P3:端到端時空特徵學習的自動駕駛視覺方法

如圖是用於預測的雙路模型:(i) 潛碼是來自特徵圖的分佈;(ii iii)路a結合了不確定性分佈,指示未來的多模態,而路b從過去的變化中學習,有助於路a的資訊進行補償。

ST-P3:端到端時空特徵學習的自動駕駛視覺方法

作為最終目標,需要規劃一條安全舒適的軌跡,到達目標點。這個運動規劃器對一組不同的軌跡進行取樣,並選擇一個最小化學習成本函數的軌跡。然而,透過一個時域模型來整合目標(target)點和交通燈的信息,加上額外的最佳化步驟。

如圖是為規劃的先驗知識整合與細化:總體成本圖包含兩個子成本。使用前視特徵進一步重新定義最小成本軌跡,從攝影機輸入中聚合基於視覺的資訊。

ST-P3:端到端時空特徵學習的自動駕駛視覺方法

懲罰具有較大橫向加速度、急動或曲率的軌跡。希望這條軌跡能夠有效地到達目的地,因此向前推進的軌跡將會獎勵。然而,上述成本項不包含通常由路線地圖提供的目標(target)資訊。採用進階命令,包括前進、左轉和右轉,並且只根據相應的命令評估軌跡。

此外,交通號誌對SDV至關重要,透過GRU網路優化軌跡。以編碼器模組的前攝影機特徵初始化隱藏狀態,並以成本項的每個取樣點作為輸入。

實驗結果如下:

ST-P3:端到端時空特徵學習的自動駕駛視覺方法

ST-P3:端到端時空特徵學習的自動駕駛視覺方法

ST-P3:端到端時空特徵學習的自動駕駛視覺方法

ST-P3:端到端時空特徵學習的自動駕駛視覺方法

ST-P3:端到端時空特徵學習的自動駕駛視覺方法

###########################

以上是ST-P3:端到端時空特徵學習的自動駕駛視覺方法的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
閱讀AI索引2025:AI是您的朋友,敵人還是副駕駛?閱讀AI索引2025:AI是您的朋友,敵人還是副駕駛?Apr 11, 2025 pm 12:13 PM

斯坦福大學以人為本人工智能研究所發布的《2025年人工智能指數報告》對正在進行的人工智能革命進行了很好的概述。讓我們用四個簡單的概念來解讀它:認知(了解正在發生的事情)、欣賞(看到好處)、接納(面對挑戰)和責任(弄清我們的責任)。 認知:人工智能無處不在,並且發展迅速 我們需要敏銳地意識到人工智能發展和傳播的速度有多快。人工智能係統正在不斷改進,在數學和復雜思維測試中取得了優異的成績,而就在一年前,它們還在這些測試中慘敗。想像一下,人工智能解決複雜的編碼問題或研究生水平的科學問題——自2023年

開始使用Meta Llama 3.2 -Analytics Vidhya開始使用Meta Llama 3.2 -Analytics VidhyaApr 11, 2025 pm 12:04 PM

Meta的Llama 3.2:多模式和移動AI的飛躍 Meta最近公佈了Llama 3.2,這是AI的重大進步,具有強大的視覺功能和針對移動設備優化的輕量級文本模型。 以成功為基礎

AV字節:Meta' llama 3.2,Google的雙子座1.5等AV字節:Meta' llama 3.2,Google的雙子座1.5等Apr 11, 2025 pm 12:01 PM

本週的AI景觀:進步,道德考慮和監管辯論的旋風。 OpenAI,Google,Meta和Microsoft等主要參與者已經釋放了一系列更新,從開創性的新車型到LE的關鍵轉變

與機器交談的人類成本:聊天機器人真的可以在乎嗎?與機器交談的人類成本:聊天機器人真的可以在乎嗎?Apr 11, 2025 pm 12:00 PM

連接的舒適幻想:我們在與AI的關係中真的在蓬勃發展嗎? 這個問題挑戰了麻省理工學院媒體實驗室“用AI(AHA)”研討會的樂觀語氣。事件展示了加油

了解Python的Scipy圖書館了解Python的Scipy圖書館Apr 11, 2025 am 11:57 AM

介紹 想像一下,您是科學家或工程師解決複雜問題 - 微分方程,優化挑戰或傅立葉分析。 Python的易用性和圖形功能很有吸引力,但是這些任務需要強大的工具

3種運行Llama 3.2的方法-Analytics Vidhya3種運行Llama 3.2的方法-Analytics VidhyaApr 11, 2025 am 11:56 AM

Meta's Llama 3.2:多式聯運AI強力 Meta的最新多模式模型Llama 3.2代表了AI的重大進步,具有增強的語言理解力,提高的準確性和出色的文本生成能力。 它的能力t

使用dagster自動化數據質量檢查使用dagster自動化數據質量檢查Apr 11, 2025 am 11:44 AM

數據質量保證:與Dagster自動檢查和良好期望 保持高數據質量對於數據驅動的業務至關重要。 隨著數據量和源的增加,手動質量控制變得效率低下,容易出現錯誤。

大型機在人工智能時代有角色嗎?大型機在人工智能時代有角色嗎?Apr 11, 2025 am 11:42 AM

大型機:AI革命的無名英雄 雖然服務器在通用應用程序上表現出色並處理多個客戶端,但大型機是專為關鍵任務任務而建立的。 這些功能強大的系統經常在Heavil中找到

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
3 週前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解鎖Myrise中的所有內容
3 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

Dreamweaver Mac版

Dreamweaver Mac版

視覺化網頁開發工具

MantisBT

MantisBT

Mantis是一個易於部署的基於Web的缺陷追蹤工具,用於幫助產品缺陷追蹤。它需要PHP、MySQL和一個Web伺服器。請查看我們的演示和託管服務。

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

將Eclipse與SAP NetWeaver應用伺服器整合。

VSCode Windows 64位元 下載

VSCode Windows 64位元 下載

微軟推出的免費、功能強大的一款IDE編輯器

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )專業的PHP整合開發工具