搜尋
首頁科技週邊人工智慧VectorFlow:結合影像和向量做交通佔用和流預測

arXiv論文“VectorFlow: Combining Images and Vectors for Traffic Occupancy and Flow Prediction“,2022年8月9日,清華大學工作。

VectorFlow:結合影像和向量做交通佔用和流預測

預測道路智體的未來行為是自主駕駛中的關鍵任務。雖然現有模型在預測智體未來行為方面取得了巨大成功,但有效預測多智體聯合一致的行為仍然是一個挑戰。最近,有人提出了occupancy flow fields(OFF)表示法,透過佔用網格和流的組合來表示道路智體的聯合未來狀態,支持聯合一致的預測。

這項工作提出一種新的occupancy flow fields預測器,從光柵化交通影像中學習特徵的影像編碼器,和捕捉連續智體軌跡和地圖狀態資訊的向量編碼器,二者結合起來,產生準確的佔用和流預測。在產生最終預測之前,兩個編碼特徵由多個注意模組融合。該模型在Waymo開放資料集佔用和串流預測挑戰(Occupancy and Flow Prediction Challenge)中排名第三,在遮蔽佔用率和預測任務(occluded occupancy and flow prediction task)中實現了最佳效能。

OFF表示(“Occupancy Flow Fields for Motion Forecasting in Autonomous Driving“,arXiv 2203.03875,3,2022)是一種時空網格,其中每個網格單元包括i)任何智體佔用單元的機率和ii)表示佔用該單元智體運動的流。其提供了更好的效率和可擴展性,因為預測occupancy flow fields的計算複雜性與場景中道路智體的數量無關。

如圖是OFF框架圖。編碼器結構如下。第一層接收所有三種類型的輸入點,並用PointPillars啟發的編碼器進行處理。交通燈和道路點直接放置在網格中。智體在每個輸入時間步t的狀態編碼是,從每個智體BEV框內均勻採樣固定大小的點網格,並把這些點與相關智體狀態屬性(包括時間t的one-hot編碼)放置在網格。每個pillar為其包含的所有點輸出一個嵌入。解碼器結構如下。第二級接收每個pillar嵌入作為輸入,並產生每個網格單元佔用和流預測。解碼器網路基於EfficientNet,用EfficientNet作為主幹來處理每個pillar嵌入得到特徵映射(P2,…P7),其中Pi從輸入下採樣2^i。然後用BiFPN網路以雙向方式融合這些多尺度特徵。然後,用最高解析度特徵映射P2在所有時間步回歸所有智體類K的佔用和流預測。具體地,解碼器為每個網格單元輸出一個向量,同時預測佔用和流。

VectorFlow:結合影像和向量做交通佔用和流預測

針對本文,做以下問題設定:給定場景中交通智體1秒的歷史和場景上下文,如地圖座標,目標是預測i)未來觀察到的佔用率,ii)未來遮蔽的佔用率,以及iii)在一個場景中未來8個路點上所有車輛的未來流,其中每個路點覆蓋1秒的間隔。

將輸入處理為光柵化影像和一組向量。為了獲得影像,在給定觀察智體軌跡和地圖資料的情況下,相對於自動駕駛汽車(SDC)的局部座標,在過去的每個時間步驟中創建一個光柵化網格。為了獲得與光柵化影像一致的向量化輸入,遵循相同的變換,相對於SDC的局部視圖,旋轉和移動輸入智體和地圖座標。

編碼器包含兩個部分:編碼光柵化表示的VGG-16模型,和編碼向量化表示的VectorNe模型。透過交叉注意模組將向量化特徵與VGG-16最後兩步驟的特徵進行融合。透過FPN-式樣網絡,融合後的特徵上採樣到原始分辨率,作為輸入的光柵化特徵。

解碼器是單一2D卷積層,將編碼器輸出對應到occupancy flow fields預測,該預測包括一系列8網格圖,表示未來8秒內每個時間步的佔用和流預測。

如圖:

VectorFlow:結合影像和向量做交通佔用和流預測

用torchvision的標準VGG-16模型,作為光柵化編碼器,並遵循VectorNet(代碼https://github.com/Tsinghua -MARS-Lab/DenseTNT)的實作。 VectorNet的輸入包含i)一組形狀為B×Nr×9的道路元素向量,其中B是批次大小,Nr=10000是道路元素向量的最大數,最後一個維度9表示每個向量和向量ID中兩個端點的位置(x,y)和方向(cosθ,sinθ);ii)一組形狀為B×1280×9的智體向量,包括場景中最多128個智體的向量,其中每個智體具有來自觀察位置的10個向量。

遵循VectorNet,首先根據每個交通元素的ID運行局部圖,然後在所有局部特徵上運行全局圖,獲得形狀為B×128×N的向量化特徵,其中N是交通元素的總數,包括道路元素和智體。透過MLP層將特徵的大小進一步增加四倍,獲得最終的向量化特徵V,其形狀為B×512×N,其特徵大小與影像特徵的通道大小一致。

VGG每個層級的輸出特徵表示為{C1、C2、C3、C4、C5},相對於輸入影像和512隱藏維,跨步長(strides)為{1、2、4、 8、16}像素。透過交叉注意模組將向量化特徵V與形狀為B×512×16×16的光柵化影像特徵C5融合,獲得相同形狀的F5。交叉注意的query項是影像特徵C5,扁平為有256個令牌(tokens)的B×512×256形狀,Key和Value項是具有N個令牌的向量化特徵V。

接著在通道維上連接F5和C5,經過兩個3×3卷積層,得到形狀為B×512×16×16的P5。 P5透過FPN風格的2×2上取樣模組做上取樣並與C4(B×512×32x32)連接,產生和C4一樣形狀的U4。之後在V和U4之間執行另一輪融合,遵循相同的程序,包括交叉注意,獲得P4(B×512×32×32)。最後,P4由FPN式樣網路逐漸上取樣,並與{C3,C2,C1}連接,產生形狀為B×512×256×256的EP1。將P1通過兩個3×3 卷積層,得到形狀為B×128×256的最終輸出特徵。

解碼器是單一2D卷積層,輸入通道大小為128,輸出通道大小為32(8個路點×4個輸出維度)。

結果如下:

VectorFlow:結合影像和向量做交通佔用和流預測

VectorFlow:結合影像和向量做交通佔用和流預測

#

以上是VectorFlow:結合影像和向量做交通佔用和流預測的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
最新的最佳及時工程技術的年度彙編最新的最佳及時工程技術的年度彙編Apr 10, 2025 am 11:22 AM

對於那些可能是我專欄新手的人,我廣泛探討了AI的最新進展,包括體現AI,AI推理,AI中的高科技突破,及時的工程,AI培訓,AI,AI RE RE等主題

歐洲的AI大陸行動計劃:Gigafactories,Data Labs和Green AI歐洲的AI大陸行動計劃:Gigafactories,Data Labs和Green AIApr 10, 2025 am 11:21 AM

歐洲雄心勃勃的AI大陸行動計劃旨在將歐盟確立為人工智能的全球領導者。 一個關鍵要素是建立了AI Gigafactories網絡,每個網絡都有大約100,000個高級AI芯片 - 2倍的自動化合物的四倍

微軟的直接代理商故事是否足以創造更多的粉絲?微軟的直接代理商故事是否足以創造更多的粉絲?Apr 10, 2025 am 11:20 AM

微軟對AI代理申請的統一方法:企業的明顯勝利 微軟最近公告的新AI代理能力清晰而統一的演講給人留下了深刻的印象。 與許多技術公告陷入困境不同

向員工出售AI策略:Shopify首席執行官的宣言向員工出售AI策略:Shopify首席執行官的宣言Apr 10, 2025 am 11:19 AM

Shopify首席執行官TobiLütke最近的備忘錄大膽地宣布AI對每位員工的基本期望是公司內部的重大文化轉變。 這不是短暫的趨勢。這是整合到P中的新操作範式

IBM啟動具有完整AI集成的Z17大型機IBM啟動具有完整AI集成的Z17大型機Apr 10, 2025 am 11:18 AM

IBM的Z17大型機:集成AI用於增強業務運營 上個月,在IBM的紐約總部,我收到了Z17功能的預覽。 以Z16的成功為基礎(於2022年推出並證明持續的收入增長

5 Chatgpt提示取決於別人並完全相信自己5 Chatgpt提示取決於別人並完全相信自己Apr 10, 2025 am 11:17 AM

解鎖不可動搖的信心,消除了對外部驗證的需求! 這五個CHATGPT提示將指導您完全自力更生和自我感知的變革轉變。 只需複制,粘貼和自定義包圍

AI與您的思想危險相似AI與您的思想危險相似Apr 10, 2025 am 11:16 AM

人工智能安全與研究公司 Anthropic 最近的一項[研究]開始揭示這些複雜過程的真相,展現出一種令人不安地與我們自身認知領域相似的複雜性。自然智能和人工智能可能比我們想像的更相似。 窺探內部:Anthropic 可解釋性研究 Anthropic 進行的研究的新發現代表了機制可解釋性領域的重大進展,該領域旨在反向工程 AI 的內部計算——不僅僅觀察 AI 做了什麼,而是理解它在人工神經元層面如何做到這一點。 想像一下,試圖通過繪製當有人看到特定物體或思考特定想法時哪些神經元會放電來理解大腦。 A

龍翼展示高通的邊緣動力龍翼展示高通的邊緣動力Apr 10, 2025 am 11:14 AM

高通的龍翼:企業和基礎設施的戰略飛躍 高通公司通過其新的Dragonwing品牌在全球範圍內積極擴展其範圍,以全球為目標。 這不僅僅是雷布蘭

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
3 週前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解鎖Myrise中的所有內容
3 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

將Eclipse與SAP NetWeaver應用伺服器整合。

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

SecLists

SecLists

SecLists是最終安全測試人員的伙伴。它是一個包含各種類型清單的集合,這些清單在安全評估過程中經常使用,而且都在一個地方。 SecLists透過方便地提供安全測試人員可能需要的所有列表,幫助提高安全測試的效率和生產力。清單類型包括使用者名稱、密碼、URL、模糊測試有效載荷、敏感資料模式、Web shell等等。測試人員只需將此儲存庫拉到新的測試機上,他就可以存取所需的每種類型的清單。

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用