搜尋
首頁科技週邊人工智慧BEV下的Radar-Camera 融合跨資料集實驗研究

BEV下的Radar-Camera 融合跨資料集實驗研究

Oct 05, 2023 pm 06:45 PM
數據自動駕駛

原文標題:Cross-Dataset Experimental Study of Radar-Camera Fusion in Bird's-Eye View
論文連結:https://arxiv.org/pdf/2309.15465.pdf
作者單位:Opel Automobile GmbH Rheinland -Pfalzische Technische Universitat Kaiserslautern-Landau German Research Center for Artificial Intelligence

BEV下的Radar-Camera 融合跨数据集实验研究

##論文想法:

透過利用互補的感測器資訊,毫米波雷達和相機融合系統具有潛力為先進的駕駛員輔助系統和自動駕駛功能提供高度穩健和可靠的感知系統。基於相機的目標偵測的最新進展為毫米波雷達和相機的融合提供了新的可能性,可以利用鳥瞰特徵圖進行融合。本研究提出了一種新穎且靈活的融合網絡,並在兩個資料集(nuScenes 和 View-of-Delft)上評估了其性能。實驗結果表明,雖然相機分支需要大量且多樣化的訓練數據,但毫米波雷達分支從高性能的毫米波雷達中受益更多。透過遷移學習,本研究提高了相機在較小資料集上的表現。研究結果進一步表明,毫米波雷達和相機的融合方法明顯優於僅使用相機或僅使用毫米波雷達的基準方法

網路設計:

最近,3D目標偵測的一個趨勢是將影像的特徵轉換成常見的鳥瞰圖(BEV)表示。這種表示方式提供了一種靈活的融合架構,可以在多個攝影機之間進行融合,也可以使用測距感測器進行融合。在這項工作中,我們擴展了原本用於雷射攝影機融合的BEVFusion方法,用於毫米波雷達攝影機的融合。我們使用選定的毫米波雷達資料集對我們提出的融合方法進行了訓練和評估。在幾個實驗中,我們討論了每個資料集的優缺點。最後,我們應用遷移學習來實現進一步的改進

BEV下的Radar-Camera 融合跨数据集实验研究

以下是需要重新編寫的內容: 圖1展示了基於BEVFusion的BEV毫米波雷達-相機融合流程圖。在產生的相機影像中,我們包含了投影毫米波雷達的偵測結果和真實邊界框

本文遵循BEVFusion的融合架構。圖1展示了本文在BEV中進行毫米波雷達-camera融合的網路概況。請注意,融合發生時,camera和毫米波雷達特徵在BEV連接。下面,本文將為每個區塊提供進一步的細節。

需要重寫的內容是:A.相機編碼器和相機到BEV視圖轉換

camera編碼器和視圖變換採用了[15]的思想,它是一種靈活的框架,可以擷取任意camera外部和內部參數的影像BEV特徵。首先,使用tiny-Swin Transformer網路從每個影像中提取特徵。接下來,本文利用[14]的 Lift 和 Splat 步驟將影像的特徵轉換到BEV平面。為此,密集深度預測之後是基於規則的block,其中的特徵被轉換成偽點雲,並進行柵格化並累積到BEV網格中。

雷達柱特徵編碼器

此區塊的目的是將毫米波雷達點雲編碼到與影像BEV特徵相同的網格上的BEV特徵中。為此,本文使用了[16]的 pillar 特徵編碼技術,將點雲光柵化為無限高的體素,即所謂的pillar。

需要重新寫的內容是:C. BEV編碼器

與[5]相似,毫米波雷達和相機的BEV特徵是透過級聯融合來實現的。融合後的特徵由聯合卷積BEV編碼器處理,以便網路能夠考慮空間錯位並利用不同模態之間的協同效應

D. Detection Head

本文使用CenterPoint檢測頭來預測每個類別的目標中心的熱圖。進一步的迴歸頭預測物體的尺寸、旋轉和高度,以及nuScenes的速度和類別屬性。而熱圖則採用高斯焦點損失進行訓練,其餘的檢測頭則採用L1損失進行訓練

實驗結果:

BEV下的Radar-Camera 融合跨数据集实验研究

BEV下的Radar-Camera 融合跨数据集实验研究

BEV下的Radar-Camera 融合跨数据集实验研究

引用:

Stäcker, L., Heidenreich, P., Rambach, J., & Stricker, D. (2023). 《鳥瞰視角下雷達-攝影機融合的跨資料集實驗研究》. ArXiv. /abs/2309.15465

BEV下的Radar-Camera 融合跨数据集实验研究

需要重寫的內容是:原文連結;https://mp.weixin.qq.com/ s/5mA5up5a4KJO2PBwUcuIdQ

##

以上是BEV下的Radar-Camera 融合跨資料集實驗研究的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
最新的最佳及時工程技術的年度彙編最新的最佳及時工程技術的年度彙編Apr 10, 2025 am 11:22 AM

對於那些可能是我專欄新手的人,我廣泛探討了AI的最新進展,包括體現AI,AI推理,AI中的高科技突破,及時的工程,AI培訓,AI,AI RE RE等主題

歐洲的AI大陸行動計劃:Gigafactories,Data Labs和Green AI歐洲的AI大陸行動計劃:Gigafactories,Data Labs和Green AIApr 10, 2025 am 11:21 AM

歐洲雄心勃勃的AI大陸行動計劃旨在將歐盟確立為人工智能的全球領導者。 一個關鍵要素是建立了AI Gigafactories網絡,每個網絡都有大約100,000個高級AI芯片 - 2倍的自動化合物的四倍

微軟的直接代理商故事是否足以創造更多的粉絲?微軟的直接代理商故事是否足以創造更多的粉絲?Apr 10, 2025 am 11:20 AM

微軟對AI代理申請的統一方法:企業的明顯勝利 微軟最近公告的新AI代理能力清晰而統一的演講給人留下了深刻的印象。 與許多技術公告陷入困境不同

向員工出售AI策略:Shopify首席執行官的宣言向員工出售AI策略:Shopify首席執行官的宣言Apr 10, 2025 am 11:19 AM

Shopify首席執行官TobiLütke最近的備忘錄大膽地宣布AI對每位員工的基本期望是公司內部的重大文化轉變。 這不是短暫的趨勢。這是整合到P中的新操作範式

IBM啟動具有完整AI集成的Z17大型機IBM啟動具有完整AI集成的Z17大型機Apr 10, 2025 am 11:18 AM

IBM的Z17大型機:集成AI用於增強業務運營 上個月,在IBM的紐約總部,我收到了Z17功能的預覽。 以Z16的成功為基礎(於2022年推出並證明持續的收入增長

5 Chatgpt提示取決於別人並完全相信自己5 Chatgpt提示取決於別人並完全相信自己Apr 10, 2025 am 11:17 AM

解鎖不可動搖的信心,消除了對外部驗證的需求! 這五個CHATGPT提示將指導您完全自力更生和自我感知的變革轉變。 只需複制,粘貼和自定義包圍

AI與您的思想危險相似AI與您的思想危險相似Apr 10, 2025 am 11:16 AM

人工智能安全與研究公司 Anthropic 最近的一項[研究]開始揭示這些複雜過程的真相,展現出一種令人不安地與我們自身認知領域相似的複雜性。自然智能和人工智能可能比我們想像的更相似。 窺探內部:Anthropic 可解釋性研究 Anthropic 進行的研究的新發現代表了機制可解釋性領域的重大進展,該領域旨在反向工程 AI 的內部計算——不僅僅觀察 AI 做了什麼,而是理解它在人工神經元層面如何做到這一點。 想像一下,試圖通過繪製當有人看到特定物體或思考特定想法時哪些神經元會放電來理解大腦。 A

龍翼展示高通的邊緣動力龍翼展示高通的邊緣動力Apr 10, 2025 am 11:14 AM

高通的龍翼:企業和基礎設施的戰略飛躍 高通公司通過其新的Dragonwing品牌在全球範圍內積極擴展其範圍,以全球為目標。 這不僅僅是雷布蘭

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
3 週前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解鎖Myrise中的所有內容
3 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

將Eclipse與SAP NetWeaver應用伺服器整合。

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

SecLists

SecLists

SecLists是最終安全測試人員的伙伴。它是一個包含各種類型清單的集合,這些清單在安全評估過程中經常使用,而且都在一個地方。 SecLists透過方便地提供安全測試人員可能需要的所有列表,幫助提高安全測試的效率和生產力。清單類型包括使用者名稱、密碼、URL、模糊測試有效載荷、敏感資料模式、Web shell等等。測試人員只需將此儲存庫拉到新的測試機上,他就可以存取所需的每種類型的清單。

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用