搜尋
首頁科技週邊人工智慧綜述:自動駕駛的協同感知技術

arXiv綜述論文「Collaborative Perception for Autonomous Driving: Current Status and Future Trend」,2022年8月23日,上海交大。

綜述:自動駕駛的協同感知技術

感知是自主駕駛系統的關鍵模組之一,然而單車的有限能力造成感知性能提高的瓶頸。為了突破單一感知的限制,提出協同感知,使車輛能夠分享訊息,感知視線之外和視野以外的環境。本文回顧了有前景的協同感知技術相關工作,包括基本概念、協同模式以及關鍵要素和應用。最後,討論該研究領域的開放挑戰和問題,並給予進一步方向。

如圖所示,單一感知的兩個重要問題是,遠距離遮蔽和稀疏資料。這些問題的解決方案是,同一區域內的車輛彼此共享共同感知資訊(CPM,collective perception message),協同感知環境,稱為協同感知或協作感知。

綜述:自動駕駛的協同感知技術

得益於通訊基礎設施的建設和V2X等通訊技術的發展,車輛可以以可靠的方式交換訊息,從而實現協作。最近的工作表明,車輛之間的協同感知可以提高環境感知的準確性以及交通系統的穩健性和安全性。

此外,自動駕駛車輛通常配備高保真感測器以實現可靠的感知,造成昂貴的成本。協同感知可以緩解單一車輛對感知設備的嚴格要求。

協同感知與附近的車輛和基礎設施共享信息,使自主車輛能夠克服某些感知限制,如遮擋和短視野。然而,實現即時和穩健的協同感知需要解決通訊容量和噪音帶來的一些挑戰。最近,有一些工作研究了協同感知的策略,包括什麼是協同、何時協同、如何協同、共享資訊的對齊等。

類似融合,協同的分類也有4類:

綜述:自動駕駛的協同感知技術

#1 早期協同

早期協同在輸入空間中進行協同,在車輛和基礎設施之間共享原始感官資料。它匯總了所有車輛和基礎設施的原始測量值,得到一個整體觀點。因此,每輛車都可以進行以下處理,並基於整體視角完成感知,這可以從根本上解決單體感知中出現的遮蔽和遠距離問題。

然而,共享原始感官資料需要大量通信,並且容易使通信網路因資料負載過大而擁塞,這在大多數情況下阻礙了其實際應用。

2. 後期協同

後期協同在輸出空間中進行協同,這促進了每個智體輸出的感知結果融合,實現細化。

雖然後期協同具有頻寬經濟性,但它對智體的定位誤差非常敏感,並且由於不完全的局部觀測而遭受高估計誤差和雜訊。

3 中間協同

中間協同在中間特徵空間中進行協同。它能夠傳輸單獨智體預測模型產生的中間特徵。融合這些特徵後,每個智體都會對融合的特徵進行解碼並產生感知結果。從概念上講,可以將代表性資訊壓縮到這些特徵中,與早期協同相比,可以節省通訊頻寬,與後期協同相比,還可以提高感知能力。

在實踐中,這種協同策略的設計在演算法上具有兩個方面的挑戰性:i)如何從原始測量中選擇最有效和緊湊的特徵進行傳輸;以及ii)如何最大限度地融合其他智體的特徵以增強每個智體的感知能力。

4 混合協同

如上所述,每種協同模式都有其優缺點。因此,一些工作採用了混合協同,將兩種或多種協同模式結合起來,以優化協同策略。

協同感知的主要因素包括:

1 協同圖

圖是協同感知建模的強大工具,因為它建模非歐資料結構有良好的可解釋性。在一些工作中,參與協同感知的車輛組成一個完整的協同圖,其中每個車輛是一個節點,兩個車輛之間的協同關係是這兩個節點之間的邊。

2 姿態對齊

由於協同感知需要在不同位置和不同時間融合來自車輛和基礎設施的數據,因此實現精確的數據對齊對於成功協同至關重要。

3 資訊融合

資訊融合是多智體系統的核心組成部分,其目標是以有效的方式融合來自其他智體的資訊量最大的部分。

4 基於強化學習的資源分配

#

現實環境中有限的通訊頻寬要求充分利用可用的通訊資源,這使得資源分配和頻譜共享非常重要。在車輛通訊環境中,快速變化的通道條件和日益增長的服務需求使得分配問題的最佳化非常複雜,難以使用傳統的最佳化方法來解決。有些工作利用多智體強化學習(MARL)來解決最佳化問題。

協同感知的應用:

1 3D 目標偵測

基於雷射雷達點雲的3D目標偵測是協同感知研究中最受關注的問題。原因如下:i)雷射雷達點雲比影像和視訊具有更多的空間維度。 ii)光達點雲可以在一定程度上保留個人資訊,如人臉和車牌號碼。 iii)點雲資料是用於融合的適當資料類型,因為當點雲資料從不同的姿態對齊時,其損失比像素少。 iv)3D目標偵測是自主駕駛感知的基本任務,追蹤和運動預測等許多任務都基於此。

2 語意分割

3D場景的語意分割也是自動駕駛所需的關鍵任務。 3D場景目標的協同語意分割,給定來自多個智體的3D場景觀察(影像、雷射雷達點雲等),為每個智體產生語意分割遮罩。 ‍

挑戰性問題:

1 通訊魯棒性

有效的協統依賴智體之間的可靠通訊。然而,通訊在實踐中並不完美:i)隨著網路中車輛數量的增加,每輛車的可用通訊頻寬有限;ii)由於不可避免的通訊延遲,車輛難以從其他車輛接收即時資訊;iii)通訊有時可能中斷,導致通訊中斷;iv)V2X通訊遭受破壞,無法始終提供可靠服務。儘管通訊技術不斷發展,通訊服務品質不斷提高,但上述問題仍將長期存在。然而,大多數現有的工作都假設資訊可以以即時和無損的方式共享,因此考慮這些通訊約束並設計穩健的協同感知系統對於進一步的工作具有重要意義。

2 異質性和跨模態

大多數協統感知工作關注基於雷射雷達點雲的感知。然而,有更多類型的數據可用於感知,如圖像和毫米波雷達點雲。這是一種利用多模態感測器資料進行更有效協作的潛在方法。此外,在某些場景中,有不同等級的自動車輛提供不同品質的資訊。因此,如何在異質車輛網路中進行協同是協同感知進一步實際應用的問題。不幸的是,很少有工作關注異質和跨模態的協作感知,這也成為一個開放的挑戰。

3 大規模資料集

大規模資料集和深度學習方法的發展提高了感知效能。然而,協同感知研究領域的現有資料集要么規模小,要么不公開。

缺乏公共大規模資料集阻礙了協同感知的進一步發展。此外,大多數數據集基於模擬。雖然模擬是驗證演算法的經濟和安全的方法,但真實的資料集也是需要的,可將協同感知應用於實踐。

以上是綜述:自動駕駛的協同感知技術的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
AI技能差距正在減慢供應鏈AI技能差距正在減慢供應鏈Apr 26, 2025 am 11:13 AM

經常使用“ AI-Ready勞動力”一詞,但是在供應鏈行業中確實意味著什麼? 供應鏈管理協會(ASCM)首席執行官安倍·埃什肯納齊(Abe Eshkenazi)表示,它表示能夠評論家的專業人員

一家公司如何悄悄地努力改變AI一家公司如何悄悄地努力改變AIApr 26, 2025 am 11:12 AM

分散的AI革命正在悄悄地獲得動力。 本週五在德克薩斯州奧斯汀,Bittensor最終遊戲峰會標誌著一個關鍵時刻,將分散的AI(DEAI)從理論轉變為實際應用。 與閃閃發光的廣告不同

NVIDIA釋放NEMO微服務以簡化AI代理開發NVIDIA釋放NEMO微服務以簡化AI代理開發Apr 26, 2025 am 11:11 AM

企業AI面臨數據集成挑戰 企業AI的應用面臨一項重大挑戰:構建能夠通過持續學習業務數據來保持準確性和實用性的系統。 NeMo微服務通過創建Nvidia所描述的“數據飛輪”來解決這個問題,允許AI系統通過持續接觸企業信息和用戶互動來保持相關性。 這個新推出的工具包包含五個關鍵微服務: NeMo Customizer 處理大型語言模型的微調,具有更高的訓練吞吐量。 NeMo Evaluator 提供針對自定義基準的AI模型簡化評估。 NeMo Guardrails 實施安全控制,以保持合規性和適當的

AI為藝術與設計的未來描繪了一幅新圖片AI為藝術與設計的未來描繪了一幅新圖片Apr 26, 2025 am 11:10 AM

AI:藝術與設計的未來畫卷 人工智能(AI)正以前所未有的方式改變藝術與設計領域,其影響已不僅限於業餘愛好者,更深刻地波及專業人士。 AI生成的藝術作品和設計方案正在迅速取代傳統的素材圖片和許多交易性設計活動中的設計師,例如廣告、社交媒體圖片生成和網頁設計。 然而,專業藝術家和設計師也發現AI的實用價值。他們將AI作為輔助工具,探索新的美學可能性,融合不同的風格,創造新穎的視覺效果。 AI幫助藝術家和設計師自動化重複性任務,提出不同的設計元素並提供創意輸入。 AI支持風格遷移,即將一種圖像的風格應用

Zoom如何徹底改變與Agent AI的合作:從會議到里程碑Zoom如何徹底改變與Agent AI的合作:從會議到里程碑Apr 26, 2025 am 11:09 AM

Zoom最初以其視頻會議平台而聞名,它通過創新使用Agentic AI來引領工作場所革命。 最近與Zoom的CTO XD黃的對話揭示了該公司雄心勃勃的願景。 定義代理AI 黃d

對大學的存在威脅對大學的存在威脅Apr 26, 2025 am 11:08 AM

AI會徹底改變教育嗎? 這個問題是促使教育者和利益相關者的認真反思。 AI融入教育既提出了機遇和挑戰。 正如科技Edvocate的馬修·林奇(Matthew Lynch)所指出的那樣

原型:美國科學家正在國外尋找工作原型:美國科學家正在國外尋找工作Apr 26, 2025 am 11:07 AM

美國科學研究和技術發展或將面臨挑戰,這或許是由於預算削減導致的。據《自然》雜誌報導,2025年1月至3月期間,美國科學家申請海外工作的數量比2024年同期增加了32%。此前一項民意調查顯示,75%的受訪研究人員正在考慮前往歐洲和加拿大尋找工作。 過去幾個月,數百項NIH和NSF的撥款被終止,NIH今年的新撥款減少了約23億美元,下降幅度接近三分之一。洩露的預算提案顯示,特朗普政府正在考慮大幅削減科學機構的預算,削減幅度可能高達50%。 基礎研究領域的動盪也影響了美國的一大優勢:吸引海外人才。 35

所有有關打開AI最新的GPT 4.1家庭的信息 - 分析Vidhya所有有關打開AI最新的GPT 4.1家庭的信息 - 分析VidhyaApr 26, 2025 am 10:19 AM

Openai推出了強大的GPT-4.1系列:一個專為現實世界應用設計的三種高級語言模型家族。 這種巨大的飛躍提供了更快的響應時間,增強的理解和大幅降低了成本

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )專業的PHP整合開發工具

mPDF

mPDF

mPDF是一個PHP庫,可以從UTF-8編碼的HTML產生PDF檔案。原作者Ian Back編寫mPDF以從他的網站上「即時」輸出PDF文件,並處理不同的語言。與原始腳本如HTML2FPDF相比,它的速度較慢,並且在使用Unicode字體時產生的檔案較大,但支援CSS樣式等,並進行了大量增強。支援幾乎所有語言,包括RTL(阿拉伯語和希伯來語)和CJK(中日韓)。支援嵌套的區塊級元素(如P、DIV),

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

MantisBT

MantisBT

Mantis是一個易於部署的基於Web的缺陷追蹤工具,用於幫助產品缺陷追蹤。它需要PHP、MySQL和一個Web伺服器。請查看我們的演示和託管服務。

EditPlus 中文破解版

EditPlus 中文破解版

體積小,語法高亮,不支援程式碼提示功能