arXiv綜述論文「Collaborative Perception for Autonomous Driving: Current Status and Future Trend」,2022年8月23日,上海交大。
感知是自主駕駛系統的關鍵模組之一,然而單車的有限能力造成感知性能提高的瓶頸。為了突破單一感知的限制,提出協同感知,使車輛能夠分享訊息,感知視線之外和視野以外的環境。本文回顧了有前景的協同感知技術相關工作,包括基本概念、協同模式以及關鍵要素和應用。最後,討論該研究領域的開放挑戰和問題,並給予進一步方向。
如圖所示,單一感知的兩個重要問題是,遠距離遮蔽和稀疏資料。這些問題的解決方案是,同一區域內的車輛彼此共享共同感知資訊(CPM,collective perception message),協同感知環境,稱為協同感知或協作感知。
得益於通訊基礎設施的建設和V2X等通訊技術的發展,車輛可以以可靠的方式交換訊息,從而實現協作。最近的工作表明,車輛之間的協同感知可以提高環境感知的準確性以及交通系統的穩健性和安全性。
此外,自動駕駛車輛通常配備高保真感測器以實現可靠的感知,造成昂貴的成本。協同感知可以緩解單一車輛對感知設備的嚴格要求。
協同感知與附近的車輛和基礎設施共享信息,使自主車輛能夠克服某些感知限制,如遮擋和短視野。然而,實現即時和穩健的協同感知需要解決通訊容量和噪音帶來的一些挑戰。最近,有一些工作研究了協同感知的策略,包括什麼是協同、何時協同、如何協同、共享資訊的對齊等。
類似融合,協同的分類也有4類:
#1 早期協同
早期協同在輸入空間中進行協同,在車輛和基礎設施之間共享原始感官資料。它匯總了所有車輛和基礎設施的原始測量值,得到一個整體觀點。因此,每輛車都可以進行以下處理,並基於整體視角完成感知,這可以從根本上解決單體感知中出現的遮蔽和遠距離問題。
然而,共享原始感官資料需要大量通信,並且容易使通信網路因資料負載過大而擁塞,這在大多數情況下阻礙了其實際應用。
2. 後期協同
後期協同在輸出空間中進行協同,這促進了每個智體輸出的感知結果融合,實現細化。
雖然後期協同具有頻寬經濟性,但它對智體的定位誤差非常敏感,並且由於不完全的局部觀測而遭受高估計誤差和雜訊。
3 中間協同
中間協同在中間特徵空間中進行協同。它能夠傳輸單獨智體預測模型產生的中間特徵。融合這些特徵後,每個智體都會對融合的特徵進行解碼並產生感知結果。從概念上講,可以將代表性資訊壓縮到這些特徵中,與早期協同相比,可以節省通訊頻寬,與後期協同相比,還可以提高感知能力。
在實踐中,這種協同策略的設計在演算法上具有兩個方面的挑戰性:i)如何從原始測量中選擇最有效和緊湊的特徵進行傳輸;以及ii)如何最大限度地融合其他智體的特徵以增強每個智體的感知能力。
4 混合協同
如上所述,每種協同模式都有其優缺點。因此,一些工作採用了混合協同,將兩種或多種協同模式結合起來,以優化協同策略。
協同感知的主要因素包括:
1 協同圖
圖是協同感知建模的強大工具,因為它建模非歐資料結構有良好的可解釋性。在一些工作中,參與協同感知的車輛組成一個完整的協同圖,其中每個車輛是一個節點,兩個車輛之間的協同關係是這兩個節點之間的邊。
2 姿態對齊
由於協同感知需要在不同位置和不同時間融合來自車輛和基礎設施的數據,因此實現精確的數據對齊對於成功協同至關重要。
3 資訊融合
資訊融合是多智體系統的核心組成部分,其目標是以有效的方式融合來自其他智體的資訊量最大的部分。
4 基於強化學習的資源分配
#現實環境中有限的通訊頻寬要求充分利用可用的通訊資源,這使得資源分配和頻譜共享非常重要。在車輛通訊環境中,快速變化的通道條件和日益增長的服務需求使得分配問題的最佳化非常複雜,難以使用傳統的最佳化方法來解決。有些工作利用多智體強化學習(MARL)來解決最佳化問題。
協同感知的應用:
1 3D 目標偵測
基於雷射雷達點雲的3D目標偵測是協同感知研究中最受關注的問題。原因如下:i)雷射雷達點雲比影像和視訊具有更多的空間維度。 ii)光達點雲可以在一定程度上保留個人資訊,如人臉和車牌號碼。 iii)點雲資料是用於融合的適當資料類型,因為當點雲資料從不同的姿態對齊時,其損失比像素少。 iv)3D目標偵測是自主駕駛感知的基本任務,追蹤和運動預測等許多任務都基於此。
2 語意分割
3D場景的語意分割也是自動駕駛所需的關鍵任務。 3D場景目標的協同語意分割,給定來自多個智體的3D場景觀察(影像、雷射雷達點雲等),為每個智體產生語意分割遮罩。
挑戰性問題:
1 通訊魯棒性
有效的協統依賴智體之間的可靠通訊。然而,通訊在實踐中並不完美:i)隨著網路中車輛數量的增加,每輛車的可用通訊頻寬有限;ii)由於不可避免的通訊延遲,車輛難以從其他車輛接收即時資訊;iii)通訊有時可能中斷,導致通訊中斷;iv)V2X通訊遭受破壞,無法始終提供可靠服務。儘管通訊技術不斷發展,通訊服務品質不斷提高,但上述問題仍將長期存在。然而,大多數現有的工作都假設資訊可以以即時和無損的方式共享,因此考慮這些通訊約束並設計穩健的協同感知系統對於進一步的工作具有重要意義。
2 異質性和跨模態
大多數協統感知工作關注基於雷射雷達點雲的感知。然而,有更多類型的數據可用於感知,如圖像和毫米波雷達點雲。這是一種利用多模態感測器資料進行更有效協作的潛在方法。此外,在某些場景中,有不同等級的自動車輛提供不同品質的資訊。因此,如何在異質車輛網路中進行協同是協同感知進一步實際應用的問題。不幸的是,很少有工作關注異質和跨模態的協作感知,這也成為一個開放的挑戰。
3 大規模資料集
大規模資料集和深度學習方法的發展提高了感知效能。然而,協同感知研究領域的現有資料集要么規模小,要么不公開。
缺乏公共大規模資料集阻礙了協同感知的進一步發展。此外,大多數數據集基於模擬。雖然模擬是驗證演算法的經濟和安全的方法,但真實的資料集也是需要的,可將協同感知應用於實踐。
以上是綜述:自動駕駛的協同感知技術的詳細內容。更多資訊請關注PHP中文網其他相關文章!

斯坦福大學以人為本人工智能研究所發布的《2025年人工智能指數報告》對正在進行的人工智能革命進行了很好的概述。讓我們用四個簡單的概念來解讀它:認知(了解正在發生的事情)、欣賞(看到好處)、接納(面對挑戰)和責任(弄清我們的責任)。 認知:人工智能無處不在,並且發展迅速 我們需要敏銳地意識到人工智能發展和傳播的速度有多快。人工智能係統正在不斷改進,在數學和復雜思維測試中取得了優異的成績,而就在一年前,它們還在這些測試中慘敗。想像一下,人工智能解決複雜的編碼問題或研究生水平的科學問題——自2023年

Meta的Llama 3.2:多模式和移動AI的飛躍 Meta最近公佈了Llama 3.2,這是AI的重大進步,具有強大的視覺功能和針對移動設備優化的輕量級文本模型。 以成功為基礎

本週的AI景觀:進步,道德考慮和監管辯論的旋風。 OpenAI,Google,Meta和Microsoft等主要參與者已經釋放了一系列更新,從開創性的新車型到LE的關鍵轉變

連接的舒適幻想:我們在與AI的關係中真的在蓬勃發展嗎? 這個問題挑戰了麻省理工學院媒體實驗室“用AI(AHA)”研討會的樂觀語氣。事件展示了加油

介紹 想像一下,您是科學家或工程師解決複雜問題 - 微分方程,優化挑戰或傅立葉分析。 Python的易用性和圖形功能很有吸引力,但是這些任務需要強大的工具

Meta's Llama 3.2:多式聯運AI強力 Meta的最新多模式模型Llama 3.2代表了AI的重大進步,具有增強的語言理解力,提高的準確性和出色的文本生成能力。 它的能力t

數據質量保證:與Dagster自動檢查和良好期望 保持高數據質量對於數據驅動的業務至關重要。 隨著數據量和源的增加,手動質量控制變得效率低下,容易出現錯誤。

大型機:AI革命的無名英雄 雖然服務器在通用應用程序上表現出色並處理多個客戶端,但大型機是專為關鍵任務任務而建立的。 這些功能強大的系統經常在Heavil中找到


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

禪工作室 13.0.1
強大的PHP整合開發環境

MinGW - Minimalist GNU for Windows
這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

mPDF
mPDF是一個PHP庫,可以從UTF-8編碼的HTML產生PDF檔案。原作者Ian Back編寫mPDF以從他的網站上「即時」輸出PDF文件,並處理不同的語言。與原始腳本如HTML2FPDF相比,它的速度較慢,並且在使用Unicode字體時產生的檔案較大,但支援CSS樣式等,並進行了大量增強。支援幾乎所有語言,包括RTL(阿拉伯語和希伯來語)和CJK(中日韓)。支援嵌套的區塊級元素(如P、DIV),

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)