OccFusion：一種簡單有效的Occ多感測器融合框架（性能SOTA）

對3D場景的全面理解在自動駕駛中至關重要，最近的3D語義佔用預測模型已經成功地解決了描述具有不同形狀和類別的真實世界物體的挑戰。然而，現有的3D佔用預測方法在很大程度上依賴全景相機影像，這使得它們容易受到照明和天氣條件變化的影響。透過整合雷射雷達和環視雷達等附加感測器的功能，本文的框架提高了佔用預測的準確性和穩健性，從而在nuScenes基準上獲得了頂級性能。此外，在nuScene資料集上進行的廣泛實驗，包括具有挑戰性的夜間和雨天場景，證實了我們的感測器融合策略在各種感知範圍內的卓越性能。

論文連結：https://arxiv.org/pdf/2403.01644.pdf

論文名稱：OccFusion: A Straightforward and Effective Multi-Sensor Fusion Framework for 3D Occupancy Prediction

本文的主要貢獻概述如下：

• 提出了一種多感測器融合框架，用於整合相機、光達和雷達信息，以執行3D語義佔用預測任務。
• 在3D語意佔用預測任務中，將本文的方法與其他最先進的（SOTA）演算法進行了比較，以證明多感測器融合的優勢。
• 進行了徹底的消融研究，以評估不同感測器組合在具有挑戰性的照明和天氣條件下（如夜間和雨天）所實現的性能增益。
• 考慮到各種感測器組合和具有挑戰性的場景，進行了一項全面的研究，以分析感知範圍因素對我們的框架在3D語義佔用預測任務中的表現的影響！

網路結構一覽表

OccFusion的整體架構如下所示。首先，將環繞視圖影像輸入到2D主幹中以提取多尺度特徵。隨後，在每個尺度上進行視圖變換，以獲得每個層級的全域BEV特徵和局部3D特徵volume 。雷射雷達和環視雷達產生的3D點雲也被輸入到3D主幹中，以產生多尺度局部3D特徵量和全局BEV特徵。每個等級的動態融合3D/2D模組融合了相機和光達/雷達的功能。在此之後，將每個層級的合併的全局BEV特徵和局部3D特徵volume 饋送到全局-局部注意力融合中，以產生每個尺度的最終3D volume 。最後，對每個層級的3D volume 進行上採樣，並在採用多尺度監督機制的情況下進行skip連接。

實驗比較分析

在nuScenes驗證集上，展示了基於密集佔用標籤訓練的各種方法在3D語意佔用預測中的結果。這些方法涉及不同模態概念，包括相機（C）、雷射雷達（L）和雷達（R）。

在nuScenes資料集的雨天場景子集上，我們對3D語意佔用進行了預測，並使用了密集佔用標籤進行訓練。在這個實驗中，我們考慮了相機（C）、光達（L）、雷達（R）等不同模態的數據。這些模態的融合可以幫助我們更好地理解和預測雨天下的場景，為自動駕駛系統的發展提供了重要參考。

nuScenes驗證夜間場景子集的3D語意佔用預測結果。所有方法都使用密集佔用標籤進行訓練。模態概念：相機（C）、光達（L）、雷達（R）。

效能變化趨勢。 （a） 整個nuScenes驗證集的效能變化趨勢，（b）nuScenes驗證夜間場景子集，以及（c）nuScene驗證雨天場景子集的效能變化趨勢。

表四：不同方法的模型效率比較。實驗是在一台A10上使用六幅多攝影機影像、光達和雷達資料進行的。對於輸入影像分辨率，所有方法均採用1600×900。 ↓:越低越好。

更多消融實驗：

#

##

以上是OccFusion：一種簡單有效的Occ多感測器融合框架（性能SOTA）的詳細內容。更多資訊請關注PHP中文網其他相關文章！