FlashOcc：佔用預測新思路，精確度、效率和記憶體佔用新SOTA！

原文標題：FlashOcc: Fast and Memory-Efficient Occupancy Prediction via Channel-to-Height Plugin

論文連結：https://arxiv.org/pdf/2311.12058.pdf

作者單位：大連理工大學Houmo AI 阿德萊德大學

#論文想法：

鑑於能夠緩解3D 目標偵測中普遍存在的長尾缺陷和複雜形狀缺失的能力，佔用預測已成為自動駕駛系統的關鍵組成部分。然而，三維體素級表示的處理不可避免地會在記憶體和計算方面引入大量開銷，阻礙了迄今為止的佔用預測方法的部署。與使模型變得更大、更複雜的趨勢相反，本文認為理想的框架應該對不同的晶片進行部署友好，同時保持高精度。為此，本文提出了一種即插即用範例，即 FlashOCC，以鞏固快速且節省記憶體的佔用預測，同時保持高精度。特別是，本文的 FlashOCC 是基於當代體素級佔用預測方法做出了兩項改進。首先，特徵保留在 BEV 中，從而能夠使用高效的 2D 卷積層進行特徵提取。其次，引入通道到高度變換(channel-to-height transformation) ，將 BEV 的輸出 logits 提升到 3D 空間。本文將 FlashOCC 應用於具有挑戰性的 Occ3D-nuScenes 基準的各種佔用預測基線，並進行廣泛的實驗來驗證其有效性。結果證實了本文的即插即用範例在精度、運行時效率和記憶體成本方面優於以前最先進的方法，展示了其部署潛力。該代碼將可供使用。

網路設計：

受到sub-pixel convolution 技術[26] 的啟發，我們將影像上取樣替換為通道重新排列，以實現通道到空間的特徵轉換。在本文的研究中，我們的目標是有效地實現通道到高度的特徵轉換。考慮到BEV 感知任務的發展，其中BEV 表示中的每個像素包含有關相應柱狀物體在高度維度上的信息，我們直觀地利用通道到高度變換（channel-to-height transformation）將扁平化的BEV 特徵重新塑造為三維體素層級的佔用logits。因此，我們的研究專注於以通用和即插即用的方式增強現有模型，而不是開發新穎的模型架構，如圖1 (a) 所示。具體來說，我們直接使用 2D 卷積取代當代方法中的 3D 卷積，並用透過 2D 卷積獲得的 BEV 級特徵的通道到高度變換來取代從 3D 卷積輸出中得到的佔用 logits。這些模型不僅實現了準確性和時間消耗之間的最佳權衡，還展現出了出色的部署兼容性

FlashOcc 成功地以極高的精度成功完成了實時環視3D 佔用預測，代表了該領域的開創性貢獻。此外，它還展現了跨不同車載平台部署的增強的多功能性，因為它不需要昂貴的體素級特徵處理，其中避免了 view transformer 或 3D（可變形）卷積算子。如圖2所示，FlashOcc的輸入資料由環視圖像組成，而輸出則是密集的佔用預測結果。儘管本文的FlashOcc專注於以通用和即插即用的方式增強現有模型，但它仍然可以分為五個基本模組：（1）2D影像編碼器，負責從多相機影像中提取影像特徵。 (2) 視圖轉換模組，有助於將 2D 感知視圖影像特徵對應到 3D BEV 表示。 (3) BEV 編碼器，負責處理 BEV 特徵資訊。 (4) 佔用預測模組，預測每個體素的分割標籤。 (5) 一個可選的時間融合模組，旨在整合歷史資訊以提高效能。

圖 1.(a) 說明如何以即插即用的方式實作所提出的 FlashOcc。現代方法使用 3D-Conv 處理的體素級 3D 特徵來預測佔用率。相較之下，本文的插件替代模型透過(1) 以2D-Conv 取代3D-Conv 以及(2) 以通道到高度變換(channel-to-height transformation) 取代從3D-Conv 導出的佔用logits，實現快速且節省記憶體的佔用預測透過2D-Conv 取得的BEV 等級特徵。縮寫“Conv”代表卷積。 (b) 舉例說明了準確性與速度、推理記憶體消耗和訓練持續時間等因素之間的權衡。

######圖 2. 此圖說明了 FlashOcc 的整體架構，最好以彩色方式檢視並具有縮放功能。虛線框指定的區域表示存在可更換模組。每個可更換模組的特徵形狀分別由代表 2D 影像、BEV 級和體素級特徵的圖示表示。淺藍色區域對應於選購的時間融合模組，其使用取決於紅色開關的啟動。 ###

圖4展示了3D體素級表示處理和本文提出的插件替換之間的架構比較

實驗結果：

總結：

本文介紹了一種名為FlashOCC的即插即用方法，旨在實現快速且記憶體高效的佔用預測。此方法使用2D卷積直接取代基於體素的佔用方法中的3D卷積，並結合通道到高度變換（channel-to-height transformation）將扁平化的BEV特徵重新塑造為佔用logits。 FlashOCC已在多種體素級佔用預測方法中證明了其有效性和通用性。大量實驗證明該方法在精度、時間消耗、記憶體效率和部署友善性方面優於以前最先進的方法。據本文所知，FlashOCC是第一個將sub-pixel範式（Channel-to-Height）應用於佔用任務的方法，專門利用BEV級特徵，完全避免使用計算3D（可變形）卷積或transformer模組。視覺化結果令人信服地證明FlashOCC成功保留了高度資訊。在未來的工作中，該方法將被整合到自動駕駛的感知管道中，旨在實現高效的on-chip部署

#引用：

Yu, Z., Shu, C., Deng, J., Lu, K., Liu, Z., Yu, J., Yang, D., Li, H., & Chen, Y. (2023). FlashOcc: Fast and Memory-Efficient Occupancy Prediction via Channel-to-Height Plugin. ArXiv. /abs/2311.12058

######原文鏈接：https://mp.weixin.qq.com/ s/JDPlWj8FnZffJZc9PIsvXQ###

以上是FlashOcc：佔用預測新思路，精確度、效率和記憶體佔用新SOTA！的詳細內容。更多資訊請關注PHP中文網其他相關文章！