跨模態佔據性知識的學習：使用渲染輔助蒸餾技術的RadOcc

原文標題：Radocc: Learning Cross-Modality Occupancy Knowledge through Rendering Assisted Distillation

論文連結：https://arxiv.org/pdf/2312.11829.pdf

作者單位：FNii , CUHK-Shenzhen SSE, CUHK-Shenzhen 華為諾亞方舟實驗室

會議：AAAI 2024

論文思路：

3D 佔用預測是一項新興任務，旨在使用多視圖影像估計3D 場景的佔用狀態和語義。然而，由於缺乏幾何先驗，基於影像的場景感知在實現準確預測方面遇到了重大挑戰。本文透過探索該任務中的跨模態知識蒸餾來解決這個問題，即，本文在訓練過程中利用更強大的多模態模型來指導視覺模型。在實踐中，本文觀察到直接應用，在鳥瞰（BEV）感知中提出並廣泛使用的特徵或 logits 對齊，並不能產生令人滿意的結果。為了克服這個問題，本文引入了 RadOcc，這是一個用於 3D 佔用預測的渲染輔助蒸餾範式。透過採用可微體渲染(differentiable volume rendering)，本文在透視圖中產生深度和語意圖，並提出了教師和學生模型的渲染輸出之間的兩個新穎的一致性標準(consistency criteria)。具體來說，深度一致性損失對齊渲染光線的終止分佈(termination distributions)，而語義一致性損失則模仿視覺基礎模型（VLM）引導的 intra-segment 相似性。 nuScenes 資料集上的實驗結果證明了本文提出的方法在改進各種3D 佔用預測方法方面的有效性，例如，本文提出的方法在mIoU 指標中將本文的基線提高了2.2%，在Occ3D 基準中達到了50%。

主要貢獻：

本文介紹了名為RadOcc的渲染輔助蒸餾範式，用於3D佔用預測。這是第一篇探索3D-OP中跨模態知識蒸餾的論文，為現有BEV蒸餾技術在該任務中的應用提供了有價值的見解。

作者提出了兩種新穎的蒸餾約束，即渲染深度和語意一致性（RDC和RSC）。這些限制透過對齊由視覺基礎模型引導的光線分佈和關聯矩陣，有效地增強了知識遷移過程。這種方法的關鍵在於利用深度和語義資訊來引導渲染過程，從而提高了渲染結果的品質和準確性。透過將這兩種限制結合起來，研究人員取得了顯著的改進，為視覺任務中的知識遷移提供了新的解決方案。

配備所提出的方法，RadOcc 在 Occ3D 和 nuScenes 基準上展現了最先進的密集和稀疏佔用預測性能。此外，實驗證明了本文提出的蒸餾方法可以有效地提升多個基準模型的性能。

網路設計：

本文首次研究了針對3D佔用預測任務的跨模態知識蒸餾。以BEV感知領域利用BEV或logits一致性進行知識遷移的方法為基礎，本文將這些蒸餾技術擴展到3D佔用預測任務中，旨在對齊體素特徵和體素logits，如圖1(a)所示。然而，初步實驗表明，這些對齊技術在3D-OP任務中面臨重大挑戰，特別是前一種方法引入了負遷移。這項挑戰可能源自於3D目標偵測和佔用預測之間的根本差異，後者作為一項更細粒度的感知任務，需要捕捉幾何細節以及背景目標。

為了解決上述挑戰，本文提出了 RadOcc，這是一種利用可微體渲染進行跨模態知識蒸餾的新穎方法。 RadOcc的核心思想是對教師模型和學生模型產生的渲染結果進行對齊，如圖1(b)所示。具體來說，本文使用相機的內參和外參對體素特徵進行體渲染（Mildenhall et al. 2021），這使本文能夠從不同的視點獲得相應的深度圖和語義圖。為了實現渲染輸出之間更好的對齊，本文引入了新穎的渲染深度一致性（RDC）和渲染語義一致性（RSC）損失。一方面，RDC 損失強制光線分佈(ray distribution)的一致性，這使得學生模型能夠捕捉資料的底層結構。另一方面，RSC 損失利用了視覺基礎模型的優勢（Kirillov et al. 2023），並利用預先提取的 segment 進行 affinity 蒸餾。此標準允許模型學習和比較不同影像區域的語義表示，從而增強其捕獲細粒度細節的能力。透過結合上述約束，本文提出的方法有效地利用了跨模態知識蒸餾，從而提高了性能並更好地優化了學生模型。本文展示了本文的方法在密集和稀疏佔用預測方面的有效性，並在這兩項任務上取得了最先進的結果。

圖 1：渲染輔助蒸餾。 (a) 現有方法對特徵或 logits 進行對齊。 (b) 本文提出的 RadOcc 方法同時約束渲染的深度圖和語意。 圖2：RadOcc的整體架構。它採用師生架構，其中教師網路是多模態模型，而學生網路僅接受相機輸入。兩個網路的預測將用於透過可微分體渲染(differentiable volume rendering)產生渲染深度和語意。渲染結果之間採用了新提出的渲染深度和語義一致性損失。

圖 3：渲染深度分析。儘管教師（T）和學生（S）的渲染深度相似，特別是對於前景物體，但它們的光線終止分佈顯示出很大的差異。

圖 4：affinity matrix 的生成。本文首先採用視覺基礎模型（VFM），即 SAM，將 segments 擷取到原始影像中。之後，本文將每個 segment 中渲染的語意特徵進行 segment 聚合，以獲得 affinity matrix 。

實驗結果：

總結：

#本文提出了RadOcc，一個用於3D 佔用預測的新跨模態知識蒸餾範式。它利用多模態教師模型透過可微分體渲染(differentiable volume rendering)為視覺學生模型提供幾何和語意指導。此外，本文提出了兩個新的一致性標準，深度一致性損失和語義一致性損失，以對齊教師和學生模型之間的 ray distribution 和 affinity matrix 。對 Occ3D 和 nuScenes 資料集的大量實驗表明，RadOcc 可以顯著提高各種 3D 佔用預測方法的效能。本文的方法在 Occ3D 挑戰基準上取得了最先進的結果，並且大大優於現有已發布的方法。本文相信本文的工作為場景理解中的跨模態學習開啟了新的可能性。

以上是跨模態佔據性知識的學習：使用渲染輔助蒸餾技術的RadOcc的詳細內容。更多資訊請關注PHP中文網其他相關文章！