クロスモーダル占有知識の学習: レンダリング支援蒸留技術を使用した RadOcc

原題: Radocc: Learning Cross-Modality Occupancy Knowledge through Rendering Assisted Distillation

論文リンク: https://arxiv.org/pdf/2312.11829.pdf

著者の所属: FNii 、CUHK-深セン SSE、CUHK-深セン ファーウェイ ノアの方舟研究所

カンファレンス: AAAI 2024

ペーパー アイデア:

3D 占有予測は、マルチビュー画像を使用して 3D シーンの占有ステータスとセマンティクスを推定することを目的とした新たなタスクです。ただし、画像ベースのシーン認識では、幾何学的事前分布が欠如しているため、正確な予測を達成する際に大きな課題に直面します。この論文では、このタスクにおけるクロスモーダル知識の蒸留を検討することで、この問題に対処します。つまり、トレーニング プロセス中に視覚モデルをガイドするために、より強力なマルチモーダル モデルを利用します。実際には、鳥瞰図 (BEV) 認識で提案され広く使用されている特徴量またはロジット アラインメントを直接適用しても、満足のいく結果が得られないことがこの論文で観察されています。この問題を克服するために、この論文では、3D 占有率予測のためのレンダリング支援蒸留パラダイムである RadOcc を紹介します。微分可能なボリューム レンダリングを採用することで、遠近感のある奥行きマップとセマンティック マップを生成し、教師モデルと生徒モデルのレンダリング出力間の 2 つの新しい一貫性基準を提案します。具体的には、深さの一貫性の損失はレンダリング レイの終端分布を調整しますが、セマンティックの一貫性の損失はビジュアル ベース モデル (VLM) によって導かれるセグメント内の類似性を模倣します。 nuScenes データセットの実験結果は、さまざまな 3D 占有予測方法の改善におけるこの記事で提案された方法の有効性を示しています。たとえば、この記事で提案された方法は、この記事のベースラインを mIoU メトリクスで 2.2% 改善し、2.2% に達します。 Occ3D ベンチマークでは 50%。

主な貢献:

この論文では、3D 占有予測のための RadOcc と呼ばれるレンダリング支援蒸留パラダイムを紹介します。これは、3D-OP におけるクロスモーダル知識の蒸留を調査した最初の論文であり、このタスクにおける既存の BEV 蒸留技術の適用についての貴重な洞察を提供します。

著者らは、レンダリング深度とセマンティック一貫性 (RDC および RSC) という 2 つの新しい蒸留制約を提案しています。これらの制約は、ビジョンベースモデルによって導かれる光の分布と相関行列を調整することにより、知識伝達プロセスを効果的に強化します。このアプローチの鍵は、深度とセマンティック情報を使用してレンダリング プロセスをガイドし、それによってレンダリング結果の品質と精度を向上させることです。これら 2 つの制約を組み合わせることで、研究者らは大幅な改善を達成し、視覚タスクにおける知識伝達のための新しいソリューションを提供しました。

提案された方法を備えた RadOcc は、Occ3D および nuScenes ベンチマークで最先端の密および疎占有予測パフォーマンスを示します。さらに、この記事で提案した蒸留方法が複数のベースライン モデルのパフォーマンスを効果的に向上させることができることが実験によって証明されています。

ネットワーク設計:

この論文は、3D 占有予測タスクのためのクロスモーダル知識蒸留を初めて研究したものです。この論文は、BEV センシング分野における BEV またはロジットの一貫性を使用した知識伝達の方法に基づいて、図 1(a) に示すように、ボクセルの特徴とボクセルのロジットを揃えることを目的として、これらの蒸留技術を 3D 占有予測タスクに拡張します。ただし、予備実験では、これらの位置合わせ技術、特にネガティブ転送を導入する前者の方法では、3D-OP タスクにおいて重大な課題に直面していることが示されています。この課題は、3D オブジェクトの検出と占有予測の根本的な違いに起因している可能性があります。よりきめ細かい認識タスクとして、背景オブジェクトだけでなく幾何学的詳細をキャプチャする必要があります。

上記の課題に対処するために、この論文では、微分可能なボリューム レンダリングを使用したクロスモーダル知識蒸留のための新しい方法である RadOcc を提案します。 RadOcc の中心となるアイデアは、図 1(b) に示すように、教師モデルと生徒モデルによって生成されたレンダリング結果を調整することです。具体的には、この記事では、カメラの固有パラメーターと外部パラメーターを使用してボクセル特徴のボリューム レンダリングを実行します (Mildenhall et al. 2021)。これにより、この記事は、対応する深度マップとセマンティック マップをさまざまな視点から取得できるようになります。レンダリングされた出力間の調整を向上させるために、このホワイトペーパーでは、新しいレンダリング深度一貫性 (RDC) とレンダリング セマンティック一貫性 (RSC) の損失を導入します。一方で、RDC 損失により光線分布の一貫性が強化され、スチューデント モデルがデータの基礎となる構造を捕捉できるようになります。一方、RSC 損失はビジュアルベースモデル (Kirillov et al. 2023) を利用し、事前に抽出されたセグメントを親和性蒸留に利用します。この標準により、モデルはさまざまな画像領域の意味表現を学習および比較できるため、きめの細かい詳細をキャプチャする機能が強化されます。上記の制約を組み合わせることで、この論文で提案される方法は、クロスモーダルな知識の蒸留を効果的に活用し、それによってパフォーマンスを向上させ、学生モデルをより適切に最適化します。この論文では、密集占有率と疎占有率予測に対する私たちのアプローチの有効性を実証し、両方のタスクで最先端の結果を達成しました。

図 1: レンダリング支援蒸留。 (a) 既存の方法は特徴またはロジットを調整します。 (b) 本論文で提案する RadOcc 法は、レンダリングされた深度マップとセマンティクスを同時に制約します。 図 2: RadOcc の全体的なフレームワーク。教師と生徒のアーキテクチャを採用しており、教師のネットワークはマルチモーダル モデルで、生徒のネットワークはカメラ入力のみを受け入れます。両方のネットワークの予測は、微分可能なボリューム レンダリングを通じてレンダリングの深さとセマンティクスを生成するために使用されます。新しく提案されたレンダリング深度と意味的一貫性の損失がレンダリング結果間で採用されます。

図 3: レンダリング深度分析。教師 (T) と生徒 (S) は、特に前景オブジェクトに関して同様のレンダリング深度を持っていますが、ライト終端分布には大きな違いが見られます。

図 4: 親和性行列の生成。この記事では、まず Vision Foundation Model (VFM)、つまり SAM を使用して、元の画像にセグメントを抽出します。その後、この記事では、各セグメントでレンダリングされた意味論的特徴に対してセグメント集約を実行して、類似性行列を取得します。 ＃＃＃＃＃＃＃＃＃実験結果： ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃ ＃

要約:

この論文では、3D 占有率予測のための新しいクロスモーダル アプローチである RadOcc を提案します。知識の蒸留パラダイム。マルチモーダル教師モデルを利用して、微分可能なボリューム レンダリングを通じて視覚的な生徒モデルに幾何学的および意味論的なガイダンスを提供します。さらに、この論文では、教師モデルと生徒モデルの間でレイ分布とアフィニティ行列を調整するために、深さの一貫性損失と意味論的一貫性損失という 2 つの新しい一貫性基準を提案します。 Occ3D および nuScenes データセットに関する広範な実験により、RadOcc がさまざまな 3D 占有予測方法のパフォーマンスを大幅に向上できることが示されています。私たちの手法は、Occ3D チャレンジ ベンチマークで最先端の結果を達成し、既存の公開手法を大幅に上回ります。私たちは、私たちの取り組みがシーン理解におけるクロスモーダル学習の新たな可能性を開くものであると信じています。

以上がクロスモーダル占有知識の学習: レンダリング支援蒸留技術を使用した RadOccの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。