量産型キラー！ P-Mapnet: 従来の低精度地図 SDMap を使用することで、マッピングのパフォーマンスが 20 ポイント近く大幅に向上しました。

前に書いた

現在の自動運転システムが高精度地図への依存を取り除くために使用しているアルゴリズムの 1 つは、次の事実を利用するものです。遠距離での知覚性能はまだ不十分です。この目的を達成するために、私たちは P-MapNet を提案します。「P」はモデルのパフォーマンスを向上させるためにマップ事前分布を融合することに焦点を当てています。具体的には、SDMap と HDMap の事前情報を活用します。一方で、OpenStreetMap から弱く調整された SDMap データを抽出し、入力をサポートするためにそれを独立した用語にエンコードします。厳密に変更された入力と実際の HD マップの間の整合性が弱いという問題がありますが、クロスアテンション メカニズムに基づく構造は、適応的に SDMap スケルトンに焦点を当て、大幅なパフォーマンス向上をもたらすことができますが、一方で、MAE を使用する方法を提案します。リファイン モジュールは、HDMap の以前の分布をキャプチャします。このモジュールは、実際のマップとより一貫性のある分布を生成し、オクルージョンやアーティファクトなどの影響を軽減するのに役立ちます。私たちは、nuScenes と Argoverse2 データセットに対して広範な実験検証を実施しています。

図 1

要約すると、私たちの貢献は次のとおりです。

当社の SDMap アドバンストは、ラスタライズを含むオンライン マップ生成のパフォーマンスを向上させることができます (最大で改善されました)マップのパフォーマンスが 18.73 mIoU 向上し、量子化されました (最大 8.50 mAP 向上)。

(2) 以前の HDMap では、地図認識指数を最大 6.34% 向上させることができました。

(3) P-MapNet は、精度と効率をトレードオフするために、さまざまな推論モードに切り替えることができます。

P-MapNet は、より遠くのセンシング範囲に大きな改善をもたらす長距離 HD マップ生成ソリューションです。私たちのコードとモデルは https://jike5.github.io/P-MapNet/ で公開されています。

関連作業のレビュー

(1)オンライン マップ生成

HD マップの作成には主に SLAM マッピングが含まれます。自動注釈、手動注釈、その他の手順。これにより、コストが高くなり、HD マップの鮮度が制限されます。したがって、オンライン地図生成は自動運転システムにとって非常に重要です。 HDMapNet は、グリッド化を通じてマップ要素を表現し、ピクセル単位の予測および後処理メソッドを使用してベクトル化された予測結果を取得します。 MapTR、Pivo​​tNet、Streammapnet などの最近のメソッドは、Transformer アーキテクチャに基づいてエンドツーエンドのベクトル化予測を実装していますが、これらのメソッドはセンサー入力のみを使用し、オクルージョンなどの複雑な環境ではパフォーマンスが依然として制限されています。そして異常気象。

(2)長距離地図認識

オンライン地図によって生成された結果を下流モジュールでより適切に使用できるようにするために、一部の研究では範囲をさらに拡大しようとしています。地図認識のです。 SuperFusion[7] は、LIDAR とカメラを融合し、深度を考慮した BEV 変換を使用することで、前方 90 メートルの長距離予測を実現します。 NeuralMapPrior[8] は、グローバル ニューラル マップ事前分布を維持および更新することで、現在のオンライン観察の品質を向上させ、認識の範囲を拡大します。 [6] は衛星画像と車両センサーデータを集約することで BEV の特徴を取得し、さらにそれらを予測します。 MV-Map はオフラインの長距離マップ生成に焦点を当てており、関連するすべてのフレーム特徴を集約し、神経放射場を使用することで BEV 特徴を最適化します。

P-MapNet の概要

全体的なフレームワークを図 2 に示します。

図 2

入力: システム入力は点群: 、サラウンド カメラ:、 はサラウンド カメラの数です。一般的な HDMap 生成タスク (HDMapNet など) は次のように定義できます。

ここで、 は特徴抽出を表し、 はセグメンテーション ヘッドを表し、 は HDMap 予測を表します。結果。

私たちが提案した P-MapNet は、SD マップと HD マップの事前情報を組み合わせたものです。この新しいタスク ( 設定) は次のように表現できます:

where, は以前の SDMap を表し、 はこの記事で説明されている改良モジュールを表します。 モジュールは、事前トレーニングを通じて HD マップの配布を学習します。同様に、以前に SDMap のみを使用した場合、 のみの設定:

出力: マップ生成タスクの場合、通常、ラスター化とベクトル化という 2 つのマップ表現があります。この記事の研究では、この記事で設計された 2 つのアプリオリ モジュールがラスタライズされた出力により適しているため、主にラスタライズされた表現に焦点を当てます。

3.1 SDMap 事前モジュール

SDMap データ生成

この記事は、研究用の nuScenes および Argoverse2 データ セットに基づいています。 OpenStreetMapデータを使用して、上記のデータセットの対応するエリアのSDマップデータを生成し、車両GPSを通じて座標系を変換して、対応するエリアのSDマップを取得します。

BEV クエリ

図 2 に示すように、まず画像データに対して特徴抽出と透視変換を実行し、点群に対して特徴抽出を実行して BEV 特徴を取得します。次に、BEV 特徴が畳み込みネットワークを通じてダウンサンプリングされて新しい BEV 特徴が取得され、特徴マップが平坦化されて BEV クエリが取得されます。

SD Map 事前融合

SD Map データの場合、畳み込みネットワークによる特徴抽出後、得られた特徴を BEV Query Cross と比較します。 -アテンション メカニズム: クロス アテンション メカニズムの後に取得された BEV フィーチャは、セグメンテーション ヘッドを通じてマップ要素の初期予測を取得できます。

3.2. HDMap 以前のモジュール

は、ラスタライズされた HD マップを元の MAE の入力として直接使用し、MAE は MSE 損失を通じてトレーニングされるため、改良モジュールを使用できない。そこでこの記事では、MAE の出力をセグメンテーション ヘッドに置き換えます。予測されたマップ要素に連続性と信頼性（実際の HD マップの分布に近づける）を持たせるために、事前トレーニングされた MAE モジュールを使用して改良します。このモジュールのトレーニングは 2 つのステップで構成されます。最初のステップは、自己教師あり学習を使用して MAE モジュールをトレーニングし、HD マップの分布を学習することです。2 番目のステップは、取得した重みを使用してネットワークのすべてのモジュールを微調整することです。最初のステップで初期重みとして使用されます。

事前トレーニングの最初のステップでは、データセットから取得した実際の HD マップがランダム マスクを通過し、ネットワーク入力として使用されます

、トレーニングの目標は、 HD マップ:

微調整の 2 番目のステップでは、

最初のステップで事前にトレーニングされた重みを初期重みとして使用します。ネットワークは:

4. 実験

4.1 データセットと指標

私たちnuScenes と Argoverse2 という 2 つの主流のデータセットに対して評価を実施しました。長距離における提案手法の有効性を証明するために、3 つの異なる検出距離を設定しました:,

, 。このうち、 範囲の BEV Grid の解像度は 0.15m、他の 2 つの範囲の解像度は 0.3m です。 mIOU メトリックを使用してラスター化された予測結果を評価し、mAP を使用してベクトル化された予測結果を評価します。地図の信頼性を評価するために、地図認識指標として LPIPS 指標も使用します。

4.2 結果

SOTA 結果との比較: 提案手法と現行 SOTA 手法を短距離 (60m × 30m) および長距離 (90m × 30m) で比較します。 ) ) を使用してマップ生成結果を比較します。表 II に示すように、私たちの方法は、既存の視覚のみおよびマルチモーダル (RGB LiDAR) 方法と比較して優れたパフォーマンスを示します。

さまざまな距離およびさまざまなセンサー モードを使用して、HDMapNet [14] とのパフォーマンス比較を実行しました。結果は表 I および表 III にまとめられています。私たちの方法では、240m × 60m の範囲で mIOU が 13.4% 向上しました。知覚された距離がセンサーの検出範囲を超える、または超えると、SDMap 事前の有効性がより重要になり、SDMap 事前の有効性が検証されます。最後に、HD マップを活用して、初期の予測結果をより現実的なものにし、誤った結果を排除することで、パフォーマンスをさらに向上させます。

HD 先験的な知覚指標をマップします。 HDMap の以前のモジュールは、ネットワークの初期予測を HD マップの分布にマッピングし、より現実的なものにします。 HDMap の以前のモジュール出力の信頼性を評価するために、評価には知覚メトリック LPIPS (値が低いほどパフォーマンスが良い) を使用しました。表 IV に示すように、

設定の LPIPS インジケーターは、 のみの設定よりも大幅に改善されています。 ＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃＃視覚化： ＃＃＃

以上が量産型キラー！ P-Mapnet: 従来の低精度地図 SDMap を使用することで、マッピングのパフォーマンスが 20 ポイント近く大幅に向上しました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。