厳しい気象条件下でのLiDARセンシング技術ソリューション

01 要約

自動運転車は、さまざまなセンサーを利用して周囲の環境に関する情報を収集します。車両の動作は環境への配慮に基づいて計画されているため、安全上の理由からその信頼性が非常に重要です。アクティブ LIDAR センサーはシーンの正確な 3D 表現を作成できるため、自動運転車の環境認識に価値を加えることができます。 LiDAR の性能は、霧、雪、雨などの悪天候下では、光の散乱や遮蔽により変化します。この制限により、最近、知覚パフォーマンスの低下を軽減する方法に関する多大な研究が促進されています。

このペーパーでは、悪天候に対処するための LiDAR ベースの環境センシングのさまざまな側面を収集、分析、および議論します。適切なデータの利用可能性、生の点群処理とノイズ除去、堅牢な認識アルゴリズム、悪天候によって引き起こされる欠陥を軽減するためのセンサー フュージョンなどのトピックについて説明します。さらに、この論文は現在の文献にある最も差し迫ったギャップを特定し、有望な研究の方向性を特定します。

02 はじめに

LiDAR センサーは、自動運転の分野で最近ますます注目を集めています[1]。これは、まばらではあるが正確な深度情報を提供するため、カメラやレーダーなど、より深く研究されたセンサーを補完する貴重な情報となります。 LIDAR センサーはアクティブ センサーであり、環境によって反射される光のパルスを発します。センサーは反射光を捉え、経過時間に基づいて環境までの距離を測定します。時間に加えて、光の量や信号の伸びなどの他の特性も評価できます。ほとんどの場合、機械コンポーネントと複数のレーザー ダイオードを組み合わせて、完全なシーンのまばらな点群を作成します [1]。市場にはさまざまなセンサーが販売されています。

LiDAR センサーには、悪天候時にはさまざまな欠点があります。まず、凍結温度ではセンサーの凍結やその他の機械的な問題が発生する可能性があります。センサー技術、モデル、取り付け場所などの内部的および構造的要因が劣化の程度に影響します。さらに、悪天候は強度値、ポイント数、その他の点群特性に影響を与える可能性があります (図 1 を参照)。一般に、塵や悪天候により空気中の粒子に遭遇すると、放出された光は後方散乱またはそらされます。これにより、一部のレーザー パルスが途中でセンサーに戻ったり、大気中で失われたりするため、点群での距離と反射率の測定にノイズが多くなります。ノイズは、シーン理解アルゴリズムを適用する場合に特に有害です。この安全性が重要なユースケースでは、高い予測パフォーマンスを確実に維持することが特に重要です。したがって、悪天候下での LIDAR センシング性能の低下を最小限に抑えるか、少なくとも現実世界のシナリオにおけるセンサーの限界を検出するための対策が必要です。

最先端のアルゴリズムのほとんどは深層学習 (DL) アルゴリズムに依存しており、普遍的な特性を導き出すために大量のデータに依存しています。環境の。教師なしの知覚に焦点を当てた一連の研究が行われていますが、最近の研究では生データに対応するラベル付けが必要です。これには、オブジェクト検出用の境界ボックスとセマンティック セグメンテーション用のポイントごとのクラス ラベルが含まれます。まばらでノイズの多い点群に手動でラベルを付けるのは難しいだけでなく、コストがかかり、エラーが発生しやすくなります。したがって、気象固有のノイズを使用して既存の点群をどのようにシミュレートまたは強化するかという問題は、特に興味深いものです。

厳しい気象条件下での LIDAR センサーの性能低下の分析に関する研究は数多くありますが、知覚を改善するためのアルゴリズムによる対策を包括的にまとめたものは不足しています。さらに、厳しい気象条件下での自動運転に関する調査では、気象によるセンサーの劣化に対処しましたが、LIDAR センサーに特有の気象関連の問題は特定されませんでした。この記事では、LIDAR センシングのための悪天候に対処するさまざまな方法を要約および分析します。したがって、この文書では、次の 3 つの異なる観点からこのトピックを扱います。

• データの利用可能性: 堅牢な LIDAR 認識アルゴリズムを開発するための実世界および合成データセット。
• 点群操作: センサー固有の気象堅牢性と知覚に依存しない点群処理 (例: 気象分類、点群ノイズ除去);
• 堅牢な知覚: 堅牢な知覚アルゴリズムは次のとおりです。複数のセンサーを融合したり、トレーニング中に調整したり、知覚モデルの全体的な堅牢性を向上させたりすることで、点群内の天候に起因するノイズを処理できます。

最後に、現在のテクノロジーに欠けているギャップと最も有望な研究の方向性をまとめます。

03 悪天候データ

あらゆる種類の認識タスクで DL モデルをトレーニングするには、大量のデータが必要です。依然として主流の教師あり手法の場合、このデータは自動ラベル付け手法または手動でラベル付けする必要さえあります。いずれにせよ、正確にラベル付けされたまばらな LIDAR データを取得するのは高価で面倒であり、生の点群が気象誘発ノイズによって破損するとさらに困難になります。

したがって、高品質のラベルが付いた貴重なデータセットが必要です。一般に、気象特性のノイズ パターンを持つ LIDAR 点群を取得するには、実世界の記録、拡張点群、およびシミュレートされた点群の 3 つのオプションがあります。 1 つ目は、厳しい気象条件下で適切なセンサーをセットアップしたテスト車両を使用して生成されました。後者のアプローチでは、点群の一部または全体を作成するために物理モデルまたは DL ベースの方法が必要です。

実世界のデータセット

LIDAR 知覚ベンチマーク用の既存のデータセットのほとんどは、良好な気象条件下で記録されています。開発された知覚アルゴリズムを現実世界で使用するには、基礎となるデータセットがすべての気象条件を反映している必要があります。晴天の気象条件に加えて、雨、雪、霧を明示的に含む広範なデータセットがあります。

表 1 は、厳しい気象条件における LIDAR の知覚を研究するために使用される、公開されているデータセットの概要を示しています。データセットはさまざまな条件下で記録されており、サイズは大きく異なります。それらのほとんどは現実世界の運転シナリオで実際に記録されたものですが、そのうちの 2 つは（部分的に）気象室からのものです。気象室には、気象条件や周囲の環境、つまり障害物を完全に制御できるという利点があります。それにもかかわらず、それらは現実世界の状況を完全に反映しているわけではありません。

# さらに、各データセットは異なるセンサー設定を使用します。 [27] は、厳しい気象条件下で LIDAR のメーカーとモデルを具体的にベンチマークしました。 LiDAR センサーに加えて、すべてのデータセットは RGB カメラ記録を提供し、一部のデータセットにはレーダー、ステレオ、イベント、ゲート付きカメラ、または赤外線カメラも含まれています。

これらのデータセットは、自動運転車のさまざまな認識と運転タスクに対処するように設計されています。ほとんどすべてのセンサー設定 ([21] を除く) には、位置センサーとモーション センサー、つまり GPS/GNSS と IMU が含まれています。したがって、SLAM アルゴリズムの開発とテストに適しています。モーション GT のみを提供する [29] を除き、すべてのデータセットはオブジェクト検出または点単位のセグメンテーションのためのラベルを提供します。

最後に、すべてのデータセットには気象条件に関するメタデータが含まれています。これは、厳しい気象条件下でほぼすべてのタイプの知覚モデルを開発する場合に重要です。少なくとも徹底的な検証のためには、周囲の気象条件の強さと性質を理解することが重要です。点ごとの気象ラベル、つまり道路脇の降雪と積雪を提供するデータセットは 1 つだけです。

実世界の記録で構成されるデータ セットの利点は、非常に現実的であることです。欠点は、記録されたシーンのラベルが部分的にしか (ポイントごとに) 利用できないこと、またはデータが気象室で記録されている場合は、より複雑な現実世界のシナリオに限定されることです。多くの場合、実際の反射信号からクラッターやノイズを区別することが非現実的であるため、悪天候下で LIDAR 点群を手動でポイントごとにラベル付けすることは特に困難です。

気象拡張

悪天候の影響を既存のデータセットに拡張することで、効率的なアプローチで大量のデータを生成する方法が提供されます。さまざまな悪天候の影響に関する新しいデータセットを面倒に収集してラベルを付ける必要はありません。通常、物理的または経験に基づいた拡張モデルは、現実世界から駆動されるかシミュレーションから駆動されるかに関係なく、特定の悪天候の影響を晴天点群に拡張するために使用されます。これにより、データセット内にすでに存在する興味深いエッジ ケースと注釈をすべて保持しながら、気象固有のノイズによって破損したシーンを取得できます。

強化方法では、晴天のポイントから悪天候時の対応するポイントへのマッピングを定義します。この目的のために、[32] の理論的な LIDAR モデルが頻繁に参照されます。このモデルでは、悪影響を与える雨、霧、雪の影響がモデル化されています。放射パルスとシーン応答を畳み込むことにより、受信強度分布を線形システムとしてモデル化します。シーン応答は、固体物体からの反射、および悪天候による後方散乱と減衰をモデル化します。

より実用的なフォグ強化は

[9] で紹介されており、点群に直接適用できます。これは、測定強度、LIDAR パラメーター、および霧の中での光学可視性の関数である最大視程範囲に基づいています。晴天点の距離が最大視認距離よりも短い場合、ランダムな散布点が出現するか、一定の確率で点が欠けてしまいます。このモデルは、視程パラメータと散乱確率を降雨率に変換することで降雨に対応します。

ただし、これらのモデルは、降雨強化のために考慮された、放出された LIDAR パルスのビーム発散を無視しています。ここでは、ビームの発散をシミュレートするスーパーサンプリングされたビームと球形の雨滴との交差の数が計算されます。交差の数が特定のしきい値を超える場合、散布点が追加されます。 [35] の拡張方法は、欠落点が可能になるようにこのアプローチを拡張します。さらに、雪や霧の中でも効果を発揮します。

霧、雪、雨に対する別の機能強化は [36] で紹介されています。このモデルはパワー ドメインで動作し、たとえば、前述の方法のようなクロスオーバー ポイントの計算には依存しません。さらに、計算的により効率的な散乱点距離サンプリング戦略を使用して、ビーム発散をシミュレートします。通常、モデルはまず、固体物体およびランダムにサンプリングされた散乱体から反射された減衰パワーを、距離に依存するノイズしきい値と比較します。スキャッタ ポイントは、そのパワーが固体オブジェクトのパワーを超える場合に追加されます。ポイントが距離依存のノイズしきい値を下回る場合、そのポイントは失われます。

物理ベースのモデルに加えて、経験的モデルも強化に使用できます。他の車両によって巻き上げられたスプレーの経験的な強化方法は [38] にあります。このモデルの中心となるのは、スプレーがクラスターに組織化されるという専用の実験からの観察です。別のデータ駆動型アプローチが [39] で提案されており、Waymo データセットからのスプレー シーンに依存しています。 [40] では、物理エンジンを備えたレンダラーに依存する、より計算コストのかかるスプレー強化方法が提案されています。

最後に、DL ベースの方法を悪天候の強化に適用できます。 [41] では、画像から画像への変換に触発され、敵対的生成ネットワーク (GAN) に基づく方法が提案されており、点群を晴れの日から霧や雨の日へと変換できます。彼らは、その結果を気象室からの実際の霧や雨雲と定性的に比較しました。

しかし、拡張手法の品質と現実性を評価することは困難です。著者の中には、気象室やその他の制御された環境を使用して、現実世界の気象影響との比較を可能にする人もいます。さらに、現実世界の悪天候条件下で知覚されるパフォーマンスに貢献する場合、拡張方法は一般に現実的であると考えられます。

04 点群の処理とノイズ除去

このセクションでは、センサー テクノロジーまたは点群に基づいた悪天候に対処する方法について説明します。つまり、実際の知覚タスクとは独立しています。したがって、この論文では、一般的なセンサー関連の気象耐性と、気象条件に応じた性能劣化の程度を推定する可能性を分析します。さらに、古典的なノイズ除去手法と DL を使用して LIDAR 点群から気象誘発ノイズを除去することに関する研究が数多く行われています。

センサー関連の気象堅牢性

テクノロジー、機能、構成に応じて、異なる LIDAR モデルまたは複数の May気象条件の影響を受けにくくなります。目の安全上の制限と周囲光の抑制のため、LIDAR センサーの動作波長は 905nm と 1550nm の 2 つが主流であり、905nm が最も利用可能なセンサーです。これは、悪天候条件下でのパフォーマンスの向上、つまり、雨滴による吸収の低下、雪での反射率の向上、霧での劣化の軽減などによるものです。厳しい気象条件下での LIDAR 技術と波長に関する包括的な議論については、[17] を参照してください。

さらに、厳しい気象条件下での全波形ライダー (FWL) のパフォーマンスも研究されました。 FWL は、1 つまたは 2 つのエコーだけでなく、すべての弱いエコーを測定し、より多くのノイズを効果的に測定するだけでなく、周囲の環境に関するより多くの情報を収集します。 FWL は大量の計算リソースを必要としますが、周囲の媒体を分析するのに役立つことが証明されており、変化する条件を理解し、それらを動的に調整するための基礎を提供できます。

センサー劣化の推定と気象分類

LIDAR センサーは気象条件によって劣化の仕方が異なるため、センサーの劣化の程度を推定することが、損傷した LIDAR 点群を処理する最初のステップとなります。誤検知が下流のタスクに伝播するのを防ぐために、検知限界をより適切に特定する方法の開発が進んでいます。

まず第一に、さまざまな気象条件下でのセンサーの劣化を特徴付けるいくつかの研究により、厳しい気象条件下でのセンサーの校正とさらなる開発のための強固な基盤が築かれましたが、まだ確立されていません。風化した識別能力が評価されます。

LIDAR センサーに対する降雨の影響を実際にシミュレートした最初の研究は、[33] で紹介されています。著者らは、ライダー方程式から導出された数学的モデルを提案し、降雨量と最大検知範囲に基づいてパフォーマンス低下を推定できるようにします。

その後の研究作業では、厳しい気象条件下でのセンサーの劣化の推定が、異常検出タスクと検証タスクとして定式化されました。前者は、晴天時の LiDAR スキャンと雨天時の LiDAR スキャンを区別する潜在表現を学習するように設計された DL ベースのモデルを採用しており、それによってパフォーマンス低下の程度を定量化できます。後者のアプローチでは、強化学習 (RL) モデルを使用して、物体検出および追跡モデルの失敗を特定することを提案しています。

上記の方法はセンサーの性能自体の劣化を定量化することを目的としていますが、別の研究では周囲の気象条件 (晴天、雨、霧、雪) の分類に焦点を当てています。 LiDAR 点群の手作りの特徴に基づく古典的な機械学習手法 (k 最近傍マシンとサポート ベクター マシン) の助けを借りて、満足のいく結果が達成されました。[10] は、点ごとの天気分類を実行するための特徴セットを提案しました。

[51] は、降雨率のフレームごとの回帰のための確率モデルを開発しました。彼らは専門家と協力して、LIDAR 点群から降雨量を正確に推測しました。

ほとんどのメソッドは気象室で収集されたデータに基づいてトレーニングされ、評価されることに注意してください。気象条件を注意深く制御できるため、高い再現性が得られますが、データは現実世界の状況を正確に反映していないことがよくあります。各手法の分類能力を評価するには、実世界のデータに関する徹底的な研究が必要です [50]。

点群のノイズ除去

気象効果は、特定のノイズ パターンとして LIDAR 点群に反映されます。セクション 1 で述べたように、点群内の測定数や最大検出範囲などの要素に影響を与える可能性があります。点群は、天候固有のノイズで点群を増大させるのではなく、さまざまな方法でノイズを除去して明確な測定値を再構築できます。古典的なフィルタリング アルゴリズムに加えて、最近では DL ベースのノイズ除去作業がいくつか登場しています。

ノイズ除去された点群での物体検出などの知覚タスクの適用に加えて、精度 (環境特徴の保存) や再現率 (天候によって引き起こされるノイズのフィルタリング) などのメトリクスも評価に役立ちます。古典的なフィルタリング手法のパフォーマンスは非常に重要です。これらのメトリクスを計算するには、雪の粒子などの気象カテゴリを考慮したポイントごとのマーカーが必要です。

半径外れ値除去 (ROR) は、任意のポイントの近傍に基づいてノイズをフィルターで除去します。これは、点群が自然にまばらになるため、遠方の物体の LIDAR 測定では問題になります。高度な手法では、検出距離に基づいてしきい値を動的に調整する (動的半径外れ値除去 (DROR)) か、点群内の各点の近傍点までの平均距離を考慮する (統計的外れ値除去) ことで、この問題に対処します。どちらの方法も実行時間が長く、自動運転にはほとんど適していません。高速クラスタリング統計的外れ値除去 (FCSOR) と動的統計的外れ値除去 (DSOR) はどちらも、点群から気象アーチファクトを除去しながら計算負荷を軽減する方法を提案します。

路側 LIDAR のノイズ除去方法は、履歴データのバックグラウンド モデル (路側センサーの修正に使用できる) と、動的ポイントを識別するための従来のノイズ除去で使用される基本原理を組み合わせたものに依存しています。 。 [57] 強度閾値を利用して実際の物体から気象ノイズをフィルタリングしました。残念ながら、これは移動車両に取り付けられた LiDAR センサーには簡単には適用できません。

古典的なノイズ除去手法とは対照的に、DL ベースの LIDAR 点群ノイズ除去は、モデルが気象ノイズの基礎となる構造を直接理解できるため、人気があります。まず、モデルは畳み込みニューラル ネットワーク (CNN) に基づいています。効果的な天候ノイズ除去に使用されます。微分に時間データを使用すると、気象特有のノイズ除去がさらに活用されます。これは、当然のことながら、気象ノイズはシーンの背景やシーン内のオブジェクトよりも頻繁に変化するためです。 CNN ベースの方法 (特にボクセルベースの方法) は、ノイズ フィルタリングの点で従来のノイズ除去方法よりも優れています。さらに、GPU は計算速度が速いため、推論時間が短くなります。

教師あり CNN メソッドに加えて、CycleGAN などの教師なしメソッドでも、ノイズの多い点群入力を鮮明な LIDAR スキャンに変換できます。ただし、その性質には依然としてノイズが多く、結果として得られる点群の信頼性を検証するのは困難です。

05 堅牢な LiDAR 認識

悪天候による現場の移動を減らすための懸命の努力にもかかわらず、LiDAR を実現するにはいくつかの方法があります。データの品質やノイズ レベルに関係なく、悪天候条件に対してより堅牢なセンシング モデルを実現します。ここには 3 つのワークフローがあります。センサー フュージョンの活用、天候固有のノイズによるデータ拡張によるトレーニングの強化、またはパフォーマンスの低下を補うためにドメインのシフトに対する堅牢性をモデル化する一般的なアプローチです。センサー フュージョン手法は、物体検出以外の複数のセンシング タスクを解決できる唯一の手法であることに注意してください。この論文の知る限り、セマンティック セグメンテーションなどの他の知覚タスクに関する文献はありません。

センサーフュージョンを活用した悪天候への対処

自動運転における各センサーは一般的に言えることですセンサーグループにはメリットとデメリットがあります。このセンサー グループで最も一般的なセンサーは、RGB カメラ、レーダー、ライダーです。セクション 1 で述べたように、塵、雨、雪、霧などの目に見える浮遊粒子に遭遇すると、ライダーの認識が影響を受けます。カメラは、強い光の入射やハロー効果に対してより敏感になります。一方、レーダーは両方の影響を受けませんが、静的な物体や微細構造を検出する能力がありません。したがって、それぞれの欠点を軽減し、異なる環境条件下で堅牢な知覚を促進するために、異なるセンサーを強制的に融合させます。

センサーの認識に対する天候の悪影響に対処するためのセンサー フュージョンの初期の取り組みは、堅牢なデータ相関フレームワークの開発に重点を置いています。最近の研究の流れは、堅牢なマルチモーダル知覚のために DL ベースの手法を利用しており、主に悪天候条件下での堅牢性を達成するために初期融合と後期融合の問題に取り組んでいます。

融合前または融合後の選択は、センサーの選択、データ表現、および予想される故障率に依存すると思われます。すべての融合センサーが同じ程度に劣化しているわけではなく、そのうちの少なくとも 1 つが完全に機能していると仮定すると、後期融合の方が初期融合よりも優れているように見えます。この場合、モデルはセンサー フローを独立して処理でき、動作しているセンサーに依存し、障害のあるセンサーを無視できます。代わりに、レーダーとライダーの深度マップを早期に融合することで、誤検出をフィルタリングしてクリーンなスキャンを実現します。

データ表現は、初期融合と後期融合の質問に部分的に答えるのに役立つもう 1 つの要素です。 LIDAR センサーの鳥瞰図 (BEV) は、物体の分解能を向上させることで、物体検出を大幅に容易にします。したがって、それぞれの LIDAR 機能に依存することを学習したモデルは、LIDAR データが破損するとパフォーマンスが低下します。センサーの完全な障害は、教師と生徒のネットワークを使用して正常に解決されました。

結局のところ、一部のセンサー フュージョン手法は、早期フュージョンと後期フュージョンを単一のモデルに組み合わせることに依存し、時間データと領域ベースのフュージョン [72] またはアテンション マップ [73] などの概念を利用します。 。別の可能性は、[21] で提案されている適応エントロピー制御の融合です。

新しい認識方法を開発するときは、予測パフォーマンスに加えて、モデルの実行時間も考慮する必要があります。 [68] は、空間セグメンテーションを推進する予測パフォーマンスと推論ランタイムを組み合わせた新しいメトリクスを導入しました。興味深いことに、LIDAR のみのモデルがこの指標で最高のスコアを獲得しました。

悪天候時にセンサーの故障を影響を受けないセンサーで補うことが便利であることは間違いありません。ただし、LIDAR のみを使用して悪天候条件での知覚の向上に取り組むことで、自動運転などの安全性が重要なアプリケーションの信頼性を高めることができます。

データ拡張によるトレーニングの強化

データ拡張は DL トレーニング戦略で広く使用されていますが、天候固有のノイズは本番環境で特に困難です。セクション 2 では、LIDAR 点群で気象固有のノイズを生成するさまざまな方法を示します。知覚モデルのトレーニング中にデータ拡張を利用することは、点群ノイズ除去への放射状のアプローチであり、これについては III で説明しました。目標は、天候によって引き起こされるノイズを除去することではなく、モデルをこの正確なノイズに慣れさせることです。堅牢性の観点からは、ノイズ除去よりも気象強調の方が効果的であることが示されており、今後どの研究方向に重点を置くべきかについて貴重なヒントが得られます。

一般に、一部の研究では、タスク 3D オブジェクト検出でこれらのデータを評価することにより、トレーニング時にこのようなデータ拡張の利点を実証しています。

厳しい気象条件下で堅牢な LIDAR 認識を実現するための最適な特徴抽出器を選択するという問題に多くの研究が取り組んできました。ポイントベースおよびボクセル化された方法は、少なくとも物体検出に関しては、強化された天候の影響による影響をあまり受けないようであり、知覚モデルを慎重に選択することである程度の堅牢性を達成できることを示唆しています。さらに、モデルのアーキテクチャと悪天候によって引き起こされる点群の損傷の間には相互作用があるようです。 [4] で提案された湿地拡張は一部のモデルのみに役立ち、光線散乱によって引き起こされる検出の問題はモデルのアーキテクチャに応じて多かれ少なかれ深刻であることが示されています。

さらに、オブジェクトのサイズと形状は、検出モデルのパフォーマンスの低下の程度に影響を与えるようです。これは、STF データセット内の自転車クラスなど、小さくて過小評価されているクラスは、自動車や歩行者など、よりよく表現されているクラスよりも天候による影響を受けやすいことを意味します。したがって、トレーニング セット内の (明確な) アノテーション付きオブジェクトの数は、悪天候下でもオブジェクト検出パフォーマンスの優れた指標となります。これは、天候強化トレーニングが晴天時の検出パフォーマンスの向上に役立つだけでなく、興味深いことに、逆の効果もあるようであることを示しています。

堅牢な認識アルゴリズム

相補的なセンサーとの融合手法により、それぞれのセンサーによって引き起こされる気象関連の問題を軽減できますが、センサーの性能が低下する可能性がありますが、それらは現在の実際的な問題の解決策としてのみ使用できます。気象条件の変化はドメイン移転の特殊なケースと考えることができるため、ドメインのギャップを埋めるために開発された方法は、天候間のドメイン移転（晴れ/霧/雪など）に適用できます。 [77] は、現在の最先端技術における適応方法の包括的な概要を提供していますが、主に、さまざまなセンサー解像度または利用可能なデータとそのラベルに関連する問題に対処しています。

[78] で、著者らは、間接的に気象変化を含むデータセット間のドメイン転送を提案しました。彼らは物体検出に教師と生徒の設定を使用しました。教師は Waymo Open (晴れの日) についてトレーニングを受け、一部の Waymo Open と一部のカークランド (雨の日) のラベルを生成し、生徒はすべてのラベルについてトレーニングを受けてカークランドに適用されました。興味深いことに、学生たちは目標領域に対してよりよく一般化しているようで、厳しい天候にも対処できたことを示唆しています。ただし、ドメインギャップは気象条件間の変化に限定されず、センサーの解像度やラベル付け戦略などの他の要因によって、天候によって引き起こされるギャップが隠蔽される可能性があることに注意してください。

[79] の著者らは、アテンション メカニズムとグローバル コンテキスト特徴抽出を含む堅牢なオブジェクト検出パイプラインを提案しました。これにより、モデルはシーン全体を理解しながら天候に起因するノイズを無視できます。彼らの方法は両方のドメイン (KITTI、晴れ、CADC、雨) では同時にうまく機能しませんが、最大差分損失に基づく共同トレーニングは有望な結果をもたらし、ソース ドメインとターゲット ドメインの両方で良好なパフォーマンスを示します。ここでも、データセット間の変動が非常に大きいように見えるため、モデルのどの要素が気象条件自体の変化に起因するのかは不明です。

[80] は、RGB カメラと LIDAR の天候によって引き起こされるセンサーの劣化を軽減することに重点を置いています。彼らは、センサー融合 ([21] で提案されたエントロピー融合から派生した) と 2 つのセンサーからのデータ拡張を活用していますが、彼らの研究は、ターゲット検出のために、複数の未知のターゲット ドメインとのギャップを埋めるための一連の方法の使用を強力に推進しています。彼らは、ドメイン弁別器と事前トレーニング戦略による自己教師あり学習を導入することでこれを実現しています。彼らの結果は、彼らのマルチモーダル、マルチオブジェクト ドメイン適応方法が、たとえば霧のシーンによく一般化できることを示しています。

06 議論と結論

この調査論文では、悪天候下での自動運転のための LIDAR ベースの環境認識に関する現在の研究の方向性を概説します。この論文では、深層学習アルゴリズム用のトレーニング データの利用可能性、気象条件の検出と LIDAR スキャンのノイズ除去のための知覚に依存しない点群処理技術、および堅牢な LIDAR 知覚のための最先端の方法について、詳細な分析と議論を提供します。 。以下では、最も有望な研究の方向性を要約し、残りのギャップを特定します。

悪天候データ: LIDAR センサーを含み、悪天候条件もカバーする自動運転データ セットがいくつかあります。それらのほとんどはオブジェクト ラベルを提供しますが、ポイント単位のクラス ラベルを持つものは 1 つだけです。明らかに、増え続ける深層学習ベースの LIDAR センシング アルゴリズムをトレーニングおよび検証するには、適切な現実世界のデータ セットが必要です。一部の作品では、悪天候の影響をシミュレートするために気象固有のデータ拡張を採用していますが、生成された拡張の現実性を評価する方法が不足しています。

点群の処理とノイズ除去: LIDAR テクノロジーが異なれば、悪天候に対する反応も異なります。厳しい気象条件下でのセンサーの劣化は集中的に研究されていますが、センシングアルゴリズムへの影響については体系的な分析が不足しています。ここでセンサーの劣化を推定する手法が役に立ちます。さらに、現在、雲のノイズ除去に関する研究が進行中ですが、既存の統計的手法は、トレーニングで気象を補強する手法を使用するよりも効果が低いことが証明されています。 CNN や GAN に基づく最新の手法は、このギャップを埋める可能性があります。

堅牢な LIDAR センシング: センサー フュージョンを利用してセンサーの劣化を軽減することに多くの研究が焦点を当てています。これにより説得力のある結果が得られましたが、悪天候下で LIDAR のみを使用して認識能力を向上させることは見落とされるべきではありません。異常検出や不確実性モデリングなどの高度なドメイン適応手法は、この問題の解決に役立つ可能性があります。 LIDAR 点群における気象誘発ノイズの存在を別の視点から観察することで、悪天候によって引き起こされる現場のギャップを埋める新しい研究の流れが開かれる可能性があります。このドメインのギャップを調査する品質は、一般的なドメイン適応アプローチの可能性を示唆します。

以上が厳しい気象条件下でのLiDARセンシング技術ソリューションの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。