知能運転知覚システムの試験技術を詳しく解説した記事

はじめに

人工知能とそのソフトウェアおよびハードウェア技術の進歩により、自動運転は近年急速に発展しています。自動運転システムは、民間車両運転支援システム、自律物流ロボット、ドローンなどの分野で活用されています。認識コンポーネントは自動運転システムの中核であり、車両が内部および外部の交通環境に関する情報を分析および理解できるようにします。しかし、他のソフトウェア システムと同様に、自動運転認識システムもソフトウェアの欠陥に悩まされています。さらに、自動運転システムは安全性が重要なシナリオで動作するため、そのソフトウェアの欠陥が壊滅的な結果を招く可能性があります。近年、自動運転システムの不具合による死傷事故が多発しています。自動運転システムの試験技術は、学界や産業界から広く注目を集めています。企業や研究機関は、仮想シミュレーションテスト、現実の路上テスト、仮想と現実の組み合わせテストなど、一連の技術と環境を提案してきました。しかし、入力データの種類の特殊性と自動運転システムの動作環境の多様性により、この種のテスト技術の実装には過剰なリソースが必要となり、より大きなリスクが伴います。この記事では、自動運転知覚システムのテスト方法の現在の研究と応用状況を簡単に分析します。

1 自動運転認識システムのテスト

自動運転認識システムの品質保証はますます重要になっています。認識システムは、車両が道路状況情報を自動的に分析して理解するのに役立つ必要があり、その構成は非常に複雑であり、多くの交通シナリオでテストされるシステムの信頼性と安全性を十分にテストする必要があります。現在の自動運転知覚テストは主に 3 つのカテゴリーに分類されます。どのようなテスト手法であっても、テストデータに強く依存するという従来のテストとは異なる重要な特徴が見られます。

最初のタイプのテストは、主にソフトウェア工学理論や形式的手法などに基づいており、知覚システム実装のモデル構造メカニズムをエントリポイントとします。このテスト方法は、自動運転知覚の動作メカニズムとシステム特性の高度な理解に基づいています。この偏った知覚システム ロジック テストの目的は、システム開発の初期段階で知覚モジュールの設計上の欠陥を発見し、初期のシステム反復におけるモデル アルゴリズムの有効性を確認することです。研究者らは、自動運転アルゴリズムモデルの特性に基づいて、一連のテストデータ生成、テスト検証指標、テスト評価手法および技術を提案した。

2 番目のタイプのテスト仮想シミュレーション方法では、コンピューターを使用して実際の交通システムを抽象化し、事前設定された仮想環境でのシステム テストや知覚コンポーネントの独立したテストなどのテスト タスクを完了します。仮想シミュレーションテストの効果は、仮想環境の実態、テストデータの品質、具体的なテスト実行技術に依存し、シミュレーション環境の構築手法、データ品質評価、テスト検証技術の有効性を十分に検討する必要があります。自動運転環境認識およびシーン分析モデルは、トレーニングとテスト検証のために大規模で効果的な交通シーン データに依存しています。交通シーンとそのデータ構造生成技術については、国内外の研究者が多くの研究を行ってきました。データ突然変異、シミュレーション エンジンの生成、ゲーム モデルのレンダリングなどの方法を使用して仮想テスト シーン データを構築し、高品質のテスト データを取得し、生成されたさまざまなテスト データを自動運転モデル​​やデータの増幅と強化に使用します。テストシナリオとデータ生成は重要なテクノロジーです。テスト ケースは、テスト サンプルの状態空間をカバーできるほど豊富である必要があります。これらの境界使用例の下でシステムの意思決定出力モデルの安全性をテストするには、極端な交通状況下でテスト サンプルを生成する必要があります。仮想テストでは、既存のテスト理論とテクノロジーを組み合わせて、テストの効果を評価および検証するための効果的な方法を構築することがよくあります。

3 番目のカテゴリは、プリセットのクローズドシーンテストや実際の道路状況テストなど、自動運転認識システムを備えた実車の路上テストです。このタイプのテストの利点は、実際の環境でテストすることで結果の妥当性を完全に保証できることです。しかし、このタイプの方法には、多様なニーズを満たすのが難しいテストシナリオ、関連する交通シーンのデータサンプルの入手の困難、実際の道路収集データの手動アノテーションの高コスト、不均一なアノテーションの品質、過剰なテスト走行距離の要件などの困難があります。データ収集サイクルが長すぎるなど。危険なシナリオでの手動運転には安全上のリスクがあり、現実の世界でテスターがこれらの問題を解決することは困難です。同時に、交通現場のデータは、単一のデータソースやデータの多様性が不十分であるなどの問題も抱えており、ソフトウェア工学における自動運転研究者のテストと検証の要件を満たすには不十分です。それにもかかわらず、路上テストは従来の自動車テストに不可欠な部分であり、自動運転知覚テストにおいて非常に重要です。

テストの種類の観点から見ると、知覚システムテストは車両開発ライフサイクルごとに異なるテスト内容を持ちます。自動運転テストは、モデルインザループ（MiL）テスト、ソフトウェアインザループ（SiL）テスト、ハードウェアインザループ（HiL）テスト、ビークルインザループテストに分類できます。 (ViL) テストなどこの記事では、自動運転認識システム テストの SiL および HiL 関連部分に焦点を当てます。 HiL には、カメラ、ライダー、人間とコンピューターの相互作用の認識モジュールなどの認識ハードウェア デバイスが含まれています。 SiL は、ソフトウェア シミュレーションを使用して、実際のハードウェアによって生成されたデータを置き換えます。両方のテストの目的は、自動運転システムの機能、性能、堅牢性、信頼性を検証することです。特定のテスト対象については、認識システム開発の各段階でさまざまなタイプのテストがさまざまなテスト技術と組み合わされて、対応する検証要件が完了します。現在の自動運転知覚情報は主に、画像 (カメラ)、点群 (ライダー)、融合知覚システムなど、数種類の主要データの分析から得られます。この記事では主にこれら 3 種類のデータの知覚テストを分析します。

2 自動運転画像システム テスト

複数のタイプのカメラによって収集された画像は、自動運転の認識にとって最も重要な入力データ タイプの 1 つです。 。画像データは、車両の走行中にフロントビュー、サラウンドビュー、リアビュー、サイドビューの環境情報を提供し、自動運転システムが道路測距、目標認識と追跡、自動車線変更分析などの機能を実現するのに役立ちます。 。画像データには、RGB 画像、セマンティック画像、深度画像など、さまざまな形式があります。これらの画像形式には独自の特性があります。たとえば、RGB 画像にはより豊富な色情報が含まれ、被写界深度画像にはより多くのシーン深度情報が含まれ、セマンティック画像はピクセル分類に基づいて取得されるため、ターゲットの検出や追跡タスクに有利です。 。

画像ベースの自動運転認識システムのテストは、トレーニングとテストの検証のために大規模で効果的な交通現場の画像に依存しています。しかし、実際の道路収集データを手動でラベル付けするコストは高く、データ収集サイクルは長すぎ、危険な場面での手動運転に関する法規制は不完全で、ラベル付けの品質は不均一です。同時に、交通現場のデータは、単一のデータソースや自動運転研究のテストと検証の要件を満たすには不十分なデータの多様性などの要因にも影響されます。

国内外の研究者は、データ突然変異、敵対的生成ネットワーク、シミュレーションエンジン生成、ゲームモデルなどの方法を使用して、交通現場データの構築と生成技術について多くの研究を行ってきました。仮想テストを構築するためのレンダリング、高品質のテスト データを取得するためのシナリオ データ、および自動運転モデル​​とデータ拡張に生成されたさまざまなテスト データを使用します。ハードコーディングされた画像変換を使用してテスト イメージを生成することは効果的な方法です。さまざまな数学的変換と画像処理技術を使用して元の画像を変更し、さまざまな環境条件下での自動運転システムの潜在的な誤った動作をテストできます。

Zhang らは、画像スタイル変換に敵対的生成ネットワークベースの手法を使用し、指定された環境条件下で車両の運転シーンをシミュレートしました。一部の研究では、物理シミュレーション モデルからの 3D モデルを使用して交通シーンを構築し、それらを知覚システムへの入力として 2D 画像にレンダリングして、仮想環境で自動運転テストを実行しています。テスト画像は合成によって生成することもでき、低次元画像の部分空間で変更可能なコンテンツをサンプリングし、画像合成を実行します。画像の直接突然変異と比較して、合成シーンはより豊富で、画像摂動操作はより自由です。 Fremontらは、自動運転ドメイン固有のプログラミング言語Scenicを使用してテストシナリオを事前設計し、ゲームエンジンインターフェイスを使用して特定の交通シーンの画像を生成し、レンダリングされた画像をターゲット検出モデルのトレーニングと検証に使用しました。

Pei らは、自動運転ステアリング モデルの一貫性のない出力を見つけるために差分テストのアイデアを使用し、またニューロン カバレッジ、つまりニューラル領域内のニューロンを使用することを提案しました。ネットワークが事前に設定された所定の活性化しきい値を超えていることを確認して、テストサンプルの有効性を測定します。研究者らは、ニューロン カバレッジに基づいて、ニューロン境界カバレッジ、強力なニューロン カバレッジ、階層ニューロン カバレッジなど、多くの新しいテスト カバレッジの概念も提案しています。また、ヒューリスティック検索技術を利用して対象のテストケースを見つけることも有効な手法ですが、その際の最大の難点は、その検索の指針となるテスト評価指標の設計にあります。自動運転画像システムのテストには、特殊な運転シナリオ用のラベル付きデータが不足しているなどの一般的な問題があります。このチームは、自動運転知覚におけるディープ ニューラル ネットワーク テスト データのラベル付けの高い人的コストを解決するために、ソフトウェア テスト分野における適応ランダム テストのアイデアに触発された、適応型ディープ ニューラル ネットワーク テスト ケース選択方法 ATS を提案しました。システム、この問題。

3 自動運転ライダーシステムテスト

ライダーは自動運転システムにとって重要なセンサーであり、センサー送信機とターゲット間の距離を測定することができます。物体の伝播距離を測定し、物体の表面での反射エネルギー量、反射波スペクトルの振幅、周波数、位相などの情報を解析します。収集された点群データは、運転シーン内のさまざまな物体の 3 次元スケールと反射強度情報を正確に表しており、カメラのデータ形式と精度の不足を補うことができます。 LiDAR は自動運転の目標検出や位置マッピングなどのタスクで重要な役割を果たしており、単一のビジョンだけで置き換えることはできません。

#典型的な複雑なインテリジェント ソフトウェア システムである自動運転は、ライダーによって取得された周囲の環境情報を入力として受け取り、認識モジュール内の人工知能モデルを通じて判断し、制御されます。システム計画 最後に、さまざまな運転タスクを完了します。人工知能モデルの複雑さは自動運転システムに認識機能を与えますが、既存の従来のテスト技術は点群データの手動収集と注釈に依存しており、コストが高く非効率的です。一方で、点群データは乱れており、明らかな色情報が欠如しており、気象要因による干渉を受けやすく、信号が減衰しやすいため、テスト プロセスでは点群データの多様性が特に重要になります。

LIDAR に基づく自動運転システムのテストはまだ準備段階です。実走行試験もシミュレーション試験も、コストが高い、試験効率が低い、試験の妥当性が保証されていないなどの問題を抱えています。自動運転システムが直面する、変更可能なテストシナリオ、大規模かつ複雑なソフトウェアシステム、莫大なテストコストなどの課題を考慮すると、ドメイン知識に基づいたテストデータ生成技術を提案できることは、自動運転システムの保証にとって非常に重要です。 。

レーダー点群データの生成に関して、Sallab らはサイクル整合性生成敵対的ネットワークを構築することでレーダー点群データをモデル化し、シミュレートされたデータの特徴分析を行って新しいデータを生成しました。点群データ。 Yue らは,自動運転シーン用の点群データ生成フレームワークを提案した.このフレームワークは,アノテーションが付けられたオブジェクトに基づいてゲームシーン内の点群データを正確に変異させ,新しいデータを取得する.この方法を使用して得られた変異は,点群を再学習したデータである自動運転システムのデータ処理モジュールを搭載し、さらなる精度向上を実現しました。

このチームは、LIDAR 自動テスト ツール LiRTest を設計および実装しました。これは主に自動運転車両ターゲット検出システムの自動テストに使用され、システムの堅牢性を向上させるためにさらに再トレーニングできます。 LiRTest は、まずドメインの専門家によって物理モデルと幾何モデルを設計し、次にそのモデルに基づいて変換演算子を構築します。開発者は、実世界のデータから点群シードを選択し、点群処理ユニットを使用してそれらを識別および処理し、変換オペレータベースの突然変異アルゴリズムを実装して、自動運転 3D ターゲット検出モデルの堅牢性を評価するテストを生成します。最後に、LiRTest はテスト レポートを取得し、オペレーターの設計にフィードバックを提供することで、品質を反復的に向上させます。

自動運転システムは典型的な情報物理融合システムであり、その動作状態はユーザーの入力情報やソフトウェアシステムの内部状態だけでなく、次のような影響も受けます。物理的な環境。現在、さまざまな環境要因の影響を受ける点群データ生成の問題に焦点を当てた研究は少ないですが、点群データの特性により、生成されたデータの信頼性を走行テストデータと一致させることが困難です。追加のリソース消費を大幅に増やさずにこれを行うにはどうすればよいでしょうか? この場合、さまざまな実際の環境要因を説明できる点群データを自動的に生成することが、解決すべき重要な問題となります。

自動運転ソフトウェアの一般的なソフトウェア アーキテクチャでは、人工知能モデルは、運転の意思決定とシステムの動作に非常に重要な影響を与えます。影響する機能には、物体認識、経路計画、動作が含まれます。予報など点群データ処理に最も一般的に使用される人工知能モデルは、ディープ ニューラル ネットワークを使用して実装されるターゲット検出モデルです。この技術は、特定のタスクでは高い精度を達成できますが、結果の解釈可能性が欠如しているため、ユーザーや開発者がその動作を分析および確認することができず、テスト技術の開発やテストの適切性の評価に大きな困難をもたらしています。これらはすべて、将来の LIDAR モデルのテスターが直面する必要がある課題です。

4 自動運転融合知覚システムテスト

自動運転システムには通常、環境情報を感知するためのさまざまなセンサーが装備されており、さまざまな自動運転タスクを実行するためのさまざまなソフトウェアとアルゴリズムが装備されています。センサーが異なれば物理的特性も異なり、アプリケーションシナリオも異なります。フュージョンセンシング技術は、単一のセンサーの環境適応性の低さを補い、複数のセンサーの連携によりさまざまな環境条件下でも自動運転システムの正常な動作を保証します。

情報記録方法が異なるため、異なるタイプのセンサー間には強い補完性があります。カメラの導入コストが低く、収集される画像データは高解像度で色や質感などの視覚情報が豊富です。ただし、カメラは環境の影響を受けやすいため、夜間、強い光、その他の光の変化時には信頼性が低くなる場合があります。一方、LiDAR は光の変化の影響を受けにくく、昼夜を問わず正確な 3 次元認識を提供します。しかし、LIDAR は高価であり、収集された点群データには色情報が不足しているため、形状が明らかでないターゲットを識別するのは困難です。各モーダルデータの利点を活用し、より深い意味情報をマイニングする方法は、融合センシング技術における重要な課題となっています。

研究者たちは、さまざまなデータ融合手法を提案してきました。深層学習に基づくライダーとカメラの融合センシング技術は、その精度の高さから主要な研究方向となっています。 Feng et al.は、融合方法を初期段階、中期段階、後期段階の融合の 3 つのタイプに簡単にまとめました。初期融合は元のデータまたは前処理されたデータのみを融合し、中間段階融合は各ブランチによって抽出されたデータ特徴をクロス融合し、後期融合は各ブランチの最終出力結果のみを融合します。ディープ ラーニング ベースのフューズド センシング テクノロジーは、既存のベンチマーク データセットで大きな可能性を示していますが、そのようなインテリジェント モデルは、複雑な環境を伴う現実世界のシナリオでは依然として誤った予期せぬ極端な動作を示し、致命的な損失につながる可能性があります。自動運転システムの安全性を確保するには、このような融合知覚モデルを徹底的にテストする必要があります。

現在、フュージョンセンシングのテスト技術はまだ準備段階にあり、テスト入力領域が巨大でデータ収集コストが高く、主な問題はテストデータの自動生成技術です。そのため、自動テストデータ生成技術が広く注目を集めています。 Wangらは、テストデータセットを生成するために幾何学的一貫性ルールに従って仮想オブジェクトを画像と点群に挿入するクロスモーダルデータ拡張アルゴリズムを提案した。 Zhangらは、点群と画像ピクセル間の正しいマッピングを維持するためにマルチモーダル変換フローを利用するマルチモーダルデータ強調方法を提案し、これに基づいてさらにマルチモーダルカットアンドペースト強調方法を提案した。

実際のシーンにおける複雑な環境がセンサーに及ぼす影響を考慮して、私たちのチームはマルチモーダルフュージョンセンシングシステム用のデータ増幅テクノロジーを設計しました。この方法には、各モーダル データの現実的なセマンティクスを備えた一連の突然変異ルールを策定するドメインの専門家が含まれます。また、実際のシナリオでセンサーに干渉するさまざまな要因をシミュレートするためのテスト データを自動的に生成し、ソフトウェア開発者による融合型センシング システムのテストと評価を支援します。この方法で使用される突然変異オペレーターには、信号ノイズ オペレーター、信号アラインメント オペレーター、および信号損失オペレーターの 3 つのカテゴリが含まれており、実際のシーンに存在するさまざまな種類の干渉をシミュレートします。ノイズ オペレーターは、センサー データ収集プロセス中の環境要因の影響により、収集されたデータにノイズが存在することを指します。たとえば、画像データの場合、スポットやブラーなどのオペレーターを使用して、カメラが強い光に遭遇して揺れたときの状況をシミュレートします。アライメント オペレーターは、特に時間のずれや空間のずれなど、マルチモーダル データ モードのずれをシミュレートします。前者の場合、1 つの信号をランダムに遅延させて、伝送の混雑または遅延をシミュレートします。後者の場合、車両の走行中の車両のジッターやその他の問題によるセンサー位置のわずかな変化をシミュレートするために、各センサーの校正パラメーターに微調整が行われます。信号損失オペレーターはセンサーの故障をシミュレートします。具体的には、1 つの信号をランダムに破棄した後、融合アルゴリズムが時間内に応答できるか、または正常に動作するかを観察します。

つまり、マルチセンサー融合知覚技術は、自動運転の開発において避けられないトレンドであり、システムが複雑な現実環境で正常に動作できることを確認するには、完全なテストが必要条件です。限られたリソースをどのように使用するか ネットワーク内での適切なテストは依然として差し迫った問題です。 ＃＃＃＃＃＃＃＃＃＃＃＃結論は＃＃＃＃＃＃＃＃＃

自動運転知覚テストは自動運転ソフトウェア開発プロセスと密接に統合されており、さまざまなインループテストが徐々に自動運転の品質保証に必要な要素になるでしょう。産業用アプリケーションでは、実際のドライブのテストが依然として重要です。しかし、過度のコスト、不十分な効率、高い安全上の危険などの問題があり、自動運転インテリジェント知覚システムのテストと検証のニーズを満たすには程遠いです。複数の研究部門における形式的手法とシミュレーション仮想テストの急速な開発により、テストを改善する効果的な方法が提供され、研究者は仮想シミュレーション テスト手法をサポートするインテリジェント運転に適したモデル テスト指標と技術を探索しています。このチームは、高品質の自動運転知覚システムを確保するために、画像、点群データ、知覚融合テストに基づく 3 つの側面に関する詳細な研究に焦点を当て、自動運転知覚テスト データの生成、評価、最適化方法の研究に取り組んでいます。 。

以上が知能運転知覚システムの試験技術を詳しく解説した記事の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。