オープンソース！ V2Xverse: 最初の V2X 指向のシミュレーション プラットフォームとエンドツーエンド モデルを提出およびリリース

車と道路の連携による同期運転データ

車と道路の連携によって支援されるV2X-AD（車対すべて支援自動運転）は、より安全な運転戦略を提供する上で大きな可能性を秘めています。研究者は、V2X-AD の通信および通信の側面について多くの研究を行ってきましたが、運転パフォーマンスの向上におけるこれらのインフラストラクチャと通信リソースの効果は十分に調査されていません。これは、協調的な自動運転、つまり各車両の運転性能を向上させるための運転計画のための効率的な情報共有戦略を設計する方法を研究する必要性を強調しています。 これには 2 つの重要な基本条件が必要です。1 つは V2X-AD のデータ環境を提供できるプラットフォーム、もう 1 つは完全な運転関連機能と情報共有メカニズムを備えたエンドツーエンドの運転システムです。 データ環境を提供するプラットフォームについては、車両間の通信ネットワークとインフラの支援を活用することで実現します。これにより、車両は運転に必要なリアルタイム情報や環境情報を共有することができ、運転パフォーマンスを向上させることができます。 一方、エンドツーエンドの駆動システムは、完全な駆動機能を備え、情報を共有できる必要があります。これは、駆動システムが他の車両やインフラから運転関連情報を取得し、その情報を独自の運転計画と組み合わせて、より効率的な運転パフォーマンスを提供できる必要があることを意味します。 これら 2 つの基本条件を達成しながら、セキュリティとプライバシーの保護も考慮する必要があります。したがって、V2X-AD の走行計画戦略を設計する際には、情報共有戦略の効率に注意を払い、それによって各車両の走行性能を向上させる必要があります。 要約すると、車両と道路の協調型自動運転 V2X-AD には大きな可能性があります

」 このため、上海交通大学と上海人工知能研究所の研究者は、新しい研究論文「協調型自動運転に向けて: シミュレーション プラットフォーム」を発表し、エンドツーエンドシステム」では、効率的なコミュニケーションとコラボレーションを実現するための運転計画のための情報共有戦略を使用するエンドツーエンドの協調運転システムであるCoDrivingを提案しました。同時に、この記事の研究者らはシミュレーションプラットフォームを構築しました。 V2Xverse のこのプラットフォームは、車両と道路の協調運転データセットの生成、フルスタック協調運転システムの展開、カスタマイズ可能な閉ループ運転パフォーマンス評価と運転タスク評価を含む、協調運転のための完全なトレーニングおよびテスト環境を提供します。同時に、シミュレーション プラットフォーム V2Xverse は、複数の既存の協調センシング手法のトレーニングおよび展開テスト コードを統合し、さまざまなテスト タスクを使用して、3D ターゲット検出、経路計画、クローズドなどの包括的な運転機能をテストします。 -ループ自動運転。 V2Xverse は、「見る」だけで「制御」できない既存の協調センシング手法の限界を打ち破り、既存の協調センシング手法を完全な運転システムに組み込んで、シミュレーション環境で運転パフォーマンスをテストすることをサポートします。この記事の研究者らは、これにより、自動運転におけるビジョンベースの車両と道路の連携研究において、より優れた機能拡張と、実際の運転シナリオにより適したテストベンチマークがもたらされると考えています。

論文リンク: https://arxiv.org/pdf/2404.09496

• コードリンク: https://github.com/CollaborativePerception/V2Xverse

研究の背景と意義

これに関する研究記事 V2X (Vehicle-to-Everything) 通信に基づく協調自動運転に焦点を当てる。単独の車両による自動運転と比較して、協調型自動運転は、車両と周囲の環境（路側機やスマートデバイスを備えた歩行者など）との間の情報交換を通じて車両の知覚と運転パフォーマンスを向上させ、視覚に障害のある人々に恩恵をもたらします。複雑なシナリオにおける安全運転 (図 1)。

図 1. 危険な「ゴースト プローブ」シナリオ、自転車は遮られた物体を感知できない

現在、V2X ベースの車両と道路の共同作業のほとんどは、モジュール レベルの認識機能の最適化に焦点を当てています。ただし、協調センシング機能を使用して統合システムの最終的な運転パフォーマンスを向上させる方法はまだ検討されていません。

この問題を解決するために、この記事は、協調センシング機能を、知覚、予測、計画、制御などの主要モジュールを含む包括的な運転機能をカバーする協調運転システムに拡張することを目的としています。協調的な自動運転を実現するには、2 つの重要な基盤が必要です。1 つは V2X-AD 用のデータ環境を提供できるプラットフォーム、もう 1 つは完全な運転関連機能と情報共有メカニズムを統合するエンドツーエンドの運転システムです。プラットフォームの観点から見ると、この作業は、車両と道路の協調運転データセットの生成からフルスタック協調運転システムの展開、閉ループ運転性能評価までの完全なプロセスを提供する、包括的な協調自動運転シミュレーション プラットフォームである V2Xverse を構築します。 。この記事では、運転システムの観点から、V2X 通信ベースのコラボレーション モジュールを設計して完全な自動運転フレームワークに組み込む、新しいエンドツーエンドの協調運転システムである CoDriving を紹介します。これにより、感覚情報を共有することで協調運転のパフォーマンスが向上します。 。 CoDriving の核となるアイデアは、運転計画のための新しい情報共有戦略であり、空間的に希薄だが運転にとって重要な視覚的特徴情報をコミュニケーション コンテンツとして使用し、運転パフォーマンスを向上させながらコミュニケーション効率を最適化します。

V2Xverse: 車両と道路の協調運転シミュレーション プラットフォーム

この記事で提案する V2Xverse の主な特徴は、運転関連のサブタスクのオフライン ベンチマーク生成と、さまざまなシナリオでの運転パフォーマンスのオンライン閉ループ評価を実現できることです。 、協調型自動運転システムの開発を全面的にサポートします。 V2X-AD シーンを作成するために、V2Xverse はシーン内に完全な運転機能を備えた複数のスマート カーをセットアップし、特定の戦略に従って道路の両側に路側機を配置して、スマート カーに補助的な視覚を提供します。協調的な自動運転手法の開発をサポートするために、V2Xverse はまず、(車両間) および (車両対路側ユニット) 通信モジュールを提供し、システム トレーニング用の完全な運転信号と専門家による注釈を提供し、閉ループ運転評価も提供します。さまざまな危険なシナリオ。シミュレーション プラットフォームのフレームワークを図 2 に示します。

図 2. V2Xverse シミュレーション プラットフォームのフレームワーク

既存の Carla ベースの自動運転シミュレーション プラットフォームと比較して、V2Xverse には 3 つの利点があります。まず、V2Xverse は複数車両の運転シミュレーションをサポートしていますが、主流の carla-leaderboard とその派生プラットフォームは 1 台の車両の運転シミュレーションのみをサポートしています。第二に、V2Xverse は完全な運転機能シミュレーションをサポートしますが、既存の協調知覚シミュレーション プラットフォームは知覚モジュールに関連する機能のみをサポートします。 3 番目に、V2Xverse は、多様なセンサー デバイス、モデル統合、柔軟なシナリオのカスタマイズを含む包括的な V2X-AD シナリオをサポートしています。表 1 を参照してください。

表 1. V2Xverse と既存の Carla ベースの自動運転シミュレーション プラットフォームの比較

CoDriving: 効率的なコラボレーションのためのエンドツーエンドの自動運転モデル​​

CoDriving には 2 つのコンポーネントが含まれています (図 3 を参照)。 ) エンドツーエンドの自転車自動運転ネットワークは、センサー入力を運転制御信号に変換します。 2) 運転指向のコラボレーション。共同作業者は、運転のための主要なセンシング機能を共有することで効率的なコミュニケーションを実現し、機能集約を通じて自転車 BEV センシング機能を強化します。この機能は、システムがより正確な知覚認識結果と計画予測結果を生成するのに役立ちます。

図 3. CoDriving の全体的なフレームワーク

エンドツーエンドの自動運転ネットワーク

エンドツーエンドの単一車両自動運転ネットワークは、さまざまなモダリティからの入力に基づいて出力経路点の予測を学習し、制御モジュールを通過するパスを変換し、ポイントが駆動制御信号に変換されます。これを実現するために、CoDriving は、3D オブジェクト検出器、ウェイポイント予測器、コントローラーなど、運転に必要なモジュール式コンポーネントをエンドツーエンド システムに統合します。 CoDriving は、統一されたグローバル座標系を提供し、複雑な座標変換を回避し、空間情報に基づいたコラボレーションをより適切にサポートするため、Bird's Eye View (BEV) 表現を使用します。

運転指向のコラボレーション戦略

V2X コラボレーションは、情報共有を通じて自転車の視界の制限という避けられない問題を解決します。この研究では、運転パフォーマンスと通信効率を同時に最適化するための、新しい運転指向のコラボレーション戦略を提案します。このスキームには、i) CoDriving が空間的にまばらだが運転に重要な BEV 認識機能を運転要求モジュールを通じて交換する、運転意図ベースの認識通信、および ii) CoDriving が受信した機能情報を利用してそれぞれのパフォーマンスを向上させる BEV 機能強化が含まれます。 BEV の知覚特性。強化された BEV 機能は、システムがより正確な知覚認識結果と計画予測結果を生成するのに役立ちます。

実験結果

この記事では、V2Xverse シミュレーション プラットフォームを使用して、閉ループ運転、3D ターゲット検出、ウェイポイント予測の 3 つのタスクで CoDriving のパフォーマンスをテストします。重要な閉ループ運転テストでは、以前の1台の車両によるエンドツーエンドの自動運転SOTA方式と比較して、CoDrivingの運転スコアは62.49%大幅に向上し、歩行者の衝突率は53.50%減少した。表 2 に示すように、ターゲット検出タスクとウェイポイント予測タスクでは、CoDriving は他の協調手法よりも優れたパフォーマンスを発揮します。

表 2. CoDriving は、閉ループ運転タスクでは SOTA の単一運転手法よりも優れており、モジュール式センシングおよび計画サブタスクでは他の協調センシング手法よりも優れています

この論文では、さまざまな通信下での CoDriving のコラボレーションについても研究しています。図 4 に示すように、閉ループ運転、3D ターゲット検出、ウェイポイント予測の 3 つのタスクにおいて、CoDriving は他のコラボレーション手法よりも優れたパフォーマンスを発揮することが確認されました。

図 4. 異なる通信帯域幅での CoDriving のコラボレーション パフォーマンス

図 5 は、V2Xverse シミュレーション環境での CoDriving の駆動ケースを示しています。図5のシーンでは、死角にいた歩行者が突然道路から飛び出してきました。自動運転自転車は視界が狭く、歩行者を事前に回避できず、重大な自動車事故を引き起こしたことがわかります。 。 CoDriving は、路側機の共有視覚特性を利用して歩行者を事前に検知し、安全に回避します。

図 5(1)。視野が限られている自動運転自転車と比較して、CoDriving は路側機から提供される情報を使用して死角にいる歩行者を検出します。図 5(2)。自転車の運転 回避が間に合わず衝突事故を起こした

概要

この研究は、シミュレーション プラットフォーム V2Xverse を構築することで協調型自動運転手法の開発を支援し、新しいエンドツーエンドの自動運転システムを提案します。その中で、V2Xverse は、閉ループ運転テストをサポートする V2X 協調運転シミュレーション プラットフォームであり、最終的な運転パフォーマンスの向上を目的とした協調自動運転システムの開発のための完全な開発チャネルを提供します。 V2Xverse は、既存のさまざまな単一車両自動運転システムの展開や、既存のさまざまな協調センシング手法のトレーニングと閉ループ運転テストもサポートしていることは言及する価値があります。同時に、本論文は、重要な運転知覚情報を共有することで運転パフォーマンスを向上させ、通信効率を最適化する、新しいエンドツーエンドの協調自動運転システム CoDriving を提案します。運転システム全体の包括的な評価により、CoDriving はさまざまな通信帯域幅において 1 台の車両の自動運転システムよりも大幅に優れていることがわかります。この記事の研究者は、V2Xverse プラットフォームと CoDriving システムが、より信頼性の高い自動運転のための潜在的なソリューションを提供すると信じています。

以上がオープンソース！ V2Xverse: 最初の V2X 指向のシミュレーション プラットフォームとエンドツーエンド モデルを提出およびリリースの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。