LimSim++: 自動運転におけるマルチモーダル大型モデルの新たな段階

論文名: LimSim: A Closed-Loop Platform for Deploying Multimodal LLMs in Autonomous Driving

プロジェクトのホームページ: https://pjlab-adg.github.io/ limsim_plus/

シミュレーターの紹介

フィールドでのマルチモーダル大規模言語モデル ((M)LLM) の使用人工知能の研究ブームを引き起こし、自動運転技術への応用が徐々に注目を集めるようになりました。これらのモデルは、強力な一般化された理解と論理的推論機能を通じて、安全で信頼性の高い自動運転システムの構築を強力にサポートします。自動運転における LLM のパフォーマンスを検証できる、HighwayEnv、CARLA、NuPlan などの既存の閉ループ シミュレーション プラットフォームがありますが、通常、ユーザーはこれらのプラットフォームを自分で適応させる必要があるため、使用の敷居が高くなるだけでなく、制限も発生します。 LLM 機能の詳細な調査。

この課題を克服するために、上海人工知能研究所の高度交通プラットフォーム グループは、(M)LLM 用に特別に設計された自動運転閉ループ シミュレーション プラットフォームである **LimSim** を立ち上げました。 LimSim の立ち上げは、自動運転分野の研究者に、自動運転技術における LLM の可能性を包括的に探求するためのより適切な環境を提供することを目的としています。このプラットフォームは、SUMO や CARLA などのシミュレーション環境からシーン情報を抽出して処理し、画像情報、シーン認識、タスクの説明など、LLM に必要なさまざまな入力形式に変換できます。さらに、LimSim にはモーション プリミティブ変換機能もあり、LLM の決定に基づいて適切な運転軌道を迅速に生成し、閉ループ シミュレーションを実現できます。さらに重要なことは、LimSim は LLM の継続的な学習環境を作成し、LLM が継続的に運転戦略を最適化し、意思決定結果を評価してフィードバックを提供することでドライバー エージェントの運転パフォーマンスを向上させるのに役立ちます。

シミュレータの機能

LimSim は自動運転シミュレーションの分野で重要な機能を備えており、(M)LLM によって駆動されるドライバー エージェントを提供します理想的な閉ループ シミュレーションと継続的な学習環境。

• LimSim は、交差点、ランプ、ロータリーなどのさまざまな運転シナリオのシミュレーションをサポートし、ドライバー エージェントがさまざまな複雑な道路状況での課題を確実に受け入れることができるようにします。この多様なシーン設定により、LLM はより豊かな運転経験を得ることができ、実際の環境での適応性が向上します。
• LimSim は、複数のモーダル入力を持つ大規模な言語モデルをサポートします。 LimSim は、ルールベースのシーン情報生成を提供するだけでなく、CARLA と共同でデバッグして、自動運転における (M)LLM の視覚認識ニーズを満たす豊富な視覚入力を提供することもできます。
• LimSim は継続的な学習機能に重点を置いています。 LimSim は、評価、反映、メモリなどのモジュールを統合し、(M)LLM が継続的に経験を蓄積し、シミュレーション プロセス中の意思決定戦略を最適化できるようにします。

独自のドライバー エージェントの作成

LimSim は、ドライバー エージェントのニーズを満たす豊富なインターフェイスをユーザーに提供します。カスタマイズ要件により、LimSim 開発の柔軟性が向上し、使用の敷居が低くなります。

1. プロンプト ビルド

• LimSim は、(M)LLM に入力されたテキスト情報 (ロール情報を含む) を変更するためのユーザー定義プロンプトをサポートしています。設定、タスク要件、シーンの説明など。
• LimSim は、json 形式に基づいたシーン記述テンプレートを提供するため、ユーザーは情報抽出の具体的な実装を考慮することなく、ゼロコードでプロンプトを変更できます。

2. 意思決定評価モジュール

• LimSim は、(M)LLM 意思決定結果を評価するためのベースラインを提供します。ユーザーは評価を調整できます重みパラメータを変更することで設定を変更できます。

3. フレームワークの柔軟性

• LimSim は、ユーザーが (M)LLM 用にカスタマイズされたツール ライブラリを追加できるようにサポートします。知覚ツール、数値処理ツールなど。

すぐに始めましょう

• ステップ 0:SUMO をインストールします (バージョン ≥v1.15.0、ubuntu)

sudo add-apt-repository ppa:sumo/stablesudo apt-get updatesudo apt-get install sumo sumo-tools sumo-doc

• #ステップ 1: LimSim ソース コード圧縮パッケージをダウンロードし、解凍して、正しいブランチに切り替えます

git clone https://github.com/PJLab-ADG/LimSim.gitgit checkout -b LimSim_plus

• ステップ 2:依存関係をインストールする (conda が必要です)

cd LimSimconda env create -f environment.yml

• ステップ3: シミュレーションの実行

• シミュレーションを単独で実行

python ExampleModel.py

• LLM を使用して自動運転

export OPENAI_API_KEY='your openai key'python ExampleLLMAgentCloseLoop.py

• 自動運転に VLM を使用する

# Terminal 1cd path-to-carla/./CarlaUE4.sh# Termnial 2cd path-to-carla/cd PythonAPI/util/python3 config.py --map Town06# Termnial 2export OPENAI_API_KEY='your openai key'cd path-to-LimSim++/python ExampleVLMAgentCloseLoop.py

詳細については、LimSim の github を確認してください。 : https:// github.com/PJLab-ADG/LimSim/tree/LimSim_plus. 他にご質問がある場合は、GitHub の Issues で提起するか、電子メールで直接お問い合わせください。

LimSim を共同開発し、オープンソース エコシステムを構築するために、学界と産業界のパートナーを歓迎します。

以上がLimSim++: 自動運転におけるマルチモーダル大型モデルの新たな段階の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。