LimSim++ : Une nouvelle étape pour les grands modèles multimodaux en conduite autonome

Nom de l'article : LimSim++ : A Closed-Loop Platform for Deploying Multimodal LLMs in Autonomous Driving

Page d'accueil du projet : https://pjlab-adg.github.io/limsim_plus/

Introduction au simulateur

Alors que le modèle multimodal de langage étendu ((M)LLM) a déclenché un boom de la recherche dans le domaine de l'intelligence artificielle, son application dans la technologie de conduite autonome est progressivement devenue le centre d'attention. Ces modèles apportent un soutien solide à la création de systèmes de conduite autonome sûrs et fiables grâce à de puissantes capacités de compréhension généralisée et de raisonnement logique. Bien qu'il existe des plateformes de simulation en boucle fermée telles que HighwayEnv, CARLA et NuPlan, qui peuvent vérifier les performances du LLM en conduite autonome, les utilisateurs doivent généralement adapter ces plateformes eux-mêmes, ce qui non seulement élève le seuil d'utilisation, mais limite également la exploration approfondie des capacités du LLM.

Pour relever ce défi, l'Intelligent Transportation Platform Group du Shanghai Artificial Intelligence Laboratory a lancé **LimSim++**, une plateforme de simulation de conduite autonome en boucle fermée spécialement conçue pour (M)LLM. Le lancement de LimSim++ vise à fournir aux chercheurs dans le domaine de la conduite autonome un environnement plus approprié pour explorer de manière globale le potentiel du LLM dans la technologie de conduite autonome. La plate-forme peut extraire et traiter les informations de scène à partir d'environnements de simulation tels que SUMO et CARLA, en les convertissant en plusieurs formulaires d'entrée requis par LLM, notamment les informations d'image, la cognition de scène et la description de tâche. De plus, LimSim++ dispose également d'une fonction de conversion de primitives de mouvement, qui peut générer rapidement des trajectoires de conduite appropriées basées sur les décisions de LLM pour réaliser une simulation en boucle fermée. Plus important encore, LimSim++ crée un environnement d'apprentissage continu pour LLM, qui aide LLM à optimiser en permanence les stratégies de conduite et à améliorer les performances de conduite de l'agent conducteur en évaluant les résultats des décisions et en fournissant des commentaires.

Fonctionnalités du simulateur

LimSim++ possède des fonctionnalités importantes dans le domaine de la simulation de conduite autonome, offrant une simulation en boucle fermée idéale et un environnement d'apprentissage continu pour l'agent de conduite piloté par (M)LLM.

• LimSim++ prend en charge la simulation d'une variété de scénarios de conduite, tels que les intersections, les rampes et les ronds-points, garantissant que l'agent conducteur peut relever des défis dans diverses conditions routières complexes. Ce décor de scène diversifié aide LLM à acquérir une expérience de conduite plus riche et à améliorer son adaptabilité dans des environnements réels.
• LimSim++ prend en charge les grands modèles de langage avec plusieurs entrées modales. LimSim++ fournit non seulement une génération d'informations de scène basée sur des règles, mais peut également être débogué conjointement avec CARLA pour fournir une entrée visuelle riche afin de répondre aux besoins de perception visuelle du (M)LLM en conduite autonome.
• LimSim++ se concentre sur les capacités d'apprentissage continu. LimSim++ intègre des modules tels que l'évaluation, la réflexion et la mémoire pour aider (M)LLM à accumuler continuellement de l'expérience et à optimiser les stratégies de prise de décision pendant le processus de simulation.

Créez votre propre Driver Agent

LimSim++ fournit aux utilisateurs une interface riche qui peut répondre aux besoins de personnalisation de Driver Agent, améliore la flexibilité du développement LimSim++ et abaisse le seuil d'utilisation.

1. Construction d'invites

• LimSim++ prend en charge les invites définies par l'utilisateur pour modifier la saisie des informations textuelles en (M)LLM, y compris les paramètres de rôle, les exigences des tâches, les descriptions de scènes et d'autres informations.
• LimSim++ fournit des modèles de description de scène basés sur le format json, permettant aux utilisateurs de modifier les invites sans code, sans considérer la mise en œuvre spécifique de l'extraction d'informations.

2. Module d'évaluation des décisions

• LimSim++ fournit une base de référence pour évaluer les résultats de la décision (M)LLM. Les utilisateurs peuvent ajuster les préférences d'évaluation en modifiant les paramètres de poids.

3. Flexibilité du framework

• LimSim++ permet aux utilisateurs d'ajouter des bibliothèques d'outils personnalisées pour (M)LLM, telles que des outils de perception, des outils de traitement numérique, etc.

Démarrez rapidement

• Étape 0 :Installez SUMO (Version≥v1.15.0, ubuntu)

sudo add-apt-repository ppa:sumo/stablesudo apt-get updatesudo apt-get install sumo sumo-tools sumo-doc

• Étape 1 : Téléchargez le code source de LimSim++ package de compression, décompressez et changez dans la bonne branche

git clone https://github.com/PJLab-ADG/LimSim.gitgit checkout -b LimSim_plus

• Étape 2 :Installer les dépendances (conda est requis)

cd LimSimconda env create -f environment.yml

• Étape 3 : Exécuter la simulation

• Exécutez la simulation seul

python ExampleModel.py

• Utiliser LLM pour la conduite autonome

export OPENAI_API_KEY='your openai key'python ExampleLLMAgentCloseLoop.py

• Utiliser VLM pour la conduite autonome

# Terminal 1cd path-to-carla/./CarlaUE4.sh# Termnial 2cd path-to-carla/cd PythonAPI/util/python3 config.py --map Town06# Termnial 2export OPENAI_API_KEY='your openai key'cd path-to-LimSim++/python ExampleVLMAgentCloseLoop.py

Pour plus d'informations, veuillez consulter le github de LimSim++ : https://github.com/PJLab-ADG/LimSim/tree /LimSim_plus, si vous avez d'autres questions, veuillez les soulever dans Problèmes sur GitHub ou contactez-nous directement par e-mail !

Nous invitons les partenaires du monde universitaire et de l'industrie à développer conjointement LimSim++ et à construire un écosystème open source !

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!