L'étape clé pour « monter dans la voiture » pour les grands modèles : le premier ensemble de données open source langage + conduite autonome au monde est ici

DriveLM est un projet de pilote basé sur un langage qui contient un ensemble de données et un modèle. Avec DriveLM, nous introduisons les capacités d'inférence des grands modèles de langage dans la conduite autonome (AD) pour prendre des décisions et garantir une planification explicable.

Dans l'ensemble de données de DriveLM, nous utilisons une logique de raisonnement écrite par l'homme comme connexions pour faciliter la perception, la prédiction et la planification (P3). Dans notre modèle, nous proposons un modèle de langage visuel AD avec des capacités de cartographie mentale pour produire de meilleurs résultats de planification. Actuellement, nous avons publié une version de démonstration de l'ensemble de données, et l'ensemble de données complet et le modèle seront publiés dans le futur

Lien du projet : https://github.com/OpenDriveLab/DriveLM Ce qui doit être réécrit est : Lien du projet : https://github.com/OpenDriveLab/DriveLM

Qu'est-ce que le graphique des pensées dans AD ?

L'aspect le plus excitant de l'ensemble de données est, La réponse aux questions (QA) dans P3 est connectée dans une structure de style graphique avec des paires QA comme chaque nœud et les relations des objets comme bords.

Par rapport aux arbres de pensée ou aux cartes de réflexion en langage pur, nous préférons la multimodalité. Dans le domaine AD, nous faisons cela parce que chaque étape définit la tâche AD, de l'entrée brute du capteur à l'action de contrôle finale

Qu'est-ce qui est inclus dans l'ensemble de données DriveLM ?

Construisez notre ensemble de données basé sur l'ensemble de données grand public nuScenes. L'élément central de DriveLM est l'assurance qualité P3 basée sur les trames. Les problèmes de perception nécessitent que les modèles reconnaissent les objets dans une scène. Le problème de prédiction nécessite que le modèle prédise l’état futur des objets importants de la scène. Les problèmes de planification incitent le modèle à proposer des actions de planification raisonnables et à éviter les actions dangereuses.

Comment se déroule le processus d'étalonnage ?

1. Sélection d'images clés. Étant donné toutes les images d'un clip, l'annotateur sélectionnera les images clés qui doivent être annotées. La norme est que ces cadres doivent impliquer des changements dans l'état de mouvement du véhicule autonome (changements de voie, arrêts brusques, démarrage après arrêt, etc.).
2. Sélection d'objets clés. Étant donné une image clé, l'annotateur doit récupérer les objets clés dans six images environnantes. La norme est que ces objets doivent pouvoir affecter le propre véhicule (feux de circulation, piétons traversant la rue, autres véhicules)
3. Notes questions-réponses. Compte tenu de ces objets clés, nous générons automatiquement des questions à un ou plusieurs objets sur la perception, la prédiction et la planification. Plus de détails peuvent être trouvés dans nos données de démonstration.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!