Des articles au code, de la recherche de pointe à la mise en œuvre industrielle, comprenez parfaitement la perception du BEV

BEV Qu'est-ce que la perception exactement ? Quels sont les aspects de la perception du BEV auxquels les cercles académiques et industriels de la conduite autonome prêtent attention ? Cet article vous révélera la réponse.

Dans le domaine de la conduite autonome, permettre aux modèles de perception d'apprendre de puissantes représentations en vue à vol d'oiseau (BEV) est une tendance et a attiré une large attention de l'industrie et du monde universitaire. Par rapport à la plupart des modèles précédents dans le domaine de la conduite autonome qui reposent sur l'exécution de tâches telles que la détection, la segmentation et le suivi en vue de face ou en perspective, la représentation Bird's Eye View (BEV) permet au modèle de mieux identifier les véhicules obstrués et a Facilite le développement et le déploiement des modules ultérieurs (par exemple, planification, contrôle).

On peut constater que la recherche sur la perception du BEV a un impact potentiel énorme sur le domaine de la conduite autonome et mérite une attention et un investissement à long terme de la part du monde universitaire et de l'industrie. Alors, qu'est-ce que la perception du BEV exactement ? Quel est le contenu de la perception du BEV auquel les leaders universitaires et industriels de la conduite autonome prêtent attention ? Cet article vous révélera la réponse à travers l'BEVPerception Survey.

BEVPerception Survey est un article collaboratif entre l'équipe Autonomous Driving OpenDriveLab du Shanghai Artificial Intelligence Laboratory et SenseTime Research Institute"Plongez dans les démons de la perception à vol d'oiseau : une revue , Évaluation et recette" 》La méthode pratique de présentation des outils est divisée en deux parties : la dernière recherche documentaire basée sur BEVPercption et la boîte à outils open source de perception BEV basée sur PyTorch.

• Adresse papier : https://arxiv.org/abs/2209.05324
• Adresse du projet : https://github.com/OpenPerceptionX/BEVPerception-Survey-Re e

Interprétation générale, interprétation technique

Enquête BEVPerception La dernière recherche de revue de la littérature comprend principalement trois parties : Caméra BEV, lidar BEV et fusion BEV. La caméra BEV représente un algorithme axé uniquement sur la vision ou centré sur la vision pour la détection ou la segmentation d'objets 3D à partir de plusieurs caméras environnantes. Le lidar BEV décrit la tâche de détection ou de segmentation de l'entrée de nuage de points. La fusion BEV décrit la tâche de détection ou de segmentation à partir de plusieurs capteurs. Mécanismes de fusion d'entrée ; tels que caméras, lidar, systèmes de navigation globaux, odométrie, cartes HD, bus CAN, etc.

BEV Perception Toolbox fournit une plate-forme de détection d'objets 3D basée sur des caméras BEV et fournit une plate-forme expérimentale sur l'ensemble de données Waymo, qui peut réaliser des tutoriels manuels et des expériences sur des ensembles de données à petite échelle.

Figure 1 : Cadre d'enquête BEVPerception

Plus précisément, la caméra BEV représente un algorithme de détection ou de segmentation d'objets 3D à partir de plusieurs caméras environnantes. Le lidar BEV représente un algorithme utilisant un nuage de points comme entrée pour compléter l'analyse ; tâche de détection ou de segmentation ; la fusion BEV utilise la sortie de plusieurs capteurs comme entrée, tels que des caméras, LiDAR, GNSS, odomètre, HD-Map, CAN-bus, etc.

Recherche de revue de la littérature BEVPercption

Caméra BEV​

La perception de la caméra BEV comprend trois parties : un extracteur de caractéristiques 2D, une transformation de vue et un décodeur 3D. La figure ci-dessous montre l'organigramme de perception de la caméra BEV. Dans la transformation de vue, il existe deux façons de coder les informations 3D : l'une consiste à prédire les informations de profondeur à partir d'entités 2D ; l'autre consiste à échantillonner des entités 2D à partir de l'espace 3D.

Figure 2 : Organigramme de perception de la caméra BEV

Pour l'Extracteur de fonctionnalités 2D, il y a beaucoup d'expérience dans la tâche de perception 2D qui peut être empruntée dans la tâche de perception 3D, comme le forme de formation à l’intervention principale.

Le module de conversion de vue est un aspect très différent du système de perception 2D. Comme le montre la figure ci-dessus, il existe généralement deux manières d'effectuer une transformation de vue : l'une est la transformation de l'espace 3D en espace 2D, l'autre est la transformation de l'espace 2D en espace 3D. Ces deux méthodes de transformation utilisent soit l'espace 3D. connaissance préalable de la physique du système ou utilisation d'informations 3D supplémentaires pour la supervision. Il convient de noter que toutes les méthodes de perception 3D ne disposent pas de modules de transformation de vue. Par exemple, certaines méthodes détectent les objets dans l'espace 3D directement à partir des entités dans l'espace 2D.

Décodeur 3D reçoit des fonctionnalités dans l'espace 2D/3D et génère des résultats de perception 3D. La plupart des décodeurs 3D sont conçus à partir de modèles de perception basés sur LiDAR. Ces méthodes effectuent une détection dans l'espace BEV, mais il existe encore des décodeurs 3D qui exploitent les fonctionnalités de l'espace 2D et régressent directement la localisation des objets 3D.

BEV LiDAR

BEV Le processus commun de perception LiDAR implique principalement deux branches pour convertir les données de nuages ​​de points en représentation BEV. La figure ci-dessous montre l'organigramme de détection lidar BEV. La branche supérieure extrait les caractéristiques du nuage de points dans l'espace 3D pour fournir des résultats de détection plus précis. La branche inférieure extrait les fonctionnalités BEV dans l'espace 2D, offrant ainsi un réseau plus efficace. En plus des méthodes basées sur des points qui fonctionnent sur des nuages ​​de points bruts, les méthodes basées sur les voxels voxelisent les points dans des grilles discrètes, offrant ainsi une représentation plus efficace en discrétisant les coordonnées 3D continues. Basée sur une représentation de voxels discrets, la convolution 3D ou la convolution clairsemée 3D peuvent être utilisées pour extraire des caractéristiques de nuages ​​de points.

Figure 3 : Organigramme de détection lidar BEV

fusion BEV

L'algorithme de fusion de détection BEV comporte deux méthodes : la détection PV et la détection BEV, adaptées à milieu universitaire et industriel . La figure ci-dessous montre une comparaison des organigrammes de détection PV et de détection BEV. La principale différence entre les deux réside dans le module de conversion et de fusion 2D en 3D. Dans l'organigramme compatible PV, les résultats de différents algorithmes sont d'abord convertis en espace 3D, puis fusionnés à l'aide de connaissances préalables ou de règles conçues manuellement. Dans l'organigramme de perception BEV, la carte des caractéristiques PV sera convertie en perspective BEV, puis fusionnée dans l'espace BEV pour obtenir le résultat final, maximisant ainsi la conservation des informations sur les caractéristiques d'origine et évitant une conception manuelle excessive.

Figure 4 : Organigramme de détection PV (à gauche) et de détection BEV (à droite)

Ensembles de données adaptés aux modèles de détection BEV

Il existe de nombreux ensembles de données pour les tâches de détection BEV. Généralement, un ensemble de données se compose de plusieurs scènes, et chaque scène a une longueur différente dans différents ensembles de données. Le tableau suivant résume les ensembles de données couramment utilisés dans la communauté universitaire. Nous pouvons voir que l'ensemble de données Waymo contient des scènes plus diversifiées et des annotations de boîte de détection 3D plus riches que les autres ensembles de données.

Tableau 1 : Aperçu des ensembles de données de détection BEV

Cependant, il n'existe actuellement aucun logiciel pour la tâche de détection BEV développé par Waymo rendu public dans la communauté universitaire. Par conséquent, nous avons choisi de développer sur la base de l'ensemble de données Waymo, dans l'espoir de promouvoir le développement de tâches de perception BEV sur l'ensemble de données Waymo.

Boîte à outils - Boîte à outils de perception BEV

BEVFormer est une méthode de perception BEV couramment utilisée. Elle utilise un transformateur spatio-temporel pour convertir les caractéristiques extraites par le réseau fédérateur à partir d'une entrée multi-vues en caractéristiques BEV, puis entre les caractéristiques BEV dans la détection. tête pour obtenir les résultats finaux des tests. BEVFormer possède deux fonctionnalités : il permet une conversion précise des fonctionnalités d'image 2D en fonctionnalités 3D et peut appliquer les fonctionnalités BEV qu'il extrait à différentes têtes de détection. Nous avons encore amélioré la qualité de conversion de vue et les performances de détection finale de BEVFormer grâce à une série de méthodes.

Après avoir remporté la première placeCVPR 2022 Waymo Challenge avec BEVFormer++, nous avons lancé Toolbox - BEV Perception Toolbox, en fournissant un ensemble complet d'outils de traitement de données Waymo Open Dataset faciles à utiliser, Celui-ci intègre une série de méthodes qui peuvent améliorer considérablement les performances du modèle (y compris, mais sans s'y limiter, l'amélioration des données, les têtes de détection, les fonctions de perte, l'intégration de modèles, etc.), et est compatible avec les frameworks open source largement utilisés dans le domaine, tels que mmdetection3d. et détecteurron2. Par rapport à l'ensemble de données de base Waymo, la boîte à outils de perception BEV optimise et améliore les compétences d'utilisation pour différents types de développeurs. La figure ci-dessous montre un exemple d'utilisation de la boîte à outils de sensibilisation BEV basée sur l'ensemble de données Waymo.

Figure 5 : Exemple d'utilisation de la boîte à outils basé sur l'ensemble de données Waymo

Résumé

• L'enquête BEVPerception résume la situation globale de la recherche sur la technologie de perception BEV au cours des dernières années, y compris l'élaboration de concepts de haut niveau et une discussion plus approfondie et détaillée. Une analyse complète de la littérature relative à la détection BEV couvre des questions essentielles telles que l'estimation de la profondeur, la transformation de vue, la fusion de capteurs et l'adaptation de domaine, et fournit une explication plus approfondie de l'application de la détection BEV dans les systèmes industriels.
• En plus des contributions théoriques, BEVPerception Survey fournit également une boîte à outils très pratique pour améliorer les performances de détection d'objets en vue à vol d'oiseau 3D (BEV) par caméra, y compris une série de stratégies d'amélioration des données de formation et une conception efficace de l'encodeur, fonction de perte conception, stratégies d'amélioration des données de test et d'intégration de modèles, etc., ainsi que la mise en œuvre de ces techniques sur l'ensemble de données Waymo. Nous espérons aider davantage de chercheurs à réaliser le principe « utiliser et prendre » et offrir plus de commodité aux chercheurs du secteur de la conduite autonome.

Nous espérons que BEVPerception Survey aidera non seulement les utilisateurs à utiliser facilement les modèles de perception BEV hautes performances, mais deviendra également un bon point de départ pour les novices pour se lancer dans les modèles de perception BEV. Nous nous engageons à repousser les frontières de la recherche et du développement dans le domaine de la conduite autonome et sommes impatients de partager nos points de vue et d'échanger des discussions avec la communauté universitaire pour explorer en permanence le potentiel d'application de la recherche liée à la conduite autonome dans le monde réel.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!