La technologie de base de Byte AI Lab a remporté le championnat de navigation active Habitat Challenge 2022, qui combine méthodes traditionnelles et apprentissage par imitation.

La navigation d'objets est l'une des tâches de base des robots intelligents. Dans cette tâche, le robot intelligent explore et trouve activement certains types d'objets désignés par les humains dans un nouvel environnement inconnu. La tâche de navigation vers la cible de l'objet est orientée vers les besoins d'application des futurs robots de service à domicile. Lorsque les personnes ont besoin du robot pour effectuer certaines tâches, comme obtenir un verre d'eau, le robot doit d'abord trouver et se déplacer vers l'emplacement du gobelet d'eau. , puis aidez les gens à obtenir la tasse d'eau.

Habitat Challenge Le challenge est organisé conjointement par Meta AI et d'autres institutions. C'est l'un des événements les plus connus dans le domaine de la navigation par cible d'objets. Depuis 2022, il a lieu pendant 4 années consécutives. ans. Au total, 54 équipes ont participé à cette compétition. Lors du concours, des chercheurs de l'équipe ByteDance AI Lab-Research ont proposé un nouveau cadre de navigation entre cibles d'objets pour combler les lacunes des méthodes existantes. Ce cadre combine intelligemment l'apprentissage par imitation avec les méthodes traditionnelles pour se démarquer et remporter le championnat. Des résultats qui ont largement dépassé les résultats de la deuxième place et des autres équipes participantes dans la métrique clé SPL. Historiquement, les équipes championnes de cet événement sont généralement des instituts de recherche bien connus tels que la CMU, l'UC Berkerly et Facebook.

Test-Standard list

Test-Challenge list #🎜 🎜#

Site officiel du concours Habitat Challenge : https://aihabitat.org/challenge/2022/

Habitat Challenge Competition LeaderBoard : https://eval.ai/web/challenges/ challenge -page/1615/leaderboard

1. Motivation de recherche

Les méthodes actuelles de navigation vers les cibles d'objets peuvent être grossièrement divisées en deux catégories : les méthodes de bout en bout et les méthodes basées sur des cartes. . La méthode de bout en bout extrait les caractéristiques des données d'entrée du capteur, puis les alimente dans un modèle d'apprentissage profond pour obtenir l'action. Ces méthodes sont généralement basées sur l'apprentissage par renforcement ou l'apprentissage par imitation (Figure 1, méthodes sans carte) ; Les méthodes basées sur la carte construisent généralement une carte explicite ou implicite, puis sélectionnent un point cible sur la carte via l'apprentissage par renforcement et d'autres méthodes, et enfin planifient le chemin et obtiennent l'action (Figure 1 Méthode basée sur la carte).

Figure 1 Organigramme de la méthode de bout en bout (en haut) et de la méthode basée sur une carte (en bas) # 🎜🎜 #Après un grand nombre d'expérimentations comparant les deux méthodes, les chercheurs ont constaté que les deux méthodes ont leurs propres avantages et inconvénients : la méthode de bout en bout ne nécessite pas la construction d'une carte de l'environnement, il est donc plus concis et a une capacité de généralisation dans différents scénarios. Cependant, comme le réseau a besoin d'apprendre les informations spatiales de l'environnement de codage, il s'appuie sur une grande quantité de données d'entraînement et il est difficile d'apprendre certains comportements simples en même temps, comme s'arrêter près de l'objet cible. Les méthodes basées sur des cartes utilisent des rasters pour stocker des caractéristiques ou de la sémantique et disposer d'informations spatiales explicites, de sorte que le seuil d'apprentissage pour ce type de comportement est plus faible. Cependant, cela dépend fortement de résultats de positionnement précis et, dans certains environnements tels que les escaliers, une conception artificielle de la perception et des stratégies de planification de chemin sont nécessaires.

Sur la base des conclusions ci-dessus, les chercheurs de l'équipe ByteDance AI Lab-Research espèrent combiner les avantages des deux méthodes. Cependant, les processus algorithmiques de ces deux méthodes sont très différents et difficiles à combiner directement ; de plus, il est également difficile de concevoir une stratégie pour intégrer directement les résultats des deux méthodes ; Par conséquent, les chercheurs ont conçu une stratégie simple mais efficace qui permet aux deux types de méthodes de mener alternativement une exploration active et une recherche d'objets en fonction de l'état du robot, maximisant ainsi leurs avantages respectifs.

2. Méthode de compétition

L'algorithme se compose principalement de deux branches : la branche basée sur la carte de probabilité et la branche de bout en bout. L'entrée de l'algorithme est l'image RVB-D de première vue et la pose du robot, ainsi que la catégorie d'objet cible à trouver, et la sortie est l'action suivante (action). L'image RVB est segmentée en première instance et transmise aux deux branches avec d'autres données d'entrée brutes. Les deux branches produisent respectivement leurs propres actions, et une stratégie de commutation détermine l'action de sortie finale.

Figure 2 Diagramme de flux de l'algorithme

La branche basée sur la carte de probabilité

La branche basée sur la carte de probabilité s'inspire de l'idée de la carte de liaison sémantique[2] et simplifie la méthode de l'article original de l'auteur[3] publié lors de la conférence IROS Robot . Cette branche construit une carte sémantique 2D basée sur les résultats de segmentation de l'instance d'entrée, la carte de profondeur et la pose du robot. D'autre part, elle met à jour une carte de probabilité basée sur les probabilités d'association pré-appris entre les objets.

Les méthodes de mise à jour de la carte de probabilité sont les suivantes : lorsque l'objet cible est détecté mais pas suffisamment fiable (le score de confiance est inférieur au seuil), vous devez continuer à observer de plus près à ce moment-là, donc la valeur de probabilité de la zone correspondante sur la carte de probabilité devrait augmenter (comme le montre la partie supérieure de la figure 3) ; de la même manière, si des objets liés à l'objet cible sont détectés (par exemple, la probabilité que des tables et des chaises soient placées ensemble est relativement élevée) ; de la zone correspondante augmentera également (comme le montre la partie inférieure de la figure 3 illustrée). En sélectionnant la zone avec la probabilité la plus élevée comme point cible, l'algorithme encourage le robot à s'approcher des objets cibles potentiels et des objets associés pour une observation plus approfondie jusqu'à ce qu'il trouve un objet cible avec une probabilité de confiance supérieure au seuil.

Figure 3 Diagramme schématique de la méthode de mise à jour de la carte de probabilité

Branche de bout en bout

L'entrée de la branche de bout en bout comprend des images RVB-D, des résultats de segmentation d'instance, un robot poses, catégories d'objets cibles et action de sortie directe. La fonction principale de la branche de bout en bout est de guider le robot pour trouver des objets comme les humains, c'est pourquoi le modèle et le processus de formation de la méthode Habitat-Web[4] sont adoptés. La méthode est basée sur l'apprentissage par imitation, où le réseau est formé en collectant des exemples d'humains recherchant des objets dans un ensemble de formation.

Stratégie de commutation

La stratégie de commutation sélectionne principalement l'une des deux actions produites par la branche de la carte de probabilité et la branche de bout en bout comme sortie finale en fonction des résultats de la carte de probabilité et de la planification du chemin. Lorsqu'il n'y a pas de raster avec une probabilité supérieure au seuil dans la carte de probabilité, le robot doit explorer l'environnement ; lorsqu'un chemin réalisable ne peut pas être planifié sur la carte, le robot peut se trouver dans certains environnements spéciaux (tels que des escaliers). Dans les deux cas, des méthodes de bout en bout seront utilisées. Le branchement de bout en bout permet au robot d'avoir une adaptabilité environnementale suffisante. Dans d'autres cas, la branche de la carte probabiliste est sélectionnée pour tirer pleinement parti de ses avantages dans la recherche d'objets cibles.

L'effet de cette stratégie de commutation est montré dans la vidéo. Le robot utilise généralement la branche de bout en bout pour explorer efficacement l'environnement une fois qu'un objet cible possible ou un objet associé est découvert, il passe à la branche de carte de probabilité pour. observation plus rapprochée. Si l'objet cible est Si la probabilité de confiance est supérieure au seuil, il s'arrêtera à l'objet cible, sinon la valeur de probabilité dans la zone continuera à diminuer jusqu'à ce qu'il n'y ait plus de grilles avec une probabilité supérieure au seuil ; , et le robot reviendra de bout en bout pour continuer l'exploration.

Comme le montre la vidéo, cette méthode combine les avantages de l'approche de bout en bout et de l'approche basée sur la carte. Les deux branches remplissent leurs propres tâches. La méthode de bout en bout est principalement chargée de l'exploration de l'environnement ; la branche des cartes de probabilité est chargée d'observer à proximité de la zone d'intérêt. Par conséquent, cette méthode peut non seulement explorer des scènes complexes (telles que des escaliers), mais également réduire les exigences de formation de la branche de bout en bout.

3. Résumé

Pour la tâche de navigation de cible active d'objet, l'équipe de recherche ByteDance AI Lab a proposé un cadre qui combine des cartes de probabilité classiques avec un apprentissage par imitation moderne. Ce cadre est une tentative réussie de combiner les méthodes traditionnelles avec une approche de bout en bout. Lors du concours Habitat, la méthode proposée par l'équipe ByteDance AI Lab-Research a largement dépassé les résultats de la deuxième place et des autres équipes participantes, prouvant l'avancée de l'algorithme. En introduisant des méthodes traditionnelles dans la méthode de bout en bout actuelle de l'IA incorporée, nous pouvons combler davantage certaines lacunes de la méthode de bout en bout, permettant ainsi aux robots intelligents d'aller plus loin sur la voie de l'aide et du service aux gens.

Récemment, les recherches de l'équipe de recherche du ByteDance AI Lab dans le domaine de la robotique ont également été incluses dans les principales conférences sur la robotique telles que CoRL, IROS et ICRA, notamment l'estimation de la pose d'objets, la saisie d'objets, la navigation de cibles, l'assemblage automatique et l'humain. interaction informatique et autres tâches essentielles des robots.

【CoRL 2022】Estimation générative de forme et de pose au niveau de la catégorie avec des primitives sémantiques

• Adresse papier : https://arxiv.org/abs/2210.01112

【IROS 2022】Génération d'assemblages de pièces 3D avec transformateur codé par instance

• Adresse papier : https://arxiv.org/abs/2207.01779

【IROS 2022】Navigation vers des objets dans des environnements invisibles par prévision de distance

• Adresse papier : https://arxiv.org/abs/2202.03735

【EMNLP 2022】Vers une génération et une compréhension unificatrices d'expressions de référence

• Adresse papier : https://arxiv.org/pdf/2210.13076

【ICRA 2022】Apprentissage de la conception et de la construction avec des matériaux de tailles variables via des réinitialisations de mémoire prioritaires

• Adresse papier : https://arxiv.org/abs/2204.05509

【IROS 2021】Apprentissage simultané de la sémantique et des collisions pour 6-DoF Grasp Pose Estimation

• Adresse papier : https://arxiv.org/abs/2108.02425

【IROS 2021】Apprendre à concevoir et construire un pont sans plan

• Adresse papier : https://arxiv.org/abs /2108.02439

4. Références

[1] Yadav, Karmesh, et al. "Ensemble de données sémantiques 3D d'Habitat-Matterport." et Odest Chadwicke Jenkins. « Cartes de liaison sémantique pour la recherche active d'objets visuels. » Conférence internationale de l'IEEE 2020 sur la robotique et l'automatisation (IEEE, 2020).

[3] Minzhao Zhu, Binglei Zhao et Tao Kong « Naviguer vers. Objets dans des environnements invisibles par prévision de distance."

préimpression arXiv arXiv:2202.03735

(2022).[4] Ramrakhya, Ram, et al. "Habitat-Web : apprentissage de stratégies de recherche d'objets incorporées à partir de démonstrations humaines à grande échelle". Actes de la conférence IEEE/CVF sur la vision par ordinateur et la reconnaissance de formes 2022.

5. À propos de nous

ByteDance AI Lab NLP&Research se concentre sur la recherche technologique de pointe dans le domaine de l'intelligence artificielle, couvrant le traitement du langage naturel, la robotique, etc. . domaine de recherche technologique, et s'engage à mettre en pratique les résultats de la recherche et à fournir un support technique et des services de base pour les produits et activités existants de l'entreprise. Les capacités techniques de l'équipe sont ouvertes au monde extérieur grâce au Volcano Engine, favorisant l'innovation en matière d'IA.

ByteDance AI-Lab NLP&Research Coordonnées

Consultation de recrutement : fankaijing@bytedance.com

• Coopération académique : luomanping@bytedance.com

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!