NPU lance un cadre de contrôle innovant pour les drones : permettant une interaction de type chat de groupe, une perception active de l'environnement et un contrôle autonome des drones

La super capacité de généralisation fait des grands modèles une lueur d'espoir pour « l'intelligence artificielle générale ».

Cependant, lire des milliers de livres n'est pas aussi efficace que parcourir des milliers de kilomètres. Dans un environnement ouvert, les grands modèles doivent véritablement « marcher » dans le monde physique afin de vraiment comprendre des tâches complexes et résoudre des problèmes pratiques.

Récemment, l’équipe du professeur Li Xuelong a mené des recherches innovantes sur les essaims de drones autonomes en environnement ouvert. Ils ont utilisé des modèles nationaux à grande échelle pour réaliser avec succès une interaction de dialogue homme-machine et multi-machine dans un environnement ouvert, brisant ainsi les barrières d'interaction entre les humains et les machines. Cette recherche élargit encore les scénarios d'application de la sécurité locale, permettant à de gros drones de voler dans la vie réelle.

Inspirée par des modèles cognitifs humains, notre équipe résume le processus cognitif hautement autonome comme « Penser l'entité informatique » « Contrôle-Perception de l'environnement » trois- interaction dimensionnelle et établi un cadre de contrôle de « discussion de groupe » pour les drones autonomes pilotés par le grand modèle open source « Scholar·Puyu ». Nous équipons chaque drone d'un cerveau intelligent, permettant au groupe de drones de collaborer de manière dynamique grâce à la communication linguistique pour obtenir une interaction intelligente, une perception active et un contrôle autonome dans des environnements ouverts et des tâches complexes. Cette décision améliore l'autonomie d'exécution des missions des drones

En général, les principales capacités des clusters de drones autonomes incluent l'interaction conversationnelle de type humain, la perception de l'environnement actif et le contrôle d'entité autonome

Interaction conversationnelle de type humain

Figure 1 Groupe de drones communication par chat

Explorer l'interaction entre les utilisateurs humains et les drones, permettant aux drones de comprendre les besoins des utilisateurs dans des tâches complexes, est une condition préalable à la réalisation de drones autonomes.

En réponse à cela, l'équipe a proposé une méthode d'interaction par dialogue de « discussion de groupe », qui convertit diverses informations telles que des sons, des images et l'état du drone lui-même en une forme de dialogue en langage naturel via un grand modèle, réalisant ainsi l'interaction. entre l’utilisateur et le drone et des interactions autonomes et intuitives entre les drones.

Afin d'améliorer la stabilité d'exécution et la sécurité des tâches complexes, l'équipe a conçu un mécanisme efficace de feedback en temps réel. Ce mécanisme permet au drone de signaler son statut par le biais d'un dialogue et de demander la confirmation de l'utilisateur aux nœuds clés de l'exécution de la mission. Dans le même temps, ce mécanisme peut également améliorer considérablement l'efficacité de l'exécution des tâches

Perception active de l'environnement

Figure 2 Découvrir et approcher activement la cible

Figure 3 Évitement d'obstacles dans un environnement dynamique

Pendant le vol , personne La détection automatique de l'environnement externe et l'ajustement de la planification des tâches en temps réel sont un maillon clé dans l'exécution de tâches complexes.

Afin de résoudre ce problème, l'équipe a développé un mécanisme de perception active guidé par la tâche et a proposé des algorithmes de recherche à basse altitude par fusion multi-capteurs, d'évitement dynamique d'obstacles et de positionnement visuel

Dans le processus d'exécution réel de la tâche, basé sur le informations de perception et tâche cible, nous pouvons ajuster dynamiquement la trajectoire de vol et la posture d'observation du drone. Nous pouvons essayer de percevoir le monde environnant sous différents angles et positions, et réduire progressivement l'incertitude dans l'environnement pour parvenir à une collecte d'informations et une exécution de tâches efficaces. Contrôle collaboratif d'un essaim hétérogène d'UAV

La recherche clé consiste à explorer la forme d'agents composites pour améliorer sa capacité à gérer des tâches complexes. À l'ère des grands modèles, il s'agit d'un domaine clé pour les nouveaux agents intelligents

Afin de résoudre ce problème, l'équipe R&D a utilisé la plateforme de drones pour concevoir des effecteurs finaux tels que des pinces, transformant les drones traditionnels en « robots volants ». c'est la capacité de saisir Dans le même temps, un mécanisme de contrôle collaboratif hétérogène du cluster d'UAV a également été établi, et combiné au retour de perception environnementale, l'état de vol de la formation d'UAV est ajusté en temps réel afin que le cluster puisse diviser le travail et coopérer pour effectuer des recherches et des cibles régionales telles que le positionnement et l'exploration

.

L'équipe a tenté avec succès d'appliquer le modèle d'interaction tridimensionnel de l'intelligence biologique « pensée informatique - contrôle des entités - perception de l'environnement » à des agents autonomes, formant ainsi un grand cluster de drones autonomes. Ce type de cluster utilise des modèles de langage à grande échelle, des plates-formes de drones et une variété de capteurs pour réaliser une interaction conversationnelle, une perception active et un contrôle autonome. Cette technologie revêt une grande importance pour l'application dans des scénarios de sécurité sur site tels que les inspections de sécurité, le sauvetage en cas de catastrophe et la logistique aérienne.

Références : Li Xuelong, Vicinagearth security, Communications of the China Computer Society, 18(11), 44- 52, 2022

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!