Les drones deviennent plus intelligents ! L'équipe de Li Xuelong crée une nouvelle ère de langage automatique

Le langage est le système symbolique le plus important pour la communication et la pensée humaines, et une force importante dans la promotion de la civilisation humaine. Alors, les machines peuvent-elles utiliser le langage pour interagir, exprimer ce qu'elles voient, entendre et penser, et devenir un robot véritablement intelligent ? ? Récemment, le professeur Li Xuelong de l'Institut d'optoélectronique et d'intelligence de l'Université polytechnique du Nord-Ouest et ses collègues ont réalisé des progrès innovants dans l'interaction des machines : sur la base d'un grand modèle produit dans le pays, ils ont développé un contrôle de drone "de type chat de groupe". cadre , donnant à chaque drone Le drone est équipé d'un cerveau, permettant au cluster de drones de collaborer dynamiquement dans la communication linguistique, réalisant une interaction de dialogue "humain-machine" et "multi-machine" dans un environnement ouvert, brisant les barrières d'interaction entre les humains et les machines. Les scénarios d'application de la sécurité locale sont encore élargis.

Les grands modèles ont d'excellentes capacités de généralisation, ce qui en fait une lueur d'espoir pour atteindre « l'intelligence artificielle générale ». Cependant, lire beaucoup de livres est bien moins efficace que la pratique pratique. Dans un environnement ouvert, les grands modèles doivent être véritablement intégrés au monde physique pour véritablement comprendre des tâches complexes et résoudre des problèmes pratiques.

Récemment, l'équipe du professeur Li Xuelong a mené des recherches innovantes sur les clusters de drones autonomes dans un environnement ouvert,let Large les modèles prennent des ailes et s'envolent dans nos vraies vies.

Inspirée par les modèles cognitifs humains, l'équipe a condensé le haut degré d'autonomie dans la formation cognitive dans "Pensée Calcul - Contrôle d'entité - Perception de l'environnement " l'interaction tridimensionnelle et a établi "Le Le cadre de contrôle « chat de groupe » pour les drones autonomes piloté par le grand modèle open source « ShushengPuyu » réalise une interaction intelligente, une perception active et un contrôle autonome dans des environnements ouverts et des tâches complexes, et améliore l'autonomie d'exécution des missions des drones.

En général, l'interaction de dialogue de type humain, la perception active de l'environnement et le contrôle des entités autonomes sont les principales capacités des clusters de drones autonomes.

1. Interaction de dialogue de type humain

Figure 1 Communication par chat de groupe avec drone

Explorez l'interaction entre les utilisateurs humains et les drones, afin que les drones puissent comprendre des tâches complexes. condition préalable à la réalisation de drones autonomes.

En réponse à cela, l'équipe a proposé une méthode d'interaction de dialogue « chat de groupe », qui convertit diverses informations telles que des sons, des images et le statut du drone en une forme de dialogue en langage naturel via un grand modèle, réalisant l'interaction entre utilisateurs et drones, et interaction autonome et intuitive entre drones. Dans le même temps, l'équipe a conçu un mécanisme efficace de retour d'informations en temps réel qui permet aux drones de signaler leur statut par le biais d'un dialogue et de demander la confirmation de l'utilisateur aux nœuds clés de l'exécution de la mission, améliorant ainsi considérablement la stabilité et la sécurité de l'exécution de missions complexes.

2. Conscience environnementale active

Photo 2Découvrir et approcher activement la cible

Photo 3 Évitement d'obstacles dans un environnement dynamique

tout en voler Pendant le processus, le drone détecte activement l'environnement externe et ajuste le plan de mission en temps réel, ce qui constitue un maillon clé dans l'accomplissement de tâches complexes.

En réponse à cela, l'équipe a conçu un mécanisme de perception active pour le guidage des tâches et a proposé des algorithmes de recherche à basse altitude par fusion multi-capteurs, d'évitement dynamique d'obstacles et de positionnement visuel. Pendant l'exécution réelle de la mission, la trajectoire de vol et la posture d'observation du drone sont ajustées de manière dynamique en fonction des informations perçues et des objectifs de la mission. Essayez de percevoir le monde environnant sous différents angles et positions, réduisez progressivement l'incertitude dans l'environnement et obtenez une collecte d'informations efficace. .et l'exécution des tâches.

3. Contrôle autonome

Image 4Capture de cible autonome

Exploration des formulaires d'agents composites et améliorer les capacités de traitement de tâches complexes, tel est l'objectif de la recherche de nouveaux agents intelligents à l’ère des grands modèles. En réponse à cela, l'équipe a conçu des effecteurs finaux tels que des pinces basées sur la plate-forme de drone, étendant les drones traditionnels en "

robots volants

", qui poussent des "mains" et ont la capacité de saisir capacité. Dans le même temps, un mécanisme de contrôle coopératif de cluster de drones hétérogènes est construit, qui combine un retour de perception environnementale pour ajuster l'état de vol de la formation de drones en temps réel, permettant au cluster d'effectuer des tâches telles que la recherche régionale, le positionnement de cibles et saisissant. Le cluster de drones autonomes à grand modèle est une tentative réussie de l'équipe d'appliquer le modèle d'interaction tridimensionnel de l'intelligence biologique « pensée calcul-entité contrôle-perception de l'environnement » à des agents autonomes, en s'appuyant sur de grands modèles de langage, des plates-formes de drones et multiple Une sorte de capteur qui réalise une interaction de dialogue, une perception active et un contrôle autonome, ce qui est d'une grande importance pour les applications dans les inspections de sécurité, le sauvetage en cas de catastrophe, la logistique aérienne et d'autres scénarios de sécurité sur site. Lecture approfondie : Li Xuelong, Vicinagearth security, Communications of the China Computer Federation, 18(11), 44-52, 2022.Téléchargez le texte intégral :

https://dl.ccf.org.cn/ article/articleDetail.html?type=xhtx_thesis&_ack=1&id=6219452051015680

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!