NPU führt ein innovatives UAV-Steuerungs-Framework ein: Ermöglicht Interaktion im Gruppenchat-Stil, aktive Wahrnehmung der Umgebung und autonome Steuerung von UAVs

Super-Generalisierungsfähigkeit macht große Modelle zu einem Hoffnungsschimmer für „allgemeine künstliche Intelligenz“.

Allerdings ist das Lesen von Tausenden von Büchern nicht so gut wie das Reisen von Tausenden von Kilometern. In einer offenen Umgebung müssen große Modelle wirklich in die physische Welt „eintauchen“, um komplexe Aufgaben wirklich zu verstehen und praktische Probleme zu lösen.

Kürzlich führte das Team von Professor Li Xuelong innovative Forschungen zu autonomen Drohnenschwärmen in einer offenen Umgebung durch. Sie verwendeten inländische Großmodelle, um die Dialoginteraktion zwischen Mensch und Computer und mehreren Maschinen in einer offenen Umgebung erfolgreich zu realisieren und so die Interaktionsbarrieren zwischen Menschen und Maschinen zu durchbrechen. Diese Forschung erweitert die Anwendungsszenarien der lokalen Sicherheit weiter und ermöglicht den Flug großer Drohnen im wirklichen Leben. dimensionale Interaktion und etablierte ein „Gruppenchat“-Steuerungsframework für autonome Drohnen, das auf dem Open-Source-Großmodell „Scholar·Puyu“ basiert. Wir statten jede Drohne mit einem intelligenten Gehirn aus, sodass die Drohnengruppe durch Sprachkommunikation dynamisch zusammenarbeiten kann, um intelligente Interaktion, aktive Wahrnehmung und autonome Steuerung in offenen Umgebungen und bei komplexen Aufgaben zu erreichen. Dieser Schritt verbessert die Autonomie bei der Ausführung von Drohnenmissionen.

Im Allgemeinen umfassen die Hauptfähigkeiten autonomer Drohnencluster menschenähnliche Gesprächsinteraktion, aktive Umgebungswahrnehmung und autonome Entitätskontrolle.

Menschenähnliche Gesprächsinteraktion.

Abbildung 1 Drohnengruppe Chat-KommunikationDie Erforschung der Interaktion zwischen menschlichen Benutzern und Drohnen, die es Drohnen ermöglicht, Benutzerbedürfnisse bei komplexen Aufgaben zu verstehen, ist eine Voraussetzung für die Realisierung autonomer Drohnen.

Als Reaktion darauf schlug das Team eine Dialoginteraktionsmethode „Gruppenchat“ vor, die verschiedene Informationen wie Töne, Bilder und den Status der Drohne selbst über ein großes Modell in eine Dialogform in natürlicher Sprache umwandelt und so die Interaktion realisiert zwischen Benutzern und Drohnen und autonome und intuitive Interaktionen zwischen Drohnen.

Um die Ausführungsstabilität und Sicherheit komplexer Aufgaben zu verbessern, hat das Team einen effizienten Echtzeit-Feedbackmechanismus entwickelt. Dieser Mechanismus ermöglicht es der Drohne, ihren Status durch Dialog zu melden und an wichtigen Knotenpunkten der Missionsausführung eine Benutzerbestätigung einzuholen. Gleichzeitig kann dieser Mechanismus auch die Effizienz der Aufgabenausführung erheblich verbessern.

Aktive Umgebungswahrnehmung , niemand Das automatische Erkennen der externen Umgebung und das Anpassen der Aufgabenplanung in Echtzeit ist ein wichtiges Glied bei der Erledigung komplexer Aufgaben.

Um dieses Problem zu lösen, entwickelte das Team einen aufgabengesteuerten aktiven Wahrnehmungsmechanismus und schlug Multisensor-Fusion-Algorithmen für die Suche in geringer Höhe, dynamische Hindernisvermeidung und visuelle Positionierungsalgorithmen vor.

Im eigentlichen Aufgabenausführungsprozess basierend auf dem Wahrnehmungsinformationen und Aufgabenziel können wir die Flugbahn und Beobachtungshaltung der Drohne dynamisch anpassen. Wir können versuchen, die umgebende Welt aus verschiedenen Blickwinkeln und Positionen wahrzunehmen und die Unsicherheit in der Umgebung schrittweise zu reduzieren, um eine effiziente Informationserfassung und Aufgabenausführung zu erreichen Kollaborative Kontrolle eines heterogenen UAV-SchwarmsDer Schwerpunkt der Forschung liegt auf der Erforschung der Form zusammengesetzter Agenten, um ihre Fähigkeit zur Bewältigung komplexer Aufgaben zu verbessern. Im Zeitalter großer Modelle ist dies ein Schlüsselbereich für neue intelligente Agenten

Um dieses Problem zu lösen, nutzte das Forschungs- und Entwicklungsteam die Drohnenplattform, um Endeffektoren wie Greifer zu entwickeln und traditionelle Drohnen zu „fliegenden Robotern“ aufzurüsten es ist die Fähigkeit zu ergreifen Gleichzeitig wurde auch ein kollaborativer Steuerungsmechanismus für heterogene UAV-Cluster eingerichtet, und in Kombination mit dem Feedback zur Umgebungswahrnehmung wird der Flugstatus der UAV-Formation in Echtzeit angepasst, sodass der Cluster die Arbeit aufteilen kann und kooperieren, um regionale Such- und Zielaufgaben wie Positionierung und Crawling durchzuführen

Das Team versuchte erfolgreich, das dreidimensionale Interaktionsmodell der biologischen Intelligenz „Thinking Computing – Entity Control – Environment Perception“ auf autonome Agenten anzuwenden und so einen großen autonomen Drohnencluster zu bilden. Diese Art von Cluster nutzt groß angelegte Sprachmodelle, Drohnenplattformen und eine Vielzahl von Sensoren, um Konversationsinteraktion, aktive Wahrnehmung und autonome Steuerung zu erreichen. Diese Technologie ist von großer Bedeutung für den Einsatz in Sicherheitsszenarien vor Ort wie Sicherheitsinspektionen, Katastrophenrettung und Luftlogistik.

Referenzen: Li Xuelong, Vicinagearth security, Communications of the China Computer Society, 18(11), 44- 52, 2022

Das obige ist der detaillierte Inhalt vonNPU führt ein innovatives UAV-Steuerungs-Framework ein: Ermöglicht Interaktion im Gruppenchat-Stil, aktive Wahrnehmung der Umgebung und autonome Steuerung von UAVs. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!