Mit der rasanten Entwicklung der künstlichen Intelligenz und der Robotiktechnologie ist die Bedeutung der funktionalen Manipulation in der Robotik immer wichtiger geworden. Herkömmliche Benchmark-Tests können den aktuellen Anforderungen von Robotern an komplexe Manipulationsaufgaben nicht mehr gerecht werden und erfordern die Entstehung neuer Manipulations-Benchmarks (Functional Manipulation Benchmarks). Bei der Robotermanipulation stehen vor allem zwei Herausforderungen im Vordergrund: wie der Roboter komplexe Kontaktdynamiken intelligent bewältigt und wie er mit der Vielfalt von Umgebungen und Objekten umgeht. Als Antwort auf diese Herausforderungen gilt die Roboterlerntechnologie als Schlüssellösung. Daher benötigt das Fachgebiet einen umfassenden und zugänglichen Rahmen, der anspruchsvolle reale Aufgaben, hochwertige Daten, leicht reproduzierbare Einstellungen und relevante Methoden bereitstellt, die Basisergebnisse integrieren. Auf der Grundlage dieses Rahmens können Forscher Experimente zu vorgeschlagenen Aufgaben durchführen Tiefenanalyse. Das Forschungsteam des Robotics Intelligent Laboratory (RAIL) an der University of California, Berkeley, hat wie oben erwähnt einen realen Benchmark namens FMB (Functional Manipulation Benchmark for Generalizable Robotic Learning) vorgeschlagen. ?? : ein funktionaler Manipulations-Benchmark für generalisierbares Roboterlernen
Homepage des Co-Erstautors: https://people.eecs.berkeley.edu/~jianlanluo/
-
https://charlesxu0124.github.io/
-
- FMB hat die folgenden Eigenschaften:
- Innovatives Design: 3D-Drucktechnologie wird zur Herstellung von Objekten verwendet, um die Generalisierungsfähigkeit des Roboters zu testen. Diese Methode ist auch für andere Forscher einfach zu reproduzieren.
Verschiedene Aufgaben: einschließlich mehrstufiger Manipulationsaufgaben für einzelne Objekte und mehrere Objekte, die echte Herausforderungen in alltäglichen Umgebungen simulieren.
Große Datensätze: Durch eine große Anzahl menschlicher Demonstrationen wird dem Roboter ein reichhaltiger Datensatz zur Verfügung gestellt. Imitation Learning Baseline: Mithilfe modernster Methoden des maschinellen Lernens werden Basisergebnisse und modulare Komponenten zur Nutzung durch andere Forscher bereitgestellt.
-
Objekte und Aufgaben
- Aufgaben in FMB werden grob in zwei Kategorien unterteilt: mehrstufige Manipulationsaufgaben für einzelne Objekte und mehrstufige Manipulationsaufgaben für mehrere Objekte. Diese Aufgaben dienen dazu, die grundlegenden Fähigkeiten des Roboters wie Greifen, Neupositionieren und Zusammenbauen zu testen, die für die Erledigung der gesamten Aufgabe erforderlich sind. Die Aufgaben in FMB erfordern, dass der Roboter nicht nur eine einzelne Steuerungsfähigkeit ausführt, sondern dass der Roboter diese Fähigkeiten auch kombiniert, um komplexere, mehrstufige Aufgaben auszuführen.
Das Aufgabendesign von FMB ist flexibel und veränderbar. Forscher können sich bei Bedarf auf eine einzelne Fähigkeit konzentrieren und die Steuerungsfähigkeit des Roboters eingehend untersuchen, oder sie können komplette mehrstufige Aufgaben untersuchen, die eine lange Ausführung des Roboters erfordern -Terminplanung und die Fähigkeit, sich von Fehlern zu erholen. Bei komplexeren mehrstufigen Aufgaben muss der Roboter komplexe Entscheidungen in Echtzeit treffen, da es sich dabei um die Auswahl geeigneter Objekte und Überlegungen zur Reihenfolge ihrer Manipulation handelt.
Im Prozess des Roboterlernens ist die Rolle von Daten nicht zu unterschätzen. Um es Robotern zu ermöglichen, komplexe Aufgaben besser zu verstehen und zu meistern, sammelte das Forschungsteam einen groß angelegten Datensatz zur Demonstration menschlicher Experten, der die oben genannten Aufgaben abdeckt und mehr als 20.000 Betriebstrajektorien enthält. Zur Aufzeichnung dieser Demonstrationsdaten nutzte das Forschungsteam vier verschiedene Kameras, von denen zwei am Handgelenk des Roboters montiert waren und zwei eine globale Perspektive ermöglichten. Diese Kameras erfassen Daten wie RGB-Farbbildinformationen, Tiefeninformationen und mehr, die für das Erlernen des Roboters beim Lösen von Aufgaben von entscheidender Bedeutung sind. Darüber hinaus erfasst der Datensatz auch die Kraft-/Drehmomentinformationen des Endeffektors des Roboters, was für Aufgaben wie die Montage, die den Kontakt mit einer großen Anzahl von Objekten erfordern, sehr wichtig ist. Durch diese reichhaltigen Daten können Roboter jedes Detail der Aufgabe genau verstehen und menschliche Bedienfähigkeiten genauer nachahmen. Gerade aufgrund der Tiefe und Breite der Daten bietet es eine solide Grundlage für das Roboterlernen. Dadurch können Roboter bei der Ausführung komplexer Aufgaben menschlicher und geschickter auf Aufgaben reagieren. 
Imitation Learning Baseline
Architekturdiagramm der Basisstrategie. Beide Modelle, die auf Transformer und ResNet basieren, verwenden einen ResNet-Encoder mit gemeinsamen Gewichten, um jede Bildansicht zu kodieren, und kombinieren ihn dann mit propriozeptiven Informationen und optionalen Objekt- und entsprechenden Kodierungsfunktionen für Roboterfähigkeiten, um Aktionen mit 7 Grad vorherzusagen der Freiheit. Der experimentelle Teil von FMB führt eine Reihe von Tests zur Leistung nachgeahmter Lernsysteme durch, vergleicht verschiedene Lernmethoden und untersucht die Auswirkungen verschiedener Eingabemodi und Designentscheidungen. Experimente ergaben, dass die Verwendung von Tiefeninformationen dazu beiträgt, die Wirksamkeit von Greifstrategien zu verbessern, und dass Kraft-/Drehmomentinformationen für Montageaufgaben sehr wichtig sind. Bei mehrstufigen Aufgaben haben herkömmliche ResNet-, Transformer- und Diffusionsmethoden versagt, aber die in diesem Artikel vorgeschlagene hierarchische Steuerungsmethode zeigt Potenzial. 
Experimentelle Ergebnisse zeigen, dass die ResNet-Strategie, die Tiefeninformationen einbezieht, bei Crawling-Aufgaben durchweg eine bessere Leistung erbringt als die Strategie, die nur RGB-Informationen verwendet. Durch die Datenreduktionsstudie untersuchte das Forschungsteam die Auswirkungen unterschiedlicher Mengen an Trainingsdaten auf die Leistung der Crawling-Aufgabe. Die Ergebnisse zeigen, dass sich die Leistung der ResNet-Strategie, die Tiefeninformationen bei der Verarbeitung gesehener Objekte einbezieht, mit zunehmender Menge an Trainingsdaten verbessert. Bemerkenswerterweise zeigt diese Strategie eine ähnliche Leistung wie sichtbare Objekte für unsichtbare Objekte, was darauf hindeutet, dass die Vielfalt der Trainingsobjekte erheblich zur Generalisierungsfähigkeit des Roboters beiträgt. 
Bei Montageaufgaben wird die Bedeutung von Kraft-/Drehmomentinformationen bestätigt. Kraft-/Drehmomentinformationen sind sehr wichtig für die Strategie des Roboters, um festzustellen, ob das Objekt die Zieloberfläche berührt hat, und um Aktionen wie Suchen effektiv durchzuführen. 
Wenn die Richtlinie jedoch auf alle Objekte trainiert wird, ist der Roboter nicht immer in der Lage, die Montageaufgabe erfolgreich abzuschließen. Dies liegt daran, dass die Strategie zunächst bestimmen muss, in welches Loch das Objekt eingepasst werden soll, und dann die entsprechenden Aktionen generieren muss, was die Komplexität der Aufgabe erheblich erhöht. Um dieses Problem zu lösen, fügte das Forschungsteam der Strategie einen Mechanismus zur Objektauswahl hinzu, um die Strategie dabei zu unterstützen, die Form der Objekte zu bestimmen, die zusammengebaut werden müssen, und sich dabei auf die Generierung korrekter Montageaktionen zu konzentrieren. 
Das Framework von
FMB besteht aus zwei komplexen Aufgaben. Diese komplexen Aufgaben erfordern, dass Roboter genau wie Menschen mehrere Schritte hintereinander ausführen können. Die vorherige Methode bestand darin, den Roboter den gesamten Prozess erlernen zu lassen, diese Methode war jedoch anfällig für die Anhäufung von Fehlern aufgrund von Fehlern in einem einzelnen Link, was schließlich zum Scheitern der gesamten Aufgabe führte. Dieser Ansatz hat eine Erfolgsquote von 0/10 sowohl bei der Manipulation einzelner als auch mehrerer Objekte. Um das Problem der kumulativen Fehler anzugehen, hat das Forschungsteam eine hierarchische Kontrollstrategie eingeführt. Die hierarchische Strategie zerlegt die Aufgabe in mehrere kleine Teile. Jeder abgeschlossene Teil entspricht dem Übergeben eines Entscheidungspunkts. Auch wenn Fehler auftreten, können diese schnell korrigiert werden, um eine Beeinträchtigung nachfolgender Links zu vermeiden. Wenn es einem Roboter beispielsweise nicht gelingt, ein Objekt während eines Greifvorgangs sicher zu greifen, wird er es so lange versuchen, bis es ihm gelingt. Das Forschungsteam testete zwei hierarchische Methoden. Die erste Methode liefert einen effektiven Vektor, der den Aufgabentyp für eine einzelne Strategie angibt, während die zweite Methode verschiedene Strategien separat für jede Manipulationsfähigkeit trainiert, wobei beide die Anweisungen des Bedieners als Oberelement verwenden -Level-Strategie stellte das Forschungsteam beim Testen fest, dass beide Methoden gut funktionierten. Die Testergebnisse zeigen die Wirksamkeit des hierarchischen Ansatzes bei der Bewältigung komplexer Roboteraufgaben und liefern neue Forschungsrichtungen für zukünftige Forschungen. Wie im Bild oben gezeigt, kann der Roboter nach dem Lernen Funktionen autonom steuern. 
Im Allgemeinen demonstrieren die oben genannten Experimente die technologische Innovation des Forschungsteams im Bereich des Roboterlernens und bestätigen auch, dass FMB ein geeigneter Maßstab für die Entwicklung fortschrittlicher Roboterlernmethoden ist. Das Forschungsteam freut sich auf zukünftige Forschungen, die die Grenzen des auf FMB basierenden Roboterlernens weiter verschieben können. Das obige ist der detaillierte Inhalt vonBerkeley ist ein hochwertiger Open-Source-Benchmark für die Robotersteuerung in großem Maßstab, der es nicht mehr schwierig macht, komplexe autonome Steuerungsaufgaben zu bewältigen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
