Lernen Sie, eine Leiterplatte in 20 Minuten zusammenzubauen! Das Open-Source-SERL-Framework weist eine Erfolgsquote bei der Präzisionskontrolle von 100 % auf und ist dreimal schneller als Menschen

Jetzt hat der Roboter präzise Aufgaben zur Fabriksteuerung gelernt.

In den letzten Jahren wurden erhebliche Fortschritte auf dem Gebiet der Roboter-Lerntechnologie erzielt, wie zum Beispiel Vierfüßlergang, Greifen, geschickte Manipulation usw., aber die meisten davon beschränken sich auf die Labordemonstration Bühne. Die umfassende Anwendung der Robotic Reinforcement Learning-Technologie in tatsächlichen Produktionsumgebungen steht noch vor vielen Herausforderungen, was ihren Anwendungsbereich in realen Szenarien bis zu einem gewissen Grad einschränkt. Im Prozess der praktischen Anwendung der Reinforcement-Learning-Technologie ist es notwendig, mehrere komplexe Probleme zu überwinden, darunter die Einstellung des Belohnungsmechanismus, das Zurücksetzen der Umgebung, die Verbesserung der Probeneffizienz und die Gewährleistung der Aktionssicherheit. Branchenexperten betonen, dass die Lösung der vielen Probleme bei der tatsächlichen Implementierung der Reinforcement-Learning-Technologie ebenso wichtig ist wie die kontinuierliche Innovation des Algorithmus selbst.

Angesichts dieser Herausforderung haben Wissenschaftler der University of California, Berkeley, der Stanford University, der University of Washington und Google gemeinsam ein Open-Source-Software-Framework namens Efficient Robot Reinforcement Learning Suite (SERL) entwickelt, das sich der Förderung widmet Reinforcement-Learning-Technologie Wird häufig in praktischen Roboteranwendungen eingesetzt.

• Projekthomepage: https://serl-robot.github.io/
• Open-Source-Code: https://github.com/rail-berkeley/serl
• Papiertitel: SERL: A Software Suite für probeneffizientes robotergestütztes Reinforcement-Lernen

SERL-Framework umfasst hauptsächlich die folgenden Komponenten:

1. Effizientes Reinforcement-Lernen

Im Bereich des Reinforcement-Lernens werden intelligente Agenten (wie z Roboter) bestehen. Interagieren Sie mit der Umgebung, um zu lernen, wie man Aufgaben ausführt. Es erlernt eine Reihe von Strategien zur Maximierung kumulativer Belohnungen durch das Ausprobieren verschiedener Verhaltensweisen und das Erhalten von Belohnungssignalen basierend auf den Verhaltensergebnissen. SERL nutzt den RLPD-Algorithmus, um Roboter in die Lage zu versetzen, gleichzeitig aus Echtzeitinteraktionen und zuvor gesammelten Offline-Daten zu lernen, wodurch die Schulungszeit, die Roboter zum Erlernen neuer Fähigkeiten benötigen, erheblich verkürzt wird.

2. Verschiedene Belohnungsbereitstellungsmethoden

SERL bietet eine Vielzahl von Belohnungsbereitstellungsmethoden, sodass Entwickler die Belohnungsstruktur an die Anforderungen bestimmter Aufgaben anpassen können. Beispielsweise können bei Installationsaufgaben mit fester Position Belohnungen vorhanden sein, die auf die Position des Roboters zugeschnitten sind, und bei komplexeren Aufgaben können Klassifikatoren oder VICE verwendet werden, um einen genauen Belohnungsmechanismus zu erlernen. Diese Flexibilität hilft dabei, den Roboter präzise anzuleiten, damit er die effektivste Strategie für eine bestimmte Aufgabe erlernt.

3. Keine Reproduktionsfunktion

Traditionelle Roboter-Lernalgorithmen müssen die Umgebung für die nächste Runde des interaktiven Lernens regelmäßig zurücksetzen. Bei vielen Aufgaben kann dies nicht automatisch erledigt werden. Die von SERL bereitgestellte Funktion zum Lernen ohne Verstärkung trainiert beide Vorwärts-Rückwärts-Richtlinien gleichzeitig und sorgt für gegenseitige Umgebungs-Resets.

4. Robotersteuerungsschnittstelle

SERL bietet eine Reihe von Gym-Umgebungsschnittstellen für Franka-Manipulatoraufgaben als Standardbeispiele, sodass Benutzer SERL problemlos auf verschiedene Roboterarme erweitern können.

5. Impedanzregler

Um sicherzustellen, dass der Roboter komplexe physische Umgebungen sicher und genau erkunden und betreiben kann, bietet SERL einen speziellen Impedanzregler für den Franka-Roboterarm und gewährleistet gleichzeitig die Genauigkeit Gleichzeitig ist darauf zu achten, dass bei Kontakt mit Fremdkörpern kein übermäßiges Drehmoment entsteht.

Durch die Kombination dieser Technologien und Methoden verkürzt SERL die Trainingszeit erheblich und behält gleichzeitig eine hohe Erfolgsquote und Robustheit bei, sodass Roboter lernen können, komplexe Aufgaben in kurzer Zeit zu erledigen und effektiv in der realen Welt eingesetzt zu werden.

^{Abbildung 1, 2: Vergleich der Erfolgsquote und Anzahl der Schläge zwischen SERL und Verhaltensklonierungsmethoden in verschiedenen Aufgaben. Bei einer ähnlichen Datenmenge ist die Erfolgsrate von SERL um ein Vielfaches (bis zu 10-fach) höher als die von Klonen, und die Schlagrate ist mindestens doppelt so schnell.}

Anwendungsfälle

1. Montage von Leiterplattenkomponenten:

Die Montage perforierter Bauteile auf Leiterplatten ist eine häufige, aber anspruchsvolle Roboteraufgabe. Die Stifte elektronischer Bauteile lassen sich sehr leicht biegen und die Toleranz zwischen der Lochposition und dem Stift ist sehr gering, was eine präzise und schonende Montage des Roboters erfordert. Mit nur 21 Minuten autonomem Lernen ermöglichte SERL dem Roboter, eine Aufgabenerledigungsrate von 100 % zu erreichen. Selbst bei unbekannten Störungen wie der Position der Leiterplatte oder einer teilweise blockierten Sichtlinie kann der Roboter die Montagearbeiten stabil abschließen.

： Abbildung 3, 4, 5: Bei der Ausführung der Mission der Leiterplattenkomponente kann der Roboter mit den verschiedenen Störungen umgehen, die während der Trainingsphase nicht aufgetreten sind, und die Aufgabe reibungslos abschließen.

2. Kabelführung:

Beim Montageprozess vieler mechanischer und elektronischer Geräte müssen wir die Kabel genau entlang eines bestimmten Pfades installieren. Diese Aufgabe erfordert hohe Anforderungen an Genauigkeit und Anpassungsfähigkeit wurden gemacht. Da flexible Kabel während des Verkabelungsprozesses anfällig für Verformungen sind und der Verdrahtungsprozess verschiedenen Störungen ausgesetzt sein kann, wie z. Lernmethoden. SERL ist in der Lage, in nur 30 Minuten eine Erfolgsquote von 100 % zu erreichen. Auch wenn die Greiferposition eine andere als während des Trainings ist, ist der Roboter in der Lage, seine erlernten Fähigkeiten zu verallgemeinern und sich an neue Verkabelungsherausforderungen anzupassen, wodurch eine korrekte Ausführung der Verkabelungsaufgabe gewährleistet wird. ： Abbildung 6, 7, 8: Robotik kann das Kabel direkt durch den Clip führen, was sich vom Training während des Trainings unterscheidet, ohne dass eine weitere spezielle Schulung erforderlich ist.

3. Vorgänge zum Greifen und Platzieren von Gegenständen:

In der Lagerverwaltung oder im Einzelhandel müssen Roboter häufig Gegenstände von einem Ort zum anderen bewegen, was erfordert, dass der Roboter in der Lage ist, Gegenstände zu identifizieren und zu tragen bestimmte Artikel. Während des Trainingsprozesses des Verstärkungslernens ist es schwierig, unterbetätigte Objekte automatisch zurückzusetzen. Mithilfe der zurücksetzungsfreien Verstärkungslernfunktionen von SERL lernte der Roboter gleichzeitig zwei Richtlinien mit einer Erfolgsquote von 100/100 in 1 Stunde und 45 Minuten. Verwenden Sie die Vorwärtsstrategie, um die Objekte von Box A in Box B zu platzieren, und verwenden Sie dann die Rückwärtsstrategie, um die Objekte von Box B zurück in Box A zu platzieren.

^{Abbildungen 9, 10, 11: SERL trainierte zwei Sätze von Strategien, einen zum Tragen von Objekten von rechts nach links und einen zum Bewegen von Objekten von links zurück nach rechts. Der Roboter erreicht nicht nur eine Erfolgsquote von 100 % bei Trainingsobjekten, sondern kann auch intelligent mit Objekten umgehen, die er noch nie zuvor gesehen hat.}

Hauptautor

1. Jianlan Luo ist derzeit Postdoktorand am Department of Electronics and Computer Science der University of California, Berkeley am Berkeley Artificial Intelligence Center (BAIR) in Zusammenarbeit mit Professor Sergey Levine. Seine Forschungsschwerpunkte liegen im Bereich maschinelles Lernen, Robotik und optimale Steuerung. Bevor er an die Wissenschaft zurückkehrte, war er Vollzeitforscher bei Google X und arbeitete mit Professor Stefan Schaal zusammen. Zuvor erwarb er einen Master-Abschluss in Informatik und einen Ph.D. in Maschinenbau von der University of California, Berkeley. Während dieser Zeit arbeitete er bei Professor Alice Agogino und Professor Pieter Abbeel. Er war außerdem als Gastwissenschaftler am Londoner Hauptsitz von Deepmind tätig.

2. Zheyuan Hu

Er schloss sein Studium an der University of California, Berkeley, mit den Schwerpunkten Informatik und angewandte Mathematik ab. Derzeit forscht er im RAIL-Labor unter der Leitung von Professor Sergey Levine. Er hat ein starkes Interesse am Roboterlernen und konzentriert sich auf die Entwicklung von Methoden, die es Robotern ermöglichen, sich in der realen Welt schnell und umfassend geschickte Manipulationsfähigkeiten anzueignen.

3. Charles Derzeit forscht er im RAIL-Labor unter der Leitung von Professor Sergey Levine. Seine Forschungsinteressen liegen an der Schnittstelle zwischen Robotik und maschinellem Lernen und zielen darauf ab, autonome Steuerungssysteme zu entwickeln, die äußerst robust und generalisierbar sind.

4. You Liang Tan

Er ist Forschungsingenieur am Berkeley RAIL Laboratory unter der Leitung von Professor Sergey Levine. Zuvor erhielt er seinen Bachelor-Abschluss von der Nanyang Technological University in Singapur und schloss seinen Master-Abschluss am Georgia Institute of Technology in den USA ab. Zuvor war er Mitglied der Open Robotics Foundation. Seine Arbeit konzentriert sich auf reale Anwendungen von maschinellem Lernen und Robotik-Softwaretechnologien.

5. Stefan Schaal

Er promovierte 1991 in Maschinenbau und Künstlicher Intelligenz an der Technischen Universität München. Er ist Postdoktorand am Department of Brain and Cognitive Sciences und am Artificial Intelligence Laboratory des MIT, eingeladener Forscher am ATR Human Information Processing Research Laboratory in Japan und außerordentlicher Assistenzprofessor am Department of Kinesiology am Georgia Institute of Technology und Pennsylvania State University in den Vereinigten Staaten. Er war außerdem Leiter der Computerlerngruppe während des japanischen ERATO-Projekts, dem Jawa Kinetic Brain Project (ERATO/JST). 1997 wurde er Professor für Informatik, Neurowissenschaften und Biomedizintechnik an der USC und zum Professor auf Lebenszeit ernannt. Seine Forschungsinteressen umfassen Themen wie Statistik und maschinelles Lernen, neuronale Netze und künstliche Intelligenz, Computational Neuroscience, funktionelle Bildgebung des Gehirns, nichtlineare Dynamik, nichtlineare Kontrolltheorie, Robotik und biomimetische Roboter.

Er ist einer der Gründungsdirektoren des Max-Planck-Instituts für Intelligente Systeme in Deutschland, wo er viele Jahre lang die Abteilung Autonome Bewegung leitete. Derzeit ist er Chefwissenschaftler bei Intrinsic, der neuen Robotik-Tochtergesellschaft von Alphabet [Google]. Stefan Schaal ist IEEE Fellow.

6. Chelsea Finn

Sie ist Assistenzprofessorin für Informatik und Elektrotechnik an der Stanford University. Ihr Labor, IRIS, erforscht Intelligenz durch groß angelegte Roboterinteraktion und ist Teil von SAIL und der ML Group. Sie ist außerdem Mitglied des Google Brain-Teams. Sie interessiert sich für die Fähigkeit von Robotern und anderen intelligenten Agenten, durch Lernen und Interaktion ein breites Spektrum intelligenter Verhaltensweisen zu entwickeln. Zuvor absolvierte sie einen Doktortitel in Informatik an der University of California, Berkeley und einen Bachelor-Abschluss in Elektrotechnik und Informatik am Massachusetts Institute of Technology.

7. Abhishek Gupta

Er ist Assistenzprofessor an der Paul G. Allen School of Computer Science and Engineering der University of Washington, wo er das WEIRD Lab leitet. Zuvor war er Postdoktorand am MIT und arbeitete mit Russ Tedrake und Pulkit Agarwal zusammen. Er promovierte über maschinelles Lernen und Robotik am BAIR der UC Berkeley unter der Aufsicht der Professoren Sergey Levine und Pieter Abbeel. Zuvor absolvierte er auch seinen Bachelor an der University of California, Berkeley. Sein Hauptforschungsziel ist die Entwicklung von Algorithmen, die es Robotersystemen ermöglichen, zu lernen, komplexe Aufgaben in einer Vielzahl unstrukturierter Umgebungen wie Büros und Wohnungen auszuführen.

8. Sergey Levine

Er ist außerordentlicher Professor am Fachbereich Elektrotechnik und Informatik an der University of California, Berkeley. Seine Forschung konzentriert sich auf Algorithmen, die es autonomen Agenten ermöglichen, komplexe Verhaltensweisen zu erlernen, insbesondere auf allgemeine Methoden, die es jedem autonomen System ermöglichen, zu lernen, jede Aufgabe zu lösen. Anwendungen für diese Methoden umfassen die Robotik sowie eine Reihe anderer Bereiche, in denen autonome Entscheidungsfindung erforderlich ist.

Das obige ist der detaillierte Inhalt vonLernen Sie, eine Leiterplatte in 20 Minuten zusammenzubauen! Das Open-Source-SERL-Framework weist eine Erfolgsquote bei der Präzisionskontrolle von 100 % auf und ist dreimal schneller als Menschen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!