Klettern, Springen und das Überqueren enger Lücken – Open-Source-Lernstrategien zur Verstärkung ermöglichen es Roboterhunden, Parkour zu machen

Parkour ist eine Extremsportart. Es ist eine große Herausforderung für Roboter, insbesondere für vierbeinige Roboterhunde, die in komplexen Umgebungen schnell verschiedene Hindernisse überwinden müssen. Einige Studien haben versucht, Referenztierdaten oder komplexe Belohnungen zu verwenden, aber diese Ansätze erzeugen Parkour-Fähigkeiten, die entweder vielfältig, aber blind sind, oder visionsbasiert, aber szenenspezifisch. Beim autonomen Parkour müssen Roboter jedoch visionsbasierte und vielfältige allgemeine Fähigkeiten erlernen, um verschiedene Szenarien wahrzunehmen und schnell zu reagieren.

Kürzlich ging ein Video eines Roboterhunde-Parkours viral. Der Roboterhund im Video überwand in verschiedenen Szenarien schnell verschiedene Hindernisse. Wenn Sie beispielsweise durch die Lücke unter der Eisenplatte gehen, auf eine Holzkiste klettern und dann auf eine andere Holzkiste springen, sind eine Reihe von Bewegungen sanft und gleichmäßig:

Diese Bewegungsreihe zeigt dass der Roboterhund das Festhalten am Boden beherrscht: Krabbeln, Klettern und Springen. Außerdem verfügt er über eine besondere Fähigkeit: die Fähigkeit, sich schräg durch enge Lücken zu zwängen

Wenn der Roboterhund scheitert, Hindernisse überwinden und es noch ein paar Versuche dauern wird:

Dieser Inhalt wurde ins Chinesische umgeschrieben: Dieser Roboterhund basiert auf einem „Parkour“-Fähigkeitslernrahmen, der für kostengünstige Roboter entwickelt wurde. Das Rahmenwerk wurde gemeinsam von Forschern des Shanghai Qizhi Research Institute, der Stanford University, der ShanghaiTech University, der CMU und der Tsinghua University vorgeschlagen und sein Forschungspapier wurde für CoRL 2023 (mündlich) ausgewählt. Dieses Forschungsprojekt ist Open Source Methodeneinführung

Diese Forschung stellt ein neues Open-Source-System zum Erlernen durchgängiger visionsbasierter Parkour-Strategien vor, um mehrere Parkour-Fähigkeiten mithilfe einfacher Belohnungen ohne Referenzbewegungsdaten zu erlernen.

Konkret schlägt diese Forschung eine Methode des verstärkenden Lernens vor, die es Robotern ermöglichen soll, Fähigkeiten wie das Klettern auf hohe Hindernisse, das Springen über große Lücken, das Kriechen unter niedrigen Hindernissen, das Durchzwängen durch kleine Lücken und das Laufen zu erlernen und diese Fähigkeiten in Parkour zu übersetzen Strategien, die auf einer einzigen Vision basieren. Gleichzeitig werden diese Fähigkeiten mithilfe einer egozentrischen Tiefenkamera auf vierbeinige Roboter übertragen

Um die in dieser Studie vorgeschlagene Parkour-Strategie erfolgreich auf einem kostengünstigen Roboter einzusetzen, verwenden Sie einfach Onboard-Computing (Nvidia Jetson) und eine luftgestützte Tiefenkamera (Intel). Realsense) und Bordstromversorgung, ohne dass Bewegungserfassung, Lidar, mehrere Tiefenkameras und viele Berechnungen erforderlich sind

Um die Parkour-Strategie zu trainieren, führte die Studie die folgenden drei Phasen durch: Erste Stufe: Verstärkungslernen vor dem Training mit weichen dynamischen Einschränkungen. Diese Forschung verwendet automatische Kurse, damit der Roboter lernen kann, Hindernisse zu überwinden, und ermutigt den Roboter, schrittweise zu lernen, Hindernisse zu überwinden.

Die zweite Stufe: Feinabstimmung des Verstärkungslernens mit harten dynamischen Einschränkungen. Die Studie erzwingt in dieser Phase alle dynamischen Einschränkungen und nutzt realistische Dynamiken, um das in der Vortrainingsphase erlernte Verhalten des Roboters zu verfeinern.

Die dritte Stufe: Destillation. Nach dem Erlernen jeder einzelnen Parkour-Fähigkeit verwendet die Studie Dagger, um sie in eine visionsbasierte Parkour-Richtlinie (parametrisiert durch ein RNN) zu destillieren, die auf einem Beinroboter eingesetzt werden kann, der nur die Wahrnehmung und Berechnung an Bord nutzt.

Experimente und Ergebnisse

Im Training wurden in der Studie entsprechende Hindernisgrößen für jede Fertigkeit festgelegt, wie in Tabelle 1 unten gezeigt:

Die Studie umfasst umfangreiche und reale Simulationen -Life-Experimente wurden durchgeführt und die Ergebnisse zeigen, dass Parkour-Strategien es kostengünstigen Vierbeinerrobotern ermöglichen, autonom geeignete Parkour-Fähigkeiten auszuwählen und auszuführen, um sie nur mithilfe von Onboard-Computing, Onboard-Visual-Sensing und Onboard-Power durch anspruchsvolle Umgebungen in der offenen Welt zu durchqueren Erklimmen von Hindernissen bis zu 0,40 m (1,53-fache Roboterhöhe), Springen über große Lücken bis zu 0,60 m (1,5-fache Roboterlänge) und Springen über Hindernisse von nur 0,2 m (0,76-fache Roboterhöhe). Er kann unter Gegenständen kriechen und sich zusammendrücken durch eine schmale Lücke von 0,28 m (weniger als die Breite des Roboters) durch Kippen und kann weiter vorwärts rennen.

Darüber hinaus verglich die Studie die vorgeschlagene Methode auch mit mehreren Basismethoden und führte Ablationsexperimente in einer simulierten Umgebung durch. Die konkreten Ergebnisse sind in Tabelle 2 dargestellt:

Interessierte Leser können das Originalpapier lesen, um mehr über den Forschungsinhalt zu erfahren

Das obige ist der detaillierte Inhalt vonKlettern, Springen und das Überqueren enger Lücken – Open-Source-Lernstrategien zur Verstärkung ermöglichen es Roboterhunden, Parkour zu machen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!