攀爬、跳跃、过窄缝，开源强化学习策略让机器狗能跑酷了

跑酷是一项极限运动，对机器人特别是四足机器狗来说，更是一项巨大的挑战，需要在复杂的环境中快速克服各种障碍。一些研究尝试使用参考动物数据或复杂的奖励，但这些方法生成的「跑酷」技能要么多样但盲目，要么基于视觉但特定于场景。然而，自主跑酷需要机器人学习基于视觉且多样化的通用技能，以感知各种场景并迅速做出反应。

最近，一个机器狗跑酷的视频火了，视频中的机器狗在多种场景中迅速克服了各种障碍。例如，从铁板下方的缝隙穿过，爬上木箱，再跳到另一个木箱上，一连串动作行云流水：

这串动作说明机器狗已经掌握了贴地爬行、攀爬和跳跃三个基本技能

它还有一个特殊的技能：能够倾斜挤过狭窄的缝隙

如果机器狗未能克服障碍，它会多试几次：

该内容已经被重写成中文： 这款机器狗是基于一种为低成本机器人研发的「跑酷」技能学习框架。该框架由上海期智研究院、斯坦福大学、上海科技大学、CMU和清华大学的研究者联合提出，并且其研究论文已入选CoRL 2023（Oral）。该研究项目已经开源

论文地址：https://arxiv.org/abs/2309.05665

项目地址：https://github.com/ZiwenZhuang/parkour

方法简介

该研究推出了一种新的开源系统，用于学习基于视觉的端到端跑酷策略，以使用简单的奖励来学习多种跑酷技能，而无需任何参考运动数据。

具体来说，这项研究提出了一种强化学习方法，旨在让机器人学会攀爬高障碍、跳过大间隙、在低障碍下爬行、挤过狭小缝隙和跑步等技能，并将这些技能转化为基于单一视觉的跑酷策略。同时，通过使用以自我为中心的深度相机，将这些技能迁移到四足机器人上

为了在低成本机器人上成功部署该研究提出的跑酷策略，只需使用机载计算（Nvidia Jetson）、机载深度摄像头（Intel Realsense）和机载电源，而不需要动作捕捉、激光雷达、多个深度摄像头和大量计算

为了训练跑酷策略，该研究共进行了如下三个阶段的工作：

第一阶段：强化学习预训练，具备软动态约束。该研究采用自动课程让机器人学习穿越障碍物，鼓励机器人逐渐学会克服障碍

第二阶段：具有 hard 动态约束的强化学习微调。该研究在这个阶段强制执行所有动态约束，并用现实动态（realistic dynamics）微调机器人在预训练阶段学到的行为。

第三阶段：蒸馏。在学习了每个单独的跑酷技能后，该研究使用 DAgger 将它们蒸馏成一个基于视觉的跑酷策略（由 RNN 参数化），该策略可以仅使用机载感知和计算部署到腿式机器人上。

实验及结果

在训练中，该研究为每种技能设置了相应的障碍物尺寸，如下表 1 所示：

该研究进行了大量的模拟和现实实验，结果表明，跑酷策略使低成本四足机器人能够自主选择和执行适当的跑酷技能，仅使用机载计算、机载视觉传感和机载电源即可穿越开放世界中具有挑战性的环境，包括爬高 0.40m（1.53x 机器人高度）的障碍物，跳过 0.60m（1.5x 机器人长度）的大间隙，在 0.2m（0.76x 机器人高度）的低障碍物下爬行，通过倾斜挤过 0.28m 的细缝（小于机器人宽度），并且可以一直跑步前行。

此外，研究还对所提出的方法与几种基线方法进行了比较，并在模拟环境中进行了消融实验。具体结果如表2所示：

如有兴趣的读者可阅读原始论文，以深入了解更多研究内容

以上是攀爬、跳跃、过窄缝，开源强化学习策略让机器狗能跑酷了的详细内容。更多信息请关注PHP中文网其他相关文章！