GPT4教机器人盘转笔，那叫一个丝滑！

最近，那个启发了数学家陶哲轩的GPT-4，在聊天中又开始教机器人如何转笔了

项目叫Agent Eureka，是由英伟达、宾州大学、加州理工学院和得克萨斯大学奥斯汀分校联手研发的。他们的研究结合了 GPT-4 结构的能力和强化学习的优势，让 Eureka 能设计出精妙的奖励函数。

GPT-4 的编程能力赋予 Eureka 强大的奖励函数设计技巧。这意味着，在大部分任务中，Eureka 自己设计的奖励方案，甚至比人类专家更出色。这让它能完成一些人类难以完成的任务，包括转笔、打开抽屉，盘核桃，甚至更复杂的任务，如抛接球，操作剪刀等等。

图片

图片

虽然目前这些都是在模拟环境中完成的，但这已经非常厉害了。

项目已经开源，项目地址和论文地址已经放在文末

简单总结下论文的核心要点。

论文探讨了如何使用大型语言模型（LLM）来设计并优化机器学习中的奖励函数。这是一个重要的课题，因为设计好的奖励函数可以大大提高机器学习模型的性能，但是设计这样的函数是非常困难的。

研究人员提出了一种名为EUREKA的新算法。EUREKA采用LLM来生成和改进奖励函数。在测试中，EUREKA在29种不同的强化学习环境中达到了人类级别的性能，并在83%的任务中超越了人类专家设计的奖励函数

EUREKA成功解决了一些以前无法通过人工设计奖励函数解决的复杂操作任务，例如模拟「Shadow Hand」手部快速转笔的操作

此外，EUREKA 提供了一种全新的方法，能够根据人类的反馈来生成更加有效、更符合人类期望的奖励函数

EUREKA 的工作方式包括三个主要步骤：

将环境作为上下文：EUREKA 使用环境的源代码作为上下文，以生成可执行的奖励函数

2. 进化搜索：EUREKA 通过进化搜索的方式，不断提出和改进奖励函数

3. 奖励反思：EUREKA 根据策略训练的统计数据生成奖励质量的文本总结，从而自动和有针对性地改进奖励函数。 3. 奖励反思：EUREKA 根据策略训练的统计数据生成奖励质量的文本总结，以便自动且有针对性地改进奖励函数

这项研究可能会对强化学习和奖励函数设计领域产生深远影响，因为它提供了一种新的、有效的方法来自动生成和改进奖励函数，而且这种方法的性能在许多情况下超过了人类专家。

项目地址：https://www.php.cn/link/e6b738eca0e6792ba8a9cbcba6c1881d

论文链接：https://www.php.cn/link/ce128c3e8f0c0ae4b3e843dc7cbab0f7

以上是GPT4教机器人盘转笔，那叫一个丝滑！的详细内容。更多信息请关注PHP中文网其他相关文章！