自2017年首次举办以来,CoRL已经成为了机器人学与机器学习交叉领域的全球顶级学术会议之一。CoRL是面向机器人学习研究的单一主题会议,涵盖了机器人学、机器学习和控制等多个主题,包括理论与应用
2023年的CoRL大会将于11月6日至9日在美国亚特兰大举行。根据官方数据透露,今年有来自25个国家的199篇论文入选CoRL。热门主题包括操作、强化学习等。虽然相较于AAAI、CVPR等大型AI学术会议,CoRL的规模较小,但随着今年大模型、具身智能、人形机器人等概念的热度上升,值得关注的相关研究也会在CoRL会议上呈现
目前,CoRL 2023 官方已公布最佳论文奖、最佳学生论文奖、最佳系统论文奖等奖项。接下来,我们将为大家介绍一下这些获奖论文。
研究概述:目前,图像模型中的自监督学习和语言监督学习已经融入了丰富的全球知识,这对于模型的泛化能力非常关键。然而,图像特征只包含了二维信息。我们了解到,在机器人任务中,对于真实世界中三维物体的几何形状有所了解是非常重要的
通过使用蒸馏特征场(Distilled Feature Field,DFF),该研究将精确的三维几何图形与来自二维基础模型的丰富语义结合起来,以使机器人能够利用二维基础模型中丰富的视觉和语言先验,从而完成基于语言指导的操作
具体来说,该研究提出了一种用于 6-DOF 抓取和放置的小样本学习方法,并利用强大的空间和语义先验泛化到未见过物体上。使用从视觉 - 语言模型 CLIP 中提取的特征,该研究提出了一种通过开放性的自然语言指令对新物体进行操作,并展示了这种方法泛化到未见过的表达和新型物体的能力。
这篇论文的两位共同一作是 CSAIL 「具身智能」团队的成员 William Shen 和杨歌,其中杨歌是 2023 年 CSAIL 具身智能研讨会的共同筹办人。
我了解到《机器之心》曾经详细介绍过这项研究,请查阅《大模型加持的机器人有多强,MIT CSAIL&IAIFI 用自然语言指导机器人抓取物体》
大型语言模型(LLM)是一种具有广泛应用前景的技术,在机器人领域尤其如此。然而,尽管LLM在逐步规划和常识推理方面表现出了巨大的潜力,但它也存在一些幻觉问题
基于此,该研究提出了一种新框架 ——KnowNo,用于度量和对齐基于 LLM 的规划器的不确定性。它能够使 LLM 意识到哪些信息是未知的,并在有需要时求助。
KnowNo是基于共形预测理论的,它提供了任务完成的统计保证,并能够最大程度地减少多步骤规划任务中的人工干预
该研究在各种模拟和真实机器人实验中,用各种模式的不确定任务(包括空间不确定性、数字不确定性等等)对 KnowNo 进行了测试。实验结果表明, KnowNo 在提高效率和自主性方面表现出色,优于基线,并且安全可信。KnowNo 能够在不进行模型微调的情况下直接用于 LLM,为模型的不确定性提供了一种有效的轻量级解决方法,并能够与基础模型不断增强的能力相辅相成。
论文简介:人类擅长制造和使用各种工具,但对于机器人而言,理解如何有效使用工具,并在相应的物体上完成操作仍然是一个很大的挑战。该研究构建了一个名为RoboCook的智能机器人系统,该系统能够通过各种工具感知、建模并操纵弹塑性物体(elasto-plastic object)
RoboCook 使用点云场景表征,利用图神经网络(GNN)对工具与物体的相互作用进行建模,并将工具分类与自监督策略学习相结合,以制定操作计划。
该研究表明,对于每个工具,仅需 20 分钟的现实世界交互数据,RoboCook 就能学会并操纵机械臂完成一些复杂的、长时程的弹塑性物体操作任务,例如制作饺子、字母饼干等。
据实验结果显示,RoboCook 的性能明显优于现有的 SOTA 方法,且在面对严重的外部干扰时仍能表现出稳定性,对不同材料的适应能力也更为出色
值得一提的是,这篇论文的共同一作分别是来自斯坦福大学的博士生 Haochen Shi、原斯坦福大学博士后研究员、现清华大学交叉信息科学研究所助理教授 Huazhe Xu,论文作者之一是姚班校友、斯坦福大学助理教授吴佳俊。
获奖论文入围名单已经公布
以上是华人团队斩获最佳论文、最佳系统论文奖项,CoRL研究成果获奖公布的详细内容。更多信息请关注PHP中文网其他相关文章!