首页  >  文章  >  科技周边  >  大模型与具身智能的火花,ICML 2024 MFM-EAI Workshop征稿和挑战赛启动

大模型与具身智能的火花,ICML 2024 MFM-EAI Workshop征稿和挑战赛启动

PHPz
PHPz原创
2024-07-15 11:57:57737浏览

大模型与具身智能的火花,ICML 2024 MFM-EAI Workshop征稿和挑战赛启动

Workshop 主页: https://icml-mfm-eai.github.io/

概述

近年来,多模态基础模型(MFM),例如 CLIP、ImageBind、DALL・E 3、GPT-4V、Gemini 和 Sora,已成为人工智能领域最引人注目且发展迅速的领域之一。同时,MFM 的开源社区也涌现出了诸如 LLaVA、LAMM、MiniGPT-4、Stable Diffusion 和 OpenSora 等具有代表性的开源项目。

不同于传统计算机视觉和自然语言处理模型,这类 MFM 正在积极探索通用问题解决方案。通过引入 MFM,具身智能(EAI)能够在模拟器和现实世界环境中更好地处理各种复杂任务。然而,在 MFM 和 EAI 的交叉领域,仍有许多尚未探讨和解决的问题,包括智能体长期决策、智能体运动规划、新环境泛化能力等。

本次 Workshop 将致力于探讨几个关键问题,包括但不限于:

  1. MFM 的泛化能力;
  2. 用于具身智能的 MFM;
  3. 基于生成模型的世界模型;
  4. 模仿学习数据收集。

Workshop 征稿

该 workshop 聚焦于多模态基础模型(MFM)、具身智能(EAI)以及两项研究的交叉领域。本次征稿主题包括但不限于:

  • Training and evaluation of MFM in open-ended scenarios
  • Data collection for training embodied Agents
  • Framework designs for MFM-powered embodied agents
  • Perception and high-level planning in embodied agents empowered by MFM
  • Decision-making and low-level control in embodied agents empowered by MFM
  • Evaluation of the capability of embodied agents
  • Generative model as world simulator
  • Limitations of MFM in empowering EAI

投稿规则

本次投稿将通过 OpenReview 平台实行双盲审稿。投稿的正文篇幅为 4 页,参考文献和补充材料篇幅不限。

  • 投稿格式和模板遵循 ICML 2024 投稿指南:https://icml.cc/Conferences/2024/CallForPapers
  • 投稿入口:https://openreview.net/group?id=ICML.cc/2024/Workshop/MFM-EAI

时间节点

所有时间节点均为 [AoE] (Anywhere on Earth)。

大模型与具身智能的火花,ICML 2024 MFM-EAI Workshop征稿和挑战赛启动

MFM-EAI 挑战赛

三个赛道(可同时参与)

  1. EgoPlan 挑战

EgoPlan 挑战旨在评估多模态大模型在现实世界场景中,针对人类日常活动所涉及的真实任务的规划能力。模型需要依据任务目标描述、第一人称视角视频和当前环境观察,选择合理的动作推进任务完成。

  • 比赛官网:https://chenyi99.github.io/ego_plan_challenge/
  • 报名方式:填写 [Google 表单](https://docs.google.com/forms/d/e/1FAIpQLScnWoXjZcwaagozP3jXnzdSEXX3r2tgXbqO6JWP_lr_fdnpQw/viewform?usp=sf_link)
  • 报名时间:即日起 - 2024 年 7 月 1 日
  • 奖项设置:

    • 冠军:800 美元
    • 亚军:600 美元
    • 创新奖:600 美元
  1. Composable Generalization Agent 挑战

Composable Generalization 挑战旨在评估规划-执行组合系统在开放场景下的任务能力和泛化能力。模型根据语言任务描述和多模态视觉输入进行任务拆解,控制器执行拆解后子任务。

  • 更详细信息将于 7 月公布
  1. World Model 挑战

World Model 挑战旨在评估世界模拟器在具身智能场景中的应用表现。模型根据具身任务描述和实时场景观测生成符合任务指令的视频,评估视频生成质量和指导 agent 完成任务的能力。

  • 更详细信息将于 7 月公布

委员会成员

Workshop 组织者

大模型与具身智能的火花,ICML 2024 MFM-EAI Workshop征稿和挑战赛启动

指导委员会

大模型与具身智能的火花,ICML 2024 MFM-EAI Workshop征稿和挑战赛启动

联系方式Workshop 相关问题icmlmfmeai@gmail.com

以上是大模型与具身智能的火花,ICML 2024 MFM-EAI Workshop征稿和挑战赛启动的详细内容。更多信息请关注PHP中文网其他相关文章!

声明:
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn