大模型與具身智慧的火花，ICML 2024 MFM-EAI Workshop徵稿與挑戰賽啟動

Workshop 首頁： https://icml-mfm-eai.github.io/

概述

近年來，多模態基礎模型（多維素基礎模型（E.D.L. 3、GPT-4V、Gemini 和Sora，已成為人工智慧領域最引人注目且發展迅速的領域之一。同時，MFM 的開源社群也湧現了諸如 LLaVA、LAMM、MiniGPT-4、Stable Diffusion 和 OpenSora 等代表性的開源專案。

不同於傳統電腦視覺和自然語言處理模型，這類 MFM 正在積極探索通用問題解決方案。透過引入 MFM，具身智慧（EAI）能夠在模擬器和現實世界環境中更好地處理各種複雜任務。然而，在 MFM 和 EAI 的交叉領域，仍有許多尚未探討和解決的問題，包括智能體長期決策、智能體運動規劃、新環境泛化能力等。

本次Workshop 將致力於探討幾個關鍵問題，包括但不限於：

1. MFM 的泛化能力；
2. 用於具身智能的MFM；
3. 基於生成模型的世界模型；
學習數據收集。

Workshop 徵稿

此 workshop 聚焦於多模態基礎模型（MFM）、具身智能（EAI）以及兩項研究的交叉領域。本次徵稿主題包含但不限於：

Training and evaluation of MFM in open-ended scenarios
• Data collection for training embodied Agents
• agents empowered by MFM
• Decision-making and low-level control in embodied agents empowered by MFM
• Evaluation of the capability of embodied agentsworldpowersed
• 投稿規則
• 本次投稿將透過OpenReview 平台實施雙盲審稿。投稿的正文篇幅為 4 頁，參考文獻及補充資料篇幅不限。

投稿格式和範本遵循ICML 2024 投稿指南：https://icml.cc/Conferences/2024/CallForPapers

投稿入口：https://openreview.net/group?id=ICML.cc/2024/hop /MFM-EAI

• 時間節點
• 所有時間節點均為[AoE] (Anywhere on Earth)。

MFM-EAI 挑戰賽

三個賽道（可同時參與）

EgoPlan 挑戰人類日常活動所涉及的真實任務的規劃能力。模型需要依據任務目標描述、第一人稱視角影片和當前環境觀察，選擇合理的動作推進任務完成。

比賽官網：https://chenyi99.github.io/ego_plan_challenge/
1. 報名方式：填入[Google 表單](https://docs.io/ego_plan_challenge/
報名方式：填入[Google 表單](https://docs.io/ego_plan_challenge/

報名方式：填入[Google 表單](https://docs.io.com/forms/d/e/1FAIpQLScnWoXjZcwadzwjm =sf_link)

報名時間：即日起- 2024 年7 月1 日
• 獎項設定：
• 冠軍：800 美元

• 亞軍：600 美元

  Composable Generalization Agent 挑戰
  • Composable Generalization 挑戰旨在評估規劃-執行組合系統在開放情境下的任務能力和泛化能力。模型根據語言任務描述和多模態視覺輸入進行任務拆解，控制器執行拆解後子任務。
  • 更詳細資訊將於 7 月公佈

2. World Model 挑戰

World Model 挑戰旨在評估世界模擬器在具身智慧場景中的應用表現。模型根據具身任務描述和即時場景觀測生成符合任務指令的視頻，評估視頻生成品質和指導 agent 完成任務的能力。

更詳細資訊將於 7 月公佈

委員會成員
Workshop 組織者

指導方式

以上是大模型與具身智慧的火花，ICML 2024 MFM-EAI Workshop徵稿與挑戰賽啟動的詳細內容。更多資訊請關注PHP中文網其他相關文章！