Der Funke großer Modelle und verkörperter Intelligenz, Aufruf zur Einreichung von Beiträgen und Herausforderungen für den ICML 2024 MFM-EAI-Workshop gestartet

Workshop-Homepage: https://icml-mfm-eai.github.io/

Übersicht

In den letzten Jahren wurden multimodale Basismodelle (MFM), wie CLIP, ImageBind, DALL・E 3. GPT-4V, Gemini und Sora haben sich zu einem der auffälligsten und sich am schnellsten entwickelnden Bereiche im Bereich der künstlichen Intelligenz entwickelt. Gleichzeitig ist auch die MFM-Open-Source-Community mit repräsentativen Open-Source-Projekten wie LLaVA, LAMM, MiniGPT-4, Stable Diffusion und OpenSora entstanden.

Im Gegensatz zu herkömmlichen Computer-Vision- und Natural-Language-Processing-Modellen erforscht diese Art von MFM aktiv allgemeine Problemlösungen. Durch die Einführung von MFM kann Embodied Intelligence (EAI) verschiedene komplexe Aufgaben in Simulatoren und realen Umgebungen besser bewältigen. Es gibt jedoch immer noch viele Probleme, die im Schnittpunkt von MFM und EAI noch nicht untersucht und gelöst wurden, einschließlich der langfristigen Entscheidungsfindung des Agenten, der Bewegungsplanung des Agenten, der Fähigkeiten zur Generalisierung neuer Umgebungen usw.

Dieser Workshop widmet sich der Erforschung verschiedener Schlüsselthemen, einschließlich, aber nicht beschränkt auf:

1. Verallgemeinerungsfähigkeit von MFM;
2. Weltmodell basierend auf generativen Modellen;
4. Workshop Call for Papers

Dieser Workshop konzentriert sich auf das multimodale Basismodell (MFM), die verkörperte Intelligenz (EAI) und die Schnittstelle der beiden Studien. Zu den Themen dieser Aufforderung zur Einreichung von Beiträgen gehören unter anderem:

Training und Evaluierung von MFM in Szenarien mit offenem Ende

Datenerfassung für das Training verkörperter Agenten

• Framework-Designs für MFM-gestützte verkörperte Agenten
• Wahrnehmung und Hoch- Ebenenplanung in verkörperten Agenten, unterstützt durch MFM
• Entscheidungsfindung und Low-Level-Kontrolle in verkörperten Agenten, unterstützt durch MFM
• Bewertung der Fähigkeiten verkörperter Agenten
• Generatives Modell als Weltsimulator
• Einschränkungen von MFM bei der Stärkung von EAI
• Einreichungsregeln

Diese Einreichung unterliegt einer doppelten Blindprüfung über die OpenReview-Plattform. Die Länge des Haupttextes der Einreichung beträgt 4 Seiten, die Länge der Referenzen und ergänzenden Materialien ist unbegrenzt.

Das Einreichungsformat und die Vorlage folgen den ICML 2024-Einreichungsrichtlinien: https://icml.cc/Conferences/2024/CallForPapers

Zugang zur Einreichung: https://openreview.net/group?id=ICML.cc/2024 /Workshop /MFM-EAI

• Zeitknoten

Alle Zeitknoten sind [AoE] (Anywhere on Earth).

MFM-EAI Challenge

Drei Strecken (gleichzeitige Teilnahme möglich)

EgoPlan Challenge

1. EgoPlan Challenge wurde entwickelt, um multimodale große Modelle in realen Szenarien zu bewerten. Targeting Die Fähigkeit, reale Aufgaben im Zusammenhang mit alltäglichen menschlichen Aktivitäten zu planen. Das Modell muss auf der Grundlage der Beschreibung des Aufgabenziels, des Videos aus der Ich-Perspektive und der aktuellen Umgebungsbeobachtung angemessene Maßnahmen zur Erledigung der Aufgabe auswählen.

offizielle Website des Wettbewerbs: https://chenyi99.github.io/ego_plan_challenge/

registration Methode: Füllform [Google Form] (https://docs.google.com/forms/d/e/1faipqlscnwoxjzcwaagnp3jxxxxx3R2TGXBQWAGWAGNEZWAGNZWAGNZWAGNZWAGWAGWAGWAGWAGWAGWAGWAGWAGWAGWAGWAGWAGNZWAGWAGWAGWAGWAGWAGNZWAGWAGWAGNEXXWALLEx /viewform? usp =sf_link)

• Anmeldezeit: ab sofort – 1. Juli 2024
• Preiseinstellungen:
• Gewinner: 800 $
  Zweitplatzierter: 600 $
  • Innovationspreis: 600 $
Composable Generalization Agent Challenge

2. Die Composable Generalization Challenge zielt darauf ab, die Aufgabenfähigkeiten und Generalisierungsfähigkeiten des kombinierten Planungs- und Ausführungssystems in offenen Szenarien zu bewerten. Das Modell führt die Aufgabenzerlegung basierend auf der Sprachaufgabenbeschreibung und der multimodalen visuellen Eingabe durch, und der Controller führt die zerlegten Teilaufgaben aus.

Weitere Details werden im Juli bekannt gegeben

• World Model Challenge

3. Die World Model Challenge zielt darauf ab, die Anwendungsleistung von Weltsimulatoren in verkörperten Intelligenzszenarien zu bewerten. Das Modell generiert Videos, die den Aufgabenanweisungen entsprechen, basierend auf verkörperten Aufgabenbeschreibungen und Echtzeit-Szenenbeobachtungen, und bewertet die Qualität der Videogenerierung und die Fähigkeit, den Agenten bei der Erledigung von Aufgaben anzuleiten.

Weitere Einzelheiten werden im Juli bekannt gegeben

Das obige ist der detaillierte Inhalt vonDer Funke großer Modelle und verkörperter Intelligenz, Aufruf zur Einreichung von Beiträgen und Herausforderungen für den ICML 2024 MFM-EAI-Workshop gestartet. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!