Cetusan model besar dan kecerdasan yang terkandung, ICML 2024 MFM-EAI Workshop meminta kertas kerja dan cabaran dilancarkan

. 3. GPT-4V, Gemini dan Sora telah menjadi salah satu bidang yang paling menarik perhatian dan pesat membangun dalam bidang kecerdasan buatan. Pada masa yang sama, komuniti sumber terbuka MFM juga telah muncul dengan projek sumber terbuka yang mewakili seperti LLaVA, LAMM, MiniGPT-4, Stable Diffusion dan OpenSora.

Berbeza daripada penglihatan komputer tradisional dan model pemprosesan bahasa semula jadi, MFM jenis ini sedang meneroka secara aktif penyelesaian masalah umum. Dengan memperkenalkan MFM, Embodied Intelligence (EAI) boleh mengendalikan pelbagai tugas kompleks dengan lebih baik dalam simulator dan persekitaran dunia sebenar. Walau bagaimanapun, masih terdapat banyak isu yang masih belum diterokai dan diselesaikan di persimpangan MFM dan EAI, termasuk pembuatan keputusan jangka panjang ejen, perancangan gerakan ejen, keupayaan generalisasi persekitaran baharu, dsb.

Bengkel ini akan didedikasikan untuk meneroka beberapa isu utama, termasuk tetapi tidak terhad kepada: Keupayaan generalisasi MFM;

Workshop Call for Papers

Bengkel ini memfokuskan kepada Multimodal Basic Model (MFM), Embodied Intelligence (EAI) dan persimpangan kedua-dua kajian. Topik panggilan untuk kertas kerja ini termasuk tetapi tidak terhad kepada:

Latihan dan penilaian MFM dalam senario terbuka

1. Pengumpulan data untuk melatih Ejen yang terkandung
2. Reka bentuk rangka kerja untuk ejen yang diwujudkan berkuasa MFM
dan
3. perancangan tahap dalam ejen termaktub yang diperkasakan oleh MFM
4. Membuat keputusan dan kawalan peringkat rendah dalam ejen termaktub yang diperkasakan oleh MFM

Penilaian keupayaan ejen termaktub

Model generatif sebagai simulator dunia

Pemerkasaan MFM

Keterbatasan MFM

• Peraturan penyerahan
• Serahan ini akan tertakluk kepada semakan dua buta melalui platform OpenReview. Panjang teks utama penyerahan ialah 4 muka surat, dan tiada had pada panjang rujukan dan bahan tambahan.
• Format dan templat penyerahan mengikut garis panduan penyerahan ICML 2024: https://icml.cc/Conferences/2024/CallForPapers
• Kemasukan penyerahan: https://openreview.net/group?id=ICML.cc/2024 /Workshop /MFM-EAI
• Nod masa
• Semua nod masa ialah [AoE] (Di mana-mana sahaja di Bumi).

mfm-ai cabaran

Reree Tracks (boleh mengambil bahagian pada masa yang sama)

egoplan cabaran

egoplan cabaran direka untuk menilai model besar berbilang modal dalam senario dunia nyata, mensasarkan Keupayaan untuk merancang tugas dunia sebenar yang terlibat dalam aktiviti harian manusia. Model perlu memilih tindakan yang munasabah untuk menyelesaikan tugasan berdasarkan penerangan matlamat tugasan, video perspektif orang pertama dan pemerhatian persekitaran semasa.

Laman web rasmi pertandingan: https://chenyi99.github.io/ego_plan_challenge/

Kaedah pendaftaran: Isi [Borang Google](https://docs.google.com/forms/d/e/1FAIpQLScnWoXjPZcwaanz fdnpQw /viewform? usp =sf_link)Masa pendaftaran: mulai sekarang - 1 Julai 2024

Tetapan hadiah:

1. Pemenang: $800Naib Juara: $600

• Cabaran Ejen Generalisasi Tersusun
• Cabaran Generalisasi Tersusun bertujuan untuk menilai keupayaan tugas dan keupayaan generalisasi sistem gabungan perancangan-pelaksanaan dalam senario terbuka. Model melakukan penguraian tugas berdasarkan perihalan tugas bahasa dan input visual berbilang modal, dan pengawal melaksanakan subtugas yang terurai.

• Maklumat lanjut akan diumumkan pada bulan Julai

  • World Model Challenge
  World Model Challenge bertujuan untuk menilai prestasi aplikasi simulator dunia dalam senario kecerdasan yang terkandung. Model ini menjana video yang mematuhi arahan tugas berdasarkan perihalan tugas yang terkandung dan pemerhatian adegan masa nyata, dan menilai kualiti penjanaan video dan keupayaan untuk membimbing ejen menyelesaikan tugasan.

Maklumat lanjut akan diumumkan pada bulan Julai
Ahli Jawatankuasa

Penganjur Bengkel

Jawatankuasa Pemandu
3. soalan berkaitan Bengkel ilmcom

Atas ialah kandungan terperinci Cetusan model besar dan kecerdasan yang terkandung, ICML 2024 MFM-EAI Workshop meminta kertas kerja dan cabaran dilancarkan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!