Bergerak ke arah dunia digital AGI! Ejen telah mula bermain "Red Dead Redemption 2" dari awal

Kawalan Komputer Am

Revolusi maklumat telah menghasilkan dunia digital dunia digital menyediakan data untuk kelahiran model besar dan juga paling mudah untuk dilaksanakan Kecerdasan Umum. ).

Ke arah AGI dalam dunia digital, Institut Penyelidikan Kepintaran Buatan Beijing Zhiyuan, Universiti Teknologi Nanyang Singapura, dan Universiti Peking bersama-sama mencadangkan

Kawalan Komputer Am (GCC), iaitu, ejen pintar perlu melihat skrin seperti manusia , selesaikan semua tugasan pada komputer melalui papan kekunci dan tetikus. Sejak sekian lama, penyelidikan kecerdasan buatan adalah berdasarkan permainan, dan GCC akan menyediakan senario untuk penyelidikan kecerdasan buatan umum, dan akan menggalakkan lagi pelaksanaan dan perindustrian model besar dan Ejen AI.

Untuk tujuan ini, pasukan penyelidik mencadangkan

Cradle, rangka kerja ejen kawalan komputer sejagat, yang membolehkan ejen mengawal terus papan kekunci, tetikus dan sebarang interaksi perisian tanpa bergantung pada mana-mana API dalaman, sama ada sumber terbuka atau sumber tertutup, dan juga boleh memainkan "The Wilderness" Karya besar permainan AAA komersial seperti Red Dead Redemption 2!

Tajuk kertas: Ke Arah Kawalan Komputer Am: Ejen Multimodal untuk Red Dead Redemption II sebagai Kajian Kes
Pautan kertas: https://arxiv.org/abs/2403.0318603.0318 Halaman utama: https://baai-agents.github.io/Cradle/
Pautan kod: https://github.com/BAAI-Agents/Cradle
• Dengan pembangunan model besar , Semakin banyak penyelidikan tentang kecerdasan buatan (Agen AI) memfokuskan pada kawalan komputer, termasuk menyemak imbas web, mengendalikan telefon pintar, bermain permainan, dsb. Walau bagaimanapun, penyelidikan sedia ada bergantung pada API dalaman untuk mendapatkan input dan output tindakan pratakrif. Untuk membina
ejen universal

yang boleh menyelesaikan semua tugasan pada komputer, anda mesti menggunakan input dan output yang paling biasa dan standard untuk berinteraksi dengan komputer. Oleh itu, kawalan komputer universal menggunakan input dan output bersatu, menjadikan kesejagatan ejen mungkin.

Tetapi fleksibiliti membawa kesukaran operasi: (1) Menggunakan skrin komputer sebagai input meletakkan keperluan yang lebih tinggi pada keupayaan pemahaman video ejen Sebagai contoh, kerana tiada API dalaman, tindakan perlu dinilai melalui maklumat visual Sama ada pelaksanaan berjaya; (2) Menggunakan operasi papan kekunci dan tetikus sebagai output memerlukan ejen untuk memerlukan ketepatan operasi spatiotemporal yang lebih tinggi Contohnya, ketukan kekunci papan kekunci dan klik tetikus biasanya melibatkan dimensi masa tambahan. Bagaimana untuk menyelesaikan masalah sukar ini ialah cabaran membina Agen Kawalan Komputer Am (Agen GCC)

!

Cradle: Perisian yang mengawal segala-galanya

"Komputer merujuk kepada mana-mana peranti pengkomputeran berpusatkan pengguna, termasuk PC, telefon pintar, tablet, dll. Walaupun operasi Cradle memfokuskan pada papan kekunci dan tetikus. mudah untuk dipanjangkan untuk mengawal pemegang dan skrin sentuh, dsb."

Rangka kerja ejen dikawal komputer umum Cradle terutamanya terdiri daripada 6 modul: pengumpulan maklumat, refleksi kendiri, inferens tugas, pengurusan kemahiran, perancangan tindakan, dan modul memori. Tahap serba boleh Cradle yang tinggi datang daripada pengkapsulan munasabah dan pengabstrakan input dan output asal semasa interaksi dengan komputer. Ia mengambil video yang dipaparkan pada skrin sebagai input, mengekstrak teks dan maklumat visual untuk membuat keputusan, dan mengeluarkan isyarat kawalan papan kekunci dan tetikus dalam sistem pengendalian asas untuk berinteraksi dengan komputer, membolehkan ia berinteraksi dengan semua perisian tanpa bergantung atas sebarang andaian.

"Cradle terutamanya terdiri daripada 6 modul termasuk pengumpulan maklumat, muhasabah diri, inferens tugas, pengurusan kemahiran, perancangan tindakan dan modul ingatan. Penaakulan membuat keputusan yang kuat datang daripada "merefleksikan masa lalu, meringkaskan masa kini dan merancang untuk masa depan""

Pada masa yang sama, modul penaakulan membuat keputusan yang berkuasa Cradle membolehkannya berinteraksi secara spontan dengan perisian dan menyelesaikan tugasan secara ringkas Proses ini boleh diringkaskan sebagai: Renungkan masa lalu, ringkaskan masa kini , dan merancang untuk masa depan.

• Renungkan masa lalu
  : Gunakan video proses tindakan lepas sebagai input, ekstrak teks utama dan maklumat visual masing-masing, dan gunakan refleksi untuk menentukan sama ada tindakan sebelumnya berjaya dilaksanakan, sama ada tugasan telah selesai, dan bagaimana untuk menambah baik.
• Ringkasan sekarang
  : Selepas refleksi, ringkaskan keadaan semasa dan gunakan ini sebagai asas untuk memutuskan sama ada untuk menukar matlamat misi atau mengubah suai kandungan misi.
• Merancang untuk masa depan
  : Akhir sekali, jana atau kemas kini kemahiran berdasarkan tugasan semasa dan situasi semasa, dan dapatkan semula kemahiran yang berkaitan dengan tugas semasa daripada kemahiran yang dipelajari sebagai alternatif, dan kemudian pilih kemahiran yang sesuai daripadanya untuk dijadikan contoh. mereka sebagai tindakan untuk pelaksanaan.

Semasa membuat keputusan dan membuat pertimbangan, Cradle akan secara berkala merumuskan dan mengekalkan maklumat sejarah yang disimpan dalam ingatan kontekstual dan kemahiran yang disimpan dalam ingatan jangka panjang. Otak proses ini adalah model berbilang modal yang besar, seperti GPT-4V, tetapi Cradle menambah fungsi seperti ringkasan, refleksi dan ingatan kepadanya, membentuk rangka kerja ejen pintar yang lengkap untuk kawalan komputer am, menyelesaikan masalah kesejagatan dengan berkesan. masalah yang ditimbulkan.

Cradle: Membawa anda menerokai "Red Dead Redemption 2" dari awal

Untuk membuktikan kepelbagaian dan keupayaan membuat keputusan yang berkuasa bagi rangka kerja, kebanyakan pasukan penyelidik memilih untuk menggunakan kawasan yang sukar dan jarang diterokai Karya permainan AAA komersial "Red Dead Redemption 2". Mereka percaya bahawa sebagai perisian yang paling sukar untuk dikendalikan, jika Cradle boleh meneroka secara bebas dan juga melengkapkan jalan cerita utama pada permainan 3A, ia menunjukkan bahawa rangka kerja itu berpotensi besar untuk digeneralisasikan kepada permainan dan perisian lain.

"Tidak seperti permainan sumber terbuka seperti Minecraft, kebanyakan permainan komersil, terutamanya permainan 3A, tidak menyediakan antara muka API dalaman, menjadikan rangka kerja seperti Voyager yang bergantung pada API dalaman untuk mendapatkan input dan output tindakan pratakrif tidak dapat dipindahkan ke lain Dalam permainan"

Berdasarkan GPT-4V, Cradle boleh terus menjana kod boleh laku yang sepadan sebagai kemahiran berdasarkan gesaan dan tutorial dalam permainan, memperkaya perpustakaan kemahirannya langkah demi langkah dan menggunakannya semula dalam permainan seterusnya. kemahiran ini .

Selepas melakukan tindakan yang salah, Cradle boleh menemui dan membetulkan ralat dengan berkesan melalui refleksi.

Cradle bukan sahaja boleh mengikuti panduan permainan untuk menjana kemahiran yang sepadan dari awal dan melengkapkan jalan cerita utama selama 40 minit, tetapi juga boleh meneroka, menunggang kuda, memburu, melawan, bercakap dengan NPC, menggunakan prop, dan beroperasi dengan bebas. peta di dunia terbuka, malah membeli-belah kedai adalah mudah. Ini adalah robot pertama yang boleh bermain permainan AAA komersial untuk masa yang lama. Kod Cradle sumber terbuka boleh diperluaskan dengan mudah kepada perisian dan permainan lain. Pasukan penyelidik menyatakan bahawa untuk mencapai kawalan komputer sejagat yang sebenar, Cradle akan dialihkan kepada lebih banyak perisian dan permainan pada masa hadapan, dan ia juga menggalakkan pasukan penyelidikan/industri yang berkaitan untuk menjalankan penyelidikan dan penerokaan lanjut. Matlamatnya adalah untuk membolehkan ejen pintar berinteraksi dengan semua perisian, sama ada sumber terbuka atau sumber tertutup, dan terus meningkatkan diri mereka untuk mencapai kesejagatan, dan akhirnya menjadi tempat lahirnya

kecerdasan buatan am.

"GCC ialah buaian untuk AGI."

—Pasukan Cradle

Satu lagi: Siaran langsung tafsiran teknologi Cradle

Pada 14 Mac, 14:30-15:30, pengarang pertama kertas kerja, Tan Weihao, seorang pelajar kedoktoran di Nanyang Universiti Teknologi di Singapura, memberikan laporan tafsiran dalam talian. Imbas kod QR di bawah untuk mendaftar.

Atas ialah kandungan terperinci Bergerak ke arah dunia digital AGI! Ejen telah mula bermain "Red Dead Redemption 2" dari awal. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!