Ejen membahagikan kerja dan bekerjasama seperti orang, dan juga boleh bertukar maklumat melalui 'sembang kumpulan'

Agen pintar juga mesti ada "manual spesifikasi"!

Satu penyelidikan yang dipanggil MetaGPT sangat meningkatkan prestasi ejen dengan membahagikan dengan jelas peranan ejen dan memerlukan berbilang ejen untuk mengguna pakai "format komunikasi" yang bersatu dan piawai dengan kerjasama.

Pada masa ini, penyelidikan ini telah memperoleh 33.6k bintang di GitHub, dan dimasukkan sebagai kertas Lisan di persidangan pembelajaran mendalam teratas ICLR 2024.

Secara umumnya, MetaGPT meniru pembahagian kerja dan kerjasama manusia, mengekodkan prosedur operasi standard pelbagai tugas ke dalam "manual spesifikasi" untuk ejen, dan ejen dengan peranan berbeza bertanggungjawab untuk tugas profesional yang berbeza.

Sebagai contoh, peranan pengurus produk boleh menggunakan alat carian rangkaian, manakala peranan jurutera boleh melaksanakan kod:

Dengan cara ini, kerjasama pelbagai ejen menyelesaikan tugas.

Para penyelidik menubuhkan "kumpulan perkongsian mesej" untuk ejen, dan ejen boleh melihat mesej berkaitan yang dihantar oleh ejen lain secara bebas.

Selepas ujian, menggunakan kaedah ini, MetaGPT mencapai 85.9% dan 87.7% SOTA baharu masing-masing pada set data awam HumanEval dan MBPP untuk tugasan menyiapkan kod.

Pada masa ini karya ini adalah sumber terbuka dan telah menarik perhatian ramai netizen di seluruh Internet:

Apakah rupa MetaGPT?

Penyelidikan ini dicadangkan bersama oleh pasukan DeepWisdom dan sarjana dari Pusat AI KAUST, Universiti Xiamen, CUHK(SZ), Universiti Nanjing, UPenn, UCB dan banyak lagi universiti dan institusi lain.

Dengan peningkatan berterusan keupayaan model yang besar, minat yang semakin meningkat dalam akademik dan industri dalam menggunakan ejen berasaskan model yang besar untuk menyelesaikan pelbagai tugas.

Perlu diingat bahawa penyelidikan tentang menggunakan berbilang ejen untuk bekerjasama untuk menyelesaikan masalah dalam bidang tertentu masih di peringkat awal. Penyelidikan sedia ada tertumpu terutamanya pada mempertingkatkan pemahaman tugas dan membuat penaakulan keupayaan membuat keputusan melalui mekanisme main peranan dan tetapan topologi komunikasi. Walaupun terdapat beberapa kemajuan, kaedah ini masih bergantung pada bentuk dialog langsung dan kekurangan spesifikasi standard dan kekangan pada tingkah laku ejen.

Sesetengah kerja baru-baru ini juga telah menunjukkan bahawa sistem berbilang ejen berdasarkan dialog mungkin menghadapi masalah seperti ketidakkonsistenan maklumat, kekaburan dan kemungkinan pengulangan tidak sah dan gelung tidak terhingga.

Sebaliknya, prosedur operasi standard (SOP) dalam aliran kerja manusia bukan sahaja mentakrifkan dengan jelas pembahagian kerja dan topologi peranan yang mengambil bahagian, tetapi juga mewujudkan spesifikasi standard untuk hasil output peranan.

Penyelidikan menunjukkan bahawa SOP yang ditakrifkan dengan jelas boleh meningkatkan ketekalan dan ketepatan pelaksanaan tugas, memastikan keputusan akhir memenuhi piawaian kualiti yang diperlukan. Oleh itu, untuk menyelesaikan cabaran dalam kerjasama berbilang ejen, penyelidik mereka MetaGPT, rangka kerja pengaturcaraan meta ejen berasaskan model yang besar.

MetaGPT memerlukan ejen untuk mengambil bahagian dalam kerjasama sebagai pakar dan menjana output berstruktur seperti yang diperlukan, seperti dokumen keperluan berkualiti tinggi, gambar rajah reka bentuk seni bina, carta alir, dsb.

Keluaran berstruktur ialah rantaian pemikiran peringkat lebih tinggi (Rantaian Pemikiran) untuk ejen tunggal, dan konteks (Konteks) dengan semantik yang jelas dan matlamat yang jelas untuk peranan hiliran.

Dalam rangka kerja MetaGPT, penyelidik menyelaraskan konsep SOP kepada pengkhususan peranan, reka bentuk protokol komunikasi dan reka bentuk maklum balas boleh laku lelaran.

Pengkhususan Peranan

Dengan peranan yang jelas, kerja yang kompleks boleh dipecahkan kepada tugas yang lebih kecil dan lebih khusus.

Seperti yang ditunjukkan dalam rajah di bawah, peranan profesion yang berbeza dimulakan dengan matlamat dan kekangan yang berbeza, serta kemahiran profesional yang berbeza. Sebagai contoh, peranan pengurus produk boleh menggunakan alat carian web, manakala peranan jurutera boleh melaksanakan kod. Pada masa yang sama, setiap watak mengikut corak tingkah laku ReAct secara lalai.

Pengkhususan peranan membolehkan setiap ejen menumpukan pada tugas tertentu dalam domainnya, dengan itu meningkatkan kualiti output model besar.

Untuk pembangunan perisian, melalui aliran peranan, pembahagian kerja ini dengan lebih mahir melengkapkan penjajaran daripada bahasa semula jadi kepada bahasa pengaturcaraan. Eksperimen ablasi watak dalam kertas membuktikan lagi kesan bahagian ini.

Reka Bentuk Protokol Komunikasi

Dalam aplikasi praktikal, walaupun bahasa semula jadi mempunyai semantik yang kaya, kerana ciri-cirinya yang tidak tersusun, herotan maklumat dan juga kehilangan kandungan penting sering berlaku semasa proses penghantaran mesej.

Untuk menyelesaikan masalah ini, penulis mengekang ejen untuk mengambil bahagian dalam kerjasama dengan output berstruktur (termasuk dokumen dan gambar rajah) untuk meningkatkan kejelasan dan kesempurnaan maklumat. Untuk mengesahkan reka bentuk ini, penulis mereka bentuk pelbagai tugas pembangunan perisian untuk menekankan kritikal output berstruktur dengan kerjasama melalui kebolehlaksanaan kod yang dijana dan penunjuk produktiviti.

Untuk meningkatkan kecekapan komunikasi semasa kerjasama pelbagai ejen, MetaGPT memperkenalkan mekanisme terbitkan-langgan(Mekanisme Terbit-Langgan) berdasarkan perkongsian mesej.

Seperti yang ditunjukkan dalam rajah di atas, kumpulan mesej yang dikongsi membenarkan mesej ditukar secara terus, dan mana-mana ejen boleh mengakses mesej daripada ejen lain secara telus tanpa bertanya dan menunggu balasan. Mekanisme langganan menjadikan ejen lebih cenderung untuk menerima maklumat yang berkaitan dengan tugasnya sendiri dan mengelak daripada terganggu oleh butiran yang tidak relevan. Pada masa yang sama, setiap ejen boleh mendapatkan semula maklumat yang diperlukan secara langsung daripada kumpulan mesej yang dikongsi untuk membentuk ingatan diri.

Maklum balas boleh dilaksanakan

Ejen pintar mengoptimumkan diri dan secara aktif mengemas kini berdasarkan maklum balas alam sekitar, yang merupakan manifestasi kesedaran autonomi ejen pintar.

Dari segi tugas pembangunan perisian, MetaGPT telah mereka bentuk mekanisme maklum balas boleh laku untuk ejen jurutera untuk mengoptimumkan kualiti kod secara automatik.

Secara khusus, jurutera menulis dan melaksanakan kes ujian unit yang sepadan, dan membuat keputusan dan gesaan kendiri secara rekursif melalui hasil pelaksanaan yang diperhatikan untuk mencapai penyahpepijatan automatik. Proses lelaran reka bentuk-ujian-maklum balas ini berterusan sehingga ujian unit lulus atau bilangan maksimum percubaan semula dicapai.

Berbilang penanda aras menguji SOTA baharu

Dari segi keupayaan penjanaan kod, penyelidik menggunakan dua set data penanda aras awam: HumanEval dan MBPP, dan melaporkan penunjuk Pass@1.

Selain itu, mereka juga mengumpul set data SoftwareDev yang meliputi 70 tugas pembangunan perisian biasa (seperti permainan mini, visualisasi data, pemprosesan imej, dll.) , dan menjalankan perbandingan pelbagai rangka kerja sumber terbuka ejen, membandingkan berbilang perisian Analisis statistik dan penerangan kualitatif telah dijalankan ke atas kebolehlaksanaan dan kecekapan pengeluaran tugas pembangunan.

Seperti yang ditunjukkan dalam rajah di bawah, MetaGPT mengatasi kaedah sebelumnya dalam kedua-dua penanda aras HumanEval dan MBPP, masing-masing mencapai 85.9% dan 87.7%. Berbanding dengan keputusan GPT-4, MetaGPT mempunyai peningkatan relatif sebanyak 28.2% pada set data HumanEval, dan menambah mekanisme maklum balas boleh laku telah bertambah baik 4.2% dan 5.4% pada HumanEval dan MBPP masing-masing.

Pada set data SoftwareDev yang mencabar, MetaGPT mencapai skor kebolehlaksanaan 3.75, sangat hampir dengan 4, sambil memerlukan masa berjalan yang lebih pendek (503 saat) bilangan baris kod yang dijana Berbanding dengan rangka kerja garis dasar telah meningkat sebanyak 2.24 kali, manakala bilangan token yang digunakan setiap baris unit kod telah menurun sebanyak 50%.

Hasil ini menyerlahkan peningkatan kecekapan yang dibawa oleh SOP semasa kerjasama pelbagai ejen.

Kebolehlaksanaan MetaGPT yang tinggi dan masa berjalan yang agak singkat dalam tugas pembangunan perisian menunjukkan kepraktisan dan kecekapannya dalam aplikasi dunia sebenar.

Memfokus pada bidang pembangunan perisian, penyelidik menyediakan perbandingan kualitatif keupayaan rangka kerja ejen yang berbeza.

Mereka mendapati MetaGPT bukan sahaja mempunyai keupayaan untuk menjana fail dalam pelbagai mod, tetapi juga merupakan satu-satunya rangka kerja sumber terbuka di antara banyak rangka kerja semasa yang merangkumi sepenuhnya proses pembangunan perisian di dunia nyata.

Secara amnya, MetaGPT ialah rangka kerja pelbagai ejen novel yang menggabungkan idea pengaturcaraan meta dan membenamkan SOP untuk meningkatkan keupayaan model besar dalam kerjasama pelbagai ejen.

Melalui pengkhususan peranan, pengurusan aliran kerja dan mekanisme pemesejan yang fleksibel, ia menjadi rangka kerja berbilang ejen dengan serba boleh dan mudah alih yang tinggi.

Digabungkan dengan mekanisme maklum balas berulang, MetaGPT telah mencapai prestasi SOTA pada berbilang ujian penanda aras.

SOP yang digabungkan dengan amalan sosial manusia memberi inspirasi kepada penyelidikan dan penerokaan masa depan masyarakat berbilang ejen, dan juga boleh dianggap sebagai percubaan awal untuk mengawal selia rangka kerja berbilang ejen berdasarkan model besar.

Pautan kertas: https://arxiv.org/abs/2308.00352
Pautan kod: https://github.com/geekan/MetaGPT

Atas ialah kandungan terperinci Ejen membahagikan kerja dan bekerjasama seperti orang, dan juga boleh bertukar maklumat melalui 'sembang kumpulan'. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!