Saya mengeluarkan arXiv setengah tahun yang lalu, tetapi dituduh plagiarisme: CAMEL hidup dalam bayang-bayang Microsoft AutoGen

arXiv는 동료 검토 저널이 아니므로 arXiv에 게재된 논문을 인용할 필요가 없습니다. 이것이 타당한가요?

AI 에이전트에 관심이 있다면 Microsoft의 AutoGen을 알아야 합니다. 여러 에이전트가 채팅을 통해 작업을 해결할 수 있도록 하는 AI 에이전트 구축을 위한 오픈 소스 프로그래밍 프레임워크입니다. 그 동안 LLM 에이전트는 프로그래머, 디자이너 또는 다양한 역할의 조합과 같은 다양한 역할을 수행할 수 있습니다.

GitHub에서 이 프로젝트는 별 28,000개를 받았으며, 논문은 ICLR 2024 LLM Agent Workshop에서도 최우수 논문상을 수상했습니다.

그러나 실제로 이 논문 뒤에는 논란이 있습니다.

2023년 11월 AI 연구원(King Abdullah University of Science and Technology 박사, Li Guohao, 오픈 소스 프로젝트 Camel-AI.org 및 DeepGCNs.org의 창시자)이 AutoGen이 매우 유사하기 때문에 다음과 같이 게시했습니다. 그들의 논문 CAMEL에 그들은 행사에 참석할 때마다 질문을 받게 될 것입니다. 둘 사이의 차이점은 무엇입니까?

이와 관련하여 Li Guohao는 자신의 논문이 AutoGen보다 훨씬 일찍 arXiv에 게재되었기 때문에 매우 무력하다고 말했습니다. 그러나 이제는 AutoGen의 모방자로 간주됩니다(CAMEL은 2023년 3월에 출시되었습니다. AutoGen은 2023년 8월 출시됨).

                                                           ^{논문 링크: https://arxiv.org/abs/2303.17760}

                                 ^{논문 링크: https://arxiv.org/pdf/2308.08155}

Li Guohao 둘은 방법론에서 다음과 같은 유사점을 가지고 있습니다.

사용된 예제도 다소 유사합니다.

후발주자로서 AutoGen은 논문에서 CAMEL을 언급했고, 두 가지의 차이점을 지적했습니다. CAMEL 및 AutoGen. 그러나 이것이 나타나는 곳은 수수께끼입니다. 모든 것이 부록에 있습니다. 이는 다른 연구자들이 AutoGen만 알고 CAMEL은 모르는 주요 이유일 수도 있습니다. 결국, 부록을 꼼꼼히 읽어볼 사람이 몇이나 될까요?

AutoGen 논문에서 CAMEL을 언급하는 단락: "CAMEL(Li et al., 2023b)은 채팅 에이전트가 작업을 완료하기 위해 서로 통신할 수 있도록 역할극을 사용하는 방법을 보여주는 통신 에이전트 프레임워크입니다. CAMEL은 행동 분석 및 기능 이해를 위해 에이전트 대화를 녹음할 수도 있습니다. CAMEL은 "인셉션 프롬프트" 기술을 사용하여 에이전트 간의 자율적인 협력을 달성합니다. AutoGen과 달리 CAMEL은 기본적으로 도구 사용(예: 코드 실행)을 지원하지 않습니다. CAMEL은 다중 에이전트 대화를 위한 인프라로 제안되었지만 정적 대화 모드만 지원하는 반면 AutoGen은 동적 대화 모드도 지원합니다. "

^{Jadual 1 meringkaskan perbezaan antara AutoGen dan lain-lain ejen berbilang yang berkaitan, bermula daripada empat penunjuk: satu ialah infrastruktur, iaitu, sama ada sistem direka untuk menjadi infrastruktur biasa untuk membina aplikasi LLM; mod, Iaitu, jenis mod yang disokong oleh sistem. Dalam mod "statik", topologi ejen kekal tidak berubah tanpa mengira input. AutoGen membenarkan mod perbualan yang fleksibel, termasuk mod statik dan dinamik yang boleh disesuaikan untuk keperluan aplikasi yang berbeza. Yang ketiga ialah kebolehlaksanaan, iaitu sama ada sistem boleh melaksanakan kod yang dihasilkan oleh LLM yang keempat ialah penyertaan manual, sama ada (dan bagaimana) sistem membenarkan manusia mengambil bahagian dalam proses pelaksanaan. AutoGen membolehkan manusia mengambil bahagian secara fleksibel dalam perbualan berbilang ejen dan membolehkan manusia memilih untuk melangkau memberikan input.}

Perenggan daripada kertas AutoGen yang menyebut CAMEL: "AutoGen boleh membantu membangunkan ejen berkebolehan tinggi yang memanfaatkan sepenuhnya LLM, alatan dan manusia. Mencipta ejen sedemikian adalah penting untuk memastikan pelbagai ejen. penting untuk aliran kerja untuk menyelesaikan masalah dan membuat kemajuan dalam tugasan dengan berkesan Contohnya, kami mendapati bahawa CAMEL, satu lagi sistem LLM berbilang ejen, gagal menyelesaikan masalah dengan berkesan dalam kebanyakan kes, terutamanya kerana ia tidak mempunyai alat atau kod pelaksanaan bahawa LLM main peranan yang mudah dan dialog pelbagai ejen tidak mencukupi, dan juga perlu ada keupayaan lanjutan bagi ejen dengan pelbagai kemahiran Kami percaya bahawa kerja yang lebih sistematik boleh dibangunkan untuk aplikasi tertentu asas dan cipta ejen yang boleh menemui dan meningkatkan kemahirannya sendiri

Semasa semakan AutoGen yang diserahkan kepada persidangan utama ICLR, pengarang CAMEL Li Guohao menegaskan di kawasan komen awam, menegaskan bahawa ini adalah "yang penting ketinggalan."

Dalam ulasan ulasan untuk AutoGen, penyemak ICLR dan kerusi kawasan juga menunjukkan ketidaksesuaian pendekatan ini.

Antaranya, Pengerusi Kawasan menulis, “Penulis memang membincangkan kerja ini dalam lampiran, tetapi pendekatan ini tidak digalakkan kerana tahap semakan bahan tambahan berbeza daripada kertas kerja untuk membenarkan pengarang mengatakan bahawa mereka memetik dan membincangkan kertas itu, tetapi sebenarnya tidak memetik dan membincangkannya di bahagian kertas yang mungkin dibaca oleh 99% orang, saya rasa amalan ini membimbangkan

AutoGen itu Mengapa penulis melakukan ini? Mereka menjawab: Pada masa mereka menyerahkan kertas kerja mereka kepada ICLR 2024, kertas kerja seperti CAMEL belum lagi diterbitkan dalam persidangan/jurnal yang disemak rakan sebaya. Menurut Garis Panduan Pengulas ICLR 2024, mereka tidak bertanggungjawab untuk memetik atau membandingkan dengan kertas kerja ini (CAMEL telah diterima oleh NeurIPS 2023 pada September 2023; Garis Panduan Penyemak ICLR 2024 menetapkan bahawa kertas kerja yang diterbitkan selepas 28 Mei 2023 Tiada petikan diperlukan).

Pada masa yang sama, mereka menyenaraikan bahagian-bahagian kertas yang melibatkan UNTA:

Oleh kerana peraturan ICLR diutamakan, kerusi padang tidak boleh berkata banyak. Beliau menulis, "Walaupun saya memahami rasional di sebalik dasar ini, dalam iklim penerbitan semasa ia mungkin membawa kepada hasil yang pelik. Saya tidak akan memasukkan perkara ini ke dalam keputusan saya kerana dasar ICLR, tetapi ini akan mengurangkan keyakinan saya. "

Berkenaan persamaan yang disebut oleh Li Guohao, pengarang AutoGen juga memberikan hujah balas:

Sebagai tindak balas kepada soalan yang dibangkitkan oleh pengulas, mereka menjawab seperti berikut:

Akhirnya, Persamaan antara dan CAMEL dan isu petikan tidak dianggap oleh ketua bidang sebagai isu utama untuk kertas kerja. Walau bagaimanapun, kertas AutoGen akhirnya ditolak atas sebab lain (jadi pengarang kemudiannya bertukar ke Bengkel Ejen ICLR 2024 LLM).

Menurut Li Guohao, pengarang kedua-dua kertas kerja sebenarnya bertemu di luar talian, tetapi beberapa perkara yang tidak menyenangkan berlaku:

Li Guohao berharap dapat menarik perhatian komuniti akademik melalui siaran.

Apa pendapat anda tentang perkara ini?

Atas ialah kandungan terperinci Saya mengeluarkan arXiv setengah tahun yang lalu, tetapi dituduh plagiarisme: CAMEL hidup dalam bayang-bayang Microsoft AutoGen. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!