Ich habe arXiv vor einem halben Jahr veröffentlicht, wurde aber des Plagiats beschuldigt: CAMEL steht im Schatten von Microsoft AutoGen

arXiv ist keine peer-reviewte Zeitschrift, daher müssen auf arXiv veröffentlichte Artikel nicht zitiert werden. Ist das sinnvoll?

Wenn Sie sich für KI-Agenten interessieren, müssen Sie Microsofts AutoGen kennen. Es handelt sich um ein Open-Source-Programmierframework zum Erstellen von KI-Agenten, das es mehreren Agenten ermöglicht, zu chatten, um Aufgaben zu lösen. Mittlerweile kann der LLM-Agent mehrere Rollen übernehmen, beispielsweise die Rolle eines Programmierers, Designers oder eine Kombination verschiedener Rollen.

Auf GitHub hat dieses Projekt 28.000 Sterne erhalten und der Artikel gewann außerdem den Best Paper Award beim ICLR 2024 LLM Agent Workshop.

Allerdings gibt es tatsächlich Kontroversen hinter diesem Papier.

Im November 2023 hat ein KI-Forscher (Ph.D. von der King Abdullah University of Science and Technology, Li Guohao, der Initiator der Open-Source-Projekte Camel-AI.org und DeepGCNs.org) dies gepostet, weil AutoGen sehr ähnlich ist In ihrem Artikel CAMEL werden sie jedes Mal, wenn sie an einer Veranstaltung teilnehmen, gefragt: Was ist der Unterschied zwischen den beiden?

In dieser Hinsicht sagte Li Guohao, er sei sehr hilflos, da ihr Artikel deutlich früher als AutoGen auf arXiv veröffentlicht wurde, nun aber als Nachahmer von AutoGen gilt (CAMEL wurde im März 2023 veröffentlicht; AutoGen veröffentlicht im August 2023). ~                              sind etwas ähnlich:

Als Nachzügler erwähnte AutoGen CAMEL in der Zeitung und wies auf einige Unterschiede zwischen CAMEL und AutoGen hin. Aber wo dies erscheint, ist rätselhaft – es steht alles im Anhang. Dies könnte auch ein wesentlicher Grund dafür sein, dass andere Forscher nur AutoGen kennen, CAMEL jedoch nicht. Denn wie viele Menschen werden den Anhang sorgfältig lesen?

Absatz, in dem CAMEL im AutoGen-Artikel erwähnt wird: „CAMEL (Li et al., 2023b) ist ein Kommunikationsagenten-Framework, das zeigt, wie man Rollenspiele nutzt, um Chat-Agenten miteinander kommunizieren zu lassen, um Aufgaben zu erledigen.“ CAMEL kann auch Agentengespräche zur Verhaltensanalyse und zum Verständnis von Fähigkeiten aufzeichnen. CAMEL nutzt eine „Inception-Prompting“-Technologie, um eine autonome Zusammenarbeit zwischen Agenten zu erreichen. Im Gegensatz zu AutoGen unterstützt CAMEL die Verwendung von Tools (z. B. Codeausführung) nicht nativ. Obwohl CAMEL als Infrastruktur für den Dialog mit mehreren Agenten vorgeschlagen wird, unterstützt es nur statische Dialogmodi, während AutoGen auch dynamische Dialogmodi unterstützt. „

^{表 1 は、AutoGen と他の関連マルチエージェントの違いを 4 つの指標から要約しています。1 つはインフラストラクチャ、つまり、システムが LLM アプリケーションを構築するための共通のインフラストラクチャとして設計されているかどうかです。もう 1 つはダイアログです。モード、つまり、システムがサポートするモードの種類。 「静的」モードでは、入力に関係なくエージェント トポロジは変更されません。 AutoGen を使用すると、アプリケーションのさまざまなニーズに合わせてカスタマイズできる静的モードや動的モードなど、柔軟な会話モードが可能になります。 3 つ目は実行可能性、つまり LLM によって生成されたコードをシステムが実行できるかどうか、4 つ目は手動参加、システムが人間の実行プロセスへの参加を許可するかどうか (およびその方法) です。 AutoGen を使用すると、人間はマルチエージェントの会話に柔軟に参加でき、人間は入力の提供をスキップすることを選択できます。}

AutoGen の論文の CAMEL に関する一節: 「AutoGen は、LLM、ツール、人間を最大限に活用する非常に有能なエージェントの開発に役立ちます。このようなエージェントの作成は、マルチエージェントを確保するために不可欠です。」たとえば、別のマルチエージェント LLM システムである CAMEL は、主に実行ツールやコードが欠如していることが原因で、問題を効果的に解決できないことがわかりました。単純なロールプレイング LLM やマルチエージェント対話だけでは十分ではなく、さまざまなスキルを備えた高度な有能なエージェントが必要であり、より体系的な作業を実行して特定のアプリケーションを開発できるようにする必要があると考えています。知識ベースを構築し、独自のスキルを発見して改善できるエージェントを作成します

ICLR メインカンファレンスに提出された AutoGen のレビュー中、CAMEL 作者の Li Guohao 氏はパブリック コメント エリアでこれが問題であると強調しました。顕著な省略。」

AutoGen のレビューコメントの中で、ICLR のレビュー担当者とエリアチェアもこのアプローチの不適切性を指摘しました。

その中で、地域委員長は、「著者らは付録でこの研究について議論していますが、補足資料のレビューレベルは論文のレビューレベルと異なるため、このアプローチはお勧めできません。つまり、著者が論文を引用して議論していると言うのは許可するが、論文の 99% の人が読む可能性が高い部分では実際に引用したり議論したりしないというやり方は、憂慮すべきことだと思います

。 . 著者はなぜこんなことをしたのでしょうか？彼らは次のように答えました。ICLR 2024 に論文を提出した時点では、CAMEL などの論文はまだ査読済みの会議/雑誌に掲載されていませんでした。 ICLR 2024 査読者ガイドラインによれば、この論文を引用したり比較したりする義務はありません（CAMEL は 2023 年 9 月に NeurIPS 2023 に受理されました。ICLR 2024 査読者ガイドラインでは、2023 年 5 月 28 日以降に出版された論文については引用の必要はないと規定されています）。

同時に、彼らはCAMELに関係する論文の部分をリストアップしました:

ICLRの規則が優先されるため、フィールドチェアは多くを言うことができません。同氏は、「この方針の背後にある理論的根拠は理解しているが、現在の出版環境では奇妙な結果につながる可能性がある。ICLRの方針のため、これを私の決定に考慮するつもりはないが、これは私の自信を低下させることになる。」と書いた。 AutoGen の著者である Li Guohao 氏が言及した類似点については、反論も行いました:

査読者からの質問に対して、彼らは次のように答えました:

最後に、 と CAMEL と の類似点引用の問題は、フィールドチェアによって論文の主要な問題とはみなされなかった。しかし、AutoGen の論文は最終的に他の理由で拒否されました (そのため、著者は後に ICLR 2024 LLM エージェント ワークショップに切り替えました)。

Li Guohao 氏によると、2 つの論文の著者は実際にはオフラインで会っていましたが、いくつかの不愉快な出来事が起こりました:

Li Guohao さんは、投稿を通じて学術界の注目を集めたいと考えています。

これについてどう思いますか?

Das obige ist der detaillierte Inhalt vonIch habe arXiv vor einem halben Jahr veröffentlicht, wurde aber des Plagiats beschuldigt: CAMEL steht im Schatten von Microsoft AutoGen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!