I released arXiv half a year ago, but was accused of plagiarism: CAMEL lives in the shadow of Microsoft AutoGen

arXiv is not a peer-reviewed journal, so papers posted on arXiv do not have to be cited. Is this reasonable?

If you are interested in AI agents, then you must know Microsoft’s AutoGen. It is an open source programming framework for building AI agents that allows multiple agents to chat to solve tasks. In the meantime, the LLM agent can play multiple roles, such as programmer, designer, or a combination of various roles.

On GitHub, this project has received 28k stars, and the paper also won the Best Paper Award at the ICLR 2024 LLM Agent Workshop.

However, there is actually controversy behind this paper.

In November 2023, an AI researcher (Ph.D. from King Abdullah University of Science and Technology, Li Guohao, the initiator of the open source projects Camel-AI.org and DeepGCNs.org) posted that because AutoGen is highly similar to their paper CAMEL , they will be asked every time they attend an event, what is the difference between the two?

In this regard, Li Guohao said he was very helpless, because their paper was published on arXiv significantly earlier than AutoGen, but now it is regarded as an imitator of AutoGen (CAMEL was released in March 2023; AutoGen released in August 2023). ~                                     Paper link: https://arxiv.org/pdf/2308.08155

According to Li Guohao The two have the following similarities in methodology:

Even the examples used are somewhat similar:

As a latecomer, AutoGen did mention CAMEL in the paper, And pointed out some differences between CAMEL and AutoGen. But where this appears is puzzling—it's all in the appendix. This may also be a major reason why other researchers only know AutoGen but not CAMEL. After all, how many people will read the appendix carefully?

Paragraph mentioning CAMEL in the AutoGen paper: "CAMEL (Li et al., 2023b) is a communication agent framework that shows how to use role-playing to let chat agents communicate with each other to complete tasks . CAMEL can also record agent conversations for behavioral analysis and capability understanding. CAMEL uses an "inception-prompting" technology to achieve autonomous cooperation between agents. Unlike AutoGen, CAMEL does not natively support tool usage (such as code execution). Although CAMEL is proposed as an infrastructure for multi-agent dialogue, it only supports static dialogue modes, whereas AutoGen also supports dynamic dialogue modes. "

^{Le tableau 1 résume les différences entre AutoGen et d'autres multi-agents associés, à partir de quatre indicateurs : l'un est l'infrastructure, c'est-à-dire si le système est conçu pour être une infrastructure commune pour la création d'applications LLM ; l'autre est le dialogue ; mode, c'est-à-dire les types de modes pris en charge par le système. En mode « statique », la topologie de l'agent reste inchangée quelle que soit l'entrée. AutoGen permet des modes conversationnels flexibles, notamment des modes statiques et dynamiques qui peuvent être personnalisés pour différents besoins d'application. Le troisième est l'exécutabilité, c'est-à-dire si le système peut exécuter le code généré par LLM ; le quatrième est la participation manuelle, si (et comment) le système permet aux humains de participer au processus d'exécution. AutoGen permet aux humains de participer de manière flexible à des conversations multi-agents et leur permet de choisir de ne pas fournir de contribution.}

Paragraphe de l'article d'AutoGen mentionnant CAMEL : "AutoGen peut aider à développer des agents super performants qui tirent pleinement parti du LLM, des outils et des humains. La création de tels agents est cruciale pour garantir une approche multi-agents. Il est crucial pour les flux de travail de résoudre efficacement les problèmes et de progresser dans les tâches. Par exemple, nous avons observé que CAMEL, un autre système LLM multi-agents, n'a pas réussi à résoudre efficacement les problèmes dans la plupart des cas, principalement parce qu'il manquait d'outils d'exécution ou de capacités de code. que le simple jeu de rôle LLM et le dialogue multi-agents ne suffisent pas, et qu'il faut également des agents avancés dotés de diverses compétences. Nous pensons qu'un travail plus systématique peut être effectué pour développer des applications spécifiques. Il est nécessaire de créer un grand OSS. base de connaissances et créer un agent capable de découvrir et d'améliorer ses propres compétences

Lors de l'examen d'AutoGen soumis à la conférence principale de l'ICLR, l'auteur de CAMEL, Li Guohao, a souligné dans la zone de commentaires publics, soulignant qu'il s'agissait d'un ". omission notable. »

Dans les commentaires d'évaluation d'AutoGen, les réviseurs de l'ICLR et les présidents de zone ont également souligné le caractère inapproprié de cette approche.

Parmi eux, le président de secteur a écrit : « Les auteurs discutent de ce travail en annexe, mais cette approche n'est pas recommandée car le niveau de révision des documents supplémentaires est différent de celui de l'article. En bref, ce qui semble pour permettre aux auteurs de dire qu'ils citent et discutent de l'article, mais ne le citent pas et n'en discutent pas dans les parties de l'article que 99 % des gens sont susceptibles de lire, je pense que cette pratique est inquiétante

Cet AutoGen. . Pourquoi l'auteur a-t-il fait cela ? Ils ont répondu : Au moment où ils ont soumis leur article à l'ICLR 2024, des articles tels que CAMEL n'avaient pas encore été publiés dans une conférence/journal à comité de lecture. Selon les lignes directrices des réviseurs de l'ICLR 2024, ils ne sont pas tenus de citer ou de comparer avec cet article (CAMEL a été accepté par NeurIPS 2023 en septembre 2023 ; les lignes directrices des réviseurs de l'ICLR 2024 stipulent que les articles publiés après le 28 mai 2023 ne nécessitent aucune citation).

En même temps, ils ont énuméré les parties du document impliquant CAMEL :

Étant donné que les règlements de l'ICLR passent en premier, le président de terrain ne peut pas dire grand-chose. Il a écrit: "Bien que je comprenne la justification de cette politique, dans le climat de publication actuel, cela peut conduire à des résultats étranges. Je n'en tiendrai pas compte dans ma décision en raison de la politique de l'ICLR, mais cela réduira ma confiance. "

Concernant Aux similitudes évoquées par Li Guohao, l'auteur d'AutoGen a également donné un contre-argument :

En réponse aux questions soulevées par les évaluateurs, ils ont répondu comme suit :

Enfin, la similitude entre et CAMEL et les problèmes de citation n'ont pas été considérés par le président de terrain comme des problèmes majeurs dans le document. Cependant, l'article AutoGen a finalement été rejeté pour d'autres raisons (l'auteur est donc ensuite passé à l'ICLR 2024 LLM Agent Workshop).

Selon Li Guohao, les auteurs des deux articles se sont rencontrés hors ligne, mais des choses désagréables se sont produites :

Li Guohao espère attirer l'attention de la communauté universitaire grâce à ses publications.

Qu'en pensez-vous ?

The above is the detailed content of I released arXiv half a year ago, but was accused of plagiarism: CAMEL lives in the shadow of Microsoft AutoGen. For more information, please follow other related articles on the PHP Chinese website!