반년 전에 arXiv를 출시했지만 표절 혐의로 기소되었습니다. CAMEL은 Microsoft AutoGen의 그늘에 살고 있습니다.

arXiv는 동료 검토 저널이 아니므로 arXiv에 게재된 논문을 인용할 필요가 없습니다. 이것이 타당한가요?

AI 에이전트에 관심이 있다면 Microsoft의 AutoGen을 알아야 합니다. 여러 에이전트가 채팅을 통해 작업을 해결할 수 있도록 하는 AI 에이전트 구축을 위한 오픈 소스 프로그래밍 프레임워크입니다. 그 동안 LLM 에이전트는 프로그래머, 디자이너 또는 다양한 역할의 조합과 같은 다양한 역할을 수행할 수 있습니다.

GitHub에서 이 프로젝트는 별 28,000개를 받았으며, 논문은 ICLR 2024 LLM Agent Workshop에서도 최우수 논문상을 수상했습니다.

그러나 실제로 이 논문 뒤에는 논란이 있습니다.

2023년 11월 AI 연구원(King Abdullah University of Science and Technology 박사, Li Guohao, 오픈 소스 프로젝트 Camel-AI.org 및 DeepGCNs.org의 창시자)이 AutoGen이 매우 유사하기 때문에 다음과 같이 게시했습니다. 그들의 논문 CAMEL에 그들은 행사에 참석할 때마다 질문을 받게 될 것입니다. 둘 사이의 차이점은 무엇입니까?

이와 관련하여 Li Guohao는 자신의 논문이 AutoGen보다 훨씬 일찍 arXiv에 게재되었기 때문에 매우 무력하다고 말했습니다. 그러나 이제는 AutoGen의 모방자로 간주됩니다(CAMEL은 2023년 3월에 출시되었습니다. AutoGen은 2023년 8월 출시됨). ~                                 논문 링크: https://arxiv.org/pdf/2308.08155

Li Guohao에 따르면 두 가지 방법론에는 다음과 같은 유사점이 있습니다.

사용된 예도 다소 유사합니다. :

후발주자로서 AutoGen은 논문에서 CAMEL에 대해 언급했고, CAMEL과 AutoGen의 몇 가지 차이점도 지적했습니다. 그러나 이것이 나타나는 곳은 수수께끼입니다. 모든 것이 부록에 있습니다. 이는 다른 연구자들이 AutoGen만 알고 CAMEL은 모르는 주요 이유일 수도 있습니다. 결국, 부록을 꼼꼼히 읽어볼 사람이 몇이나 될까요?

AutoGen 논문에서 CAMEL을 언급하는 단락: "CAMEL(Li et al., 2023b)은 채팅 에이전트가 작업을 완료하기 위해 서로 통신할 수 있도록 역할극을 사용하는 방법을 보여주는 통신 에이전트 프레임워크입니다. CAMEL은 행동 분석 및 기능 이해를 위해 에이전트 대화를 녹음할 수도 있습니다. CAMEL은 "인셉션 프롬프트" 기술을 사용하여 에이전트 간의 자율적인 협력을 달성합니다. AutoGen과 달리 CAMEL은 기본적으로 도구 사용(예: 코드 실행)을 지원하지 않습니다. CAMEL은 다중 에이전트 대화를 위한 인프라로 제안되었지만 정적 대화 모드만 지원하는 반면 AutoGen은 동적 대화 모드도 지원합니다. "

^{표 1은 네 가지 지표에서 시작하여 AutoGen과 기타 관련 다중 에이전트 간의 차이점을 요약합니다. 하나는 인프라입니다. 즉, 시스템이 LLM 애플리케이션 구축을 위한 공통 인프라로 설계되었는지 여부, 다른 하나는 대화입니다. 모드, 즉 시스템에서 지원하는 모드 유형입니다. "정적" 모드에서는 에이전트 토폴로지가 입력에 관계없이 변경되지 않은 상태로 유지됩니다. AutoGen은 다양한 애플리케이션 요구 사항에 맞게 사용자 정의할 수 있는 정적 및 동적 모드를 포함하여 유연한 대화 모드를 허용합니다. 세 번째는 실행 가능성, 즉 시스템이 LLM에 의해 생성된 코드를 실행할 수 있는지 여부입니다. 네 번째는 시스템이 인간이 실행 ​​프로세스에 참여할 수 있도록 허용하는지 여부(및 방법)입니다. AutoGen을 사용하면 인간은 다중 에이전트 대화에 유연하게 참여할 수 있으며 입력 제공을 건너뛰도록 선택할 수 있습니다.}

CAMEL을 언급하는 AutoGen 논문의 단락: "AutoGen은 LLM, 도구 및 인간을 최대한 활용하는 강력한 에이전트를 개발하는 데 도움이 될 수 있습니다. 이러한 에이전트를 만드는 것은 다중 에이전트를 보장하는 데 중요합니다. 예를 들어, 또 다른 다중 에이전트 LLM 시스템인 CAMEL은 주로 실행 도구나 코드 기능이 부족하여 문제를 효과적으로 해결하지 못하는 것으로 나타났습니다. 단순한 롤플레잉 LLM과 다중 에이전트 대화만으로는 충분하지 않으며, 다양한 기술을 갖춘 에이전트의 고급 기능도 있어야 합니다. 특정 애플리케이션에 대해 보다 체계적인 작업을 개발할 수 있다고 믿습니다.

ICLR 메인 컨퍼런스에 제출된 AutoGen을 검토하는 동안 CAMEL 작성자 Li Guohao는 공개 댓글 영역에서 이것이 "주목할 만한 문제"라고 강조했습니다. 생략."

AutoGen에 대한 검토 의견에서 ICLR 검토자와 지역 의장도 이 접근 방식의 부적절함을 지적했습니다.

그 중 지역위원장은 다음과 같이 썼습니다. “저자들은 이 작업을 부록에서 논의하지만, 보충 자료의 검토 수준이 논문의 검토 수준과 다르기 때문에 이 접근 방식은 바람직하지 않습니다. 저자가 논문을 인용하고 토론한다고 말할 수는 있지만 실제로 99%의 사람들이 읽을 가능성이 있는 부분에서는 인용하고 토론하지 않는 것이 AutoGen의 문제라고 생각합니다. . 작가는 왜 그랬을까? 그들은 다음과 같이 응답했습니다. ICLR 2024에 논문을 제출할 당시 CAMEL과 같은 논문은 동료 검토 컨퍼런스/저널에 아직 출판되지 않았습니다. ICLR 2024 검토자 지침에 따르면, 그들은 이 논문을 인용하거나 비교할 의무가 없습니다(CAMEL은 2023년 9월 NeurIPS 2023에서 승인되었습니다. ICLR 2024 검토자 지침은 2023년 5월 28일 이후에 출판된 논문에 인용이 필요하지 않다고 규정하고 있습니다).

동시에 CAMEL과 관련된 논문 부분을 나열했습니다.

ICLR 규정이 우선이기 때문에 현장 의장은 많은 말을 할 수 없습니다. 그는 "이 정책의 근거를 이해하지만 현재 출판 환경에서는 이상한 결과가 발생할 수 있습니다. ICLR의 정책으로 인해 이것을 결정에 고려하지는 않겠지 만 이것이 자신감을 떨어 뜨릴 것입니다. "

관련하여 AutoGen 저자인 Li Guohao가 언급한 유사점에 대해서도 반론을 제기했습니다.

리뷰어가 제기한 질문에 대해 그들은 다음과 같이 응답했습니다.

마지막으로 와 CAMEL과 CAMEL의 유사점 현장 의장은 인용 문제를 논문의 주요 문제로 간주하지 않았습니다. 그러나 AutoGen 논문은 결국 다른 이유로 거부되었습니다(그래서 저자는 나중에 ICLR 2024 LLM Agent Workshop으로 전환했습니다).

Li Guohao에 따르면 두 논문의 저자는 실제로 오프라인에서 만났지만 몇 가지 불쾌한 일이 일어났습니다.

Li Guohao는 게시물을 통해 학계의 관심을 끌기를 희망합니다.

이것에 대해 어떻게 생각하시나요?

위 내용은 반년 전에 arXiv를 출시했지만 표절 혐의로 기소되었습니다. CAMEL은 Microsoft AutoGen의 그늘에 살고 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!