상담원은 사람처럼 업무를 분담하고 협업하며, '그룹 채팅'을 통해 정보도 교환할 수 있습니다.

지능형 에이전트도 '스펙 매뉴얼'이 있어야 해요!

MetaGPT라는 연구는 에이전트의 역할을 명확하게 나누고 여러 에이전트가 공동 작업 시 통일되고 표준화된 "통신 형식"을 채택하도록 요구하여 에이전트의 성능을 크게 향상시킵니다.

현재 이 연구는 GitHub에서 33.6,000개의 별을 얻었으며 최고의 딥 러닝 컨퍼런스 ICLR 2024에서 구두 논문으로 포함되었습니다.

일반적으로 MetaGPT는 인간의 노동 분업과 협업을 모방하여 다양한 작업의 표준 운영 절차를 에이전트용 "사양 매뉴얼"로 인코딩하고, 다양한 역할을 가진 에이전트는 다양한 전문 작업을 담당합니다.

예를 들어 제품 관리자 역할은 네트워크 검색 도구를 사용할 수 있고 엔지니어 역할은 코드를 실행할 수 있습니다.

이러한 방식으로 다중 에이전트 협업이 작업을 완료합니다.

연구원들은 에이전트들을 위한 '메시지 공유 그룹'을 구성했고, 에이전트들은 다른 에이전트가 보낸 관련 메시지를 자유롭게 볼 수 있습니다.

테스트 후 MetaGPT는 이 방법을 사용하여 코드 완성 작업에 대한 공개 데이터 세트 HumanEval 및 MBPP에서 각각 85.9% 및 87.7%의 새로운 SOTA를 달성했습니다.

현재 이 작품은 오픈 소스로 공개되어 인터넷을 통해 많은 네티즌들의 관심을 끌고 있습니다.

MetaGPT는 어떤 모습인가요?

이 연구는 DeepWisdom 팀과 샤먼 대학교 KAUST AI 센터, CUHK(SZ), 난징 대학교, UPenn, UCB 및 기타 여러 대학 및 기관의 학자들이 공동으로 제안한 것입니다.

대형 모델 역량이 지속적으로 향상되면서 다양한 업무를 해결하기 위해 대형 모델 기반 에이전트를 활용하는 것에 대한 학계와 업계의 관심이 높아지고 있습니다.

특정 분야의 문제를 해결하기 위해 여러 에이전트를 활용하여 협업하는 연구는 아직 초기 단계라는 점은 주목할 가치가 있습니다. 기존 연구는 주로 역할극 메커니즘과 의사소통 토폴로지 설정을 통해 작업 이해도를 높이고 추론 의사결정 능력을 향상시키는 데 중점을 두고 있습니다. 일부 진전에도 불구하고 이러한 방법은 여전히 ​​직접적인 대화 형식에 의존하고 있으며 에이전트 동작에 대한 표준 사양 및 제약 조건이 부족합니다.

일부 최근 연구에서는 대화를 기반으로 하는 다중 에이전트 시스템이 정보 불일치, 모호함, 잘못된 반복 및 무한 루프 가능성과 같은 문제에 직면할 수 있다는 점도 지적했습니다.

반면, 인간 워크플로우의 표준 운영 절차(SOP) 는 작업 분업과 참여 역할의 토폴로지를 명확하게 정의할 뿐만 아니라 역할의 출력 결과에 대한 표준 사양도 설정합니다.

연구에 따르면 명확하게 정의된 SOP는 작업 실행의 일관성과 정확성을 향상시켜 최종 결과가 필수 품질 표준을 충족하도록 보장할 수 있습니다. 따라서 다중 에이전트 협업의 문제를 해결하기 위해 연구원들은 대규모 모델 기반 에이전트 메타 프로그래밍 프레임워크인 MetaGPT를 설계했습니다.

MetaGPT에서는 에이전트가 전문가로서 협업에 참여하고 필요에 따라 고품질 요구 사항 문서, 건축 설계 다이어그램, 흐름도 등과 같은 구조화된 출력을 생성하도록 요구합니다.

구조화된 출력은 단일 에이전트에 대한 상위 수준의 사고 체인 (사고 체인) 이고, 다운스트림 역할에 대한 명확한 의미와 명확한 목표를 갖춘 컨텍스트 (컨텍스트) 입니다.

MetaGPT 프레임워크에서 연구자들은 SOP의 개념을 역할 전문화, 통신 프로토콜 설계 및 반복 실행 가능한 피드백 설계에 맞춰 조정합니다.

역할 전문화

역할이 명확하게 정의되면 복잡한 작업을 더 작고 구체적인 작업으로 나눌 수 있습니다.

아래 그림에서 볼 수 있듯이 다양한 직업의 역할은 다양한 목표와 제약, ​​다양한 전문 기술로 초기화됩니다. 예를 들어 제품 관리자 역할은 웹 검색 도구를 사용할 수 있고 엔지니어 역할은 코드를 실행할 수 있습니다. 동시에 각 캐릭터는 기본적으로 ReAct 행동 패턴을 따릅니다.

역할 전문화를 통해 각 에이전트는 해당 도메인 내의 특정 작업에 집중할 수 있으므로 대형 모델의 출력 품질이 향상됩니다.

소프트웨어 개발에서는 역할의 흐름을 통해 이러한 분업이 자연어에서 프로그래밍 언어로의 정렬을 더욱 능숙하게 완성합니다. 논문의 문자 제거 실험은 이 부분의 효과를 더욱 입증합니다.

통신 프로토콜 설계

실제 응용에서 자연어는 풍부한 의미를 갖고 있지만 구조화되지 않은 특성으로 인해 메시지 전송 과정에서 정보 왜곡, 중요한 내용의 손실까지 종종 발생합니다.

이 문제를 해결하기 위해 저자는 정보의 명확성과 완성도를 높이기 위해 구조화된 출력(문서 및 다이어그램 포함)으로 에이전트가 협업에 참여하도록 제한했습니다. 이 설계를 검증하기 위해 저자는 생성된 코드의 실행 가능성과 생산성 지표를 통해 공동 작업에서 구조화된 출력의 중요성을 강조하기 위해 다양한 소프트웨어 개발 작업을 설계했습니다.

다중 에이전트 공동 작업 중 통신 효율성을 높이기 위해 MetaGPT는 메시지 공유를 기반으로 하는 게시-구독 메커니즘(Publish-Subscribe Mechanism)을 도입합니다.

위 그림과 같이 공유 메시지 풀을 통해 직접 메시지 교환이 가능하며, 어떤 상담원이라도 묻거나 응답을 기다리지 않고 다른 상담원의 메시지에 투명하게 접근할 수 있습니다. 구독 메커니즘을 사용하면 에이전트가 자신의 작업과 관련된 정보를 수신하고 관련 없는 세부 사항으로 인해 주의가 산만해지는 것을 방지할 수 있습니다. 동시에 각 에이전트는 공유 메시지 풀에서 필요한 정보를 직접 검색하여 자체 메모리를 형성할 수 있습니다.

실행 가능한 피드백

지능형 에이전트는 환경 피드백을 기반으로 자체 최적화하고 적극적으로 업데이트하는데, 이는 지능형 에이전트의 자율적 의식의 표현입니다.

소프트웨어 개발 작업에서 MetaGPT는 엔지니어 에이전트가 코드 품질을 자동으로 최적화할 수 있도록 실행 가능한 피드백 메커니즘을 설계합니다.

구체적으로 엔지니어는 해당 단위 테스트 케이스를 작성 및 실행하고, 관찰된 실행 결과를 통해 반복적으로 결정을 내리고 자체 프롬프트를 통해 자동 디버깅을 수행합니다. 이러한 설계-테스트-피드백의 반복 프로세스는 단위 테스트를 통과하거나 최대 재시도 횟수에 도달할 때까지 계속됩니다.

새로운 SOTA를 테스트하는 여러 벤치마크

코드 생성 기능 측면에서 연구원들은 HumanEval 및 MBPP라는 두 가지 공개 벤치마크 데이터 세트를 사용하고 Pass@1 지표를 보고했습니다.

또한 70가지 일반적인 소프트웨어 개발 작업(예: 미니 게임, 데이터 시각화, 이미지 처리 등)을 다루는 SoftwareDev 데이터 세트를 수집하고 다중 에이전트 오픈 소스 프레임워크 비교를 수행했습니다. 소프트웨어 개발과제의 실행성과 생산 효율성에 대한 통계적 분석과 정성적 기술을 실시하였다.

아래 그림에서 볼 수 있듯이 MetaGPT는 HumanEval 및 MBPP 벤치마크 모두에서 각각 85.9% 및 87.7%에 도달하여 이전 방법을 능가합니다. GPT-4의 결과와 비교하여 MetaGPT는 HumanEval 데이터 세트에서 상대적으로 28.2% 향상되었으며, 실행 가능한 피드백 메커니즘을 추가하면 HumanEval 및 MBPP에서 각각 4.2% 및 5.4% 향상되었습니다.

까다로운 SoftwareDev 데이터 세트에서 MetaGPT는 4에 매우 가까운 3.75의 실행 가능성 점수를 달성하면서 더 짧은 실행 시간 (503초) 을 요구합니다. 기본 프레임워크와 비교할 때, 2.24배 증가한 반면, 코드 단위 라인당 소비되는 토큰 수는 50% 감소했습니다.

이러한 결과는 다중 에이전트 협업 중에 SOP를 통해 효율성이 향상되었음을 강조합니다.

MetaGPT의 높은 실행 가능성과 소프트웨어 개발 작업에서 상대적으로 짧은 실행 시간은 실제 애플리케이션에서의 실용성과 효율성을 입증합니다.

연구원들은 소프트웨어 개발 분야에 중점을 두고 다양한 에이전트 프레임워크의 기능에 대한 질적 비교를 제공합니다.

그들은 MetaGPT가 여러 모드에서 파일을 생성할 수 있을 뿐만 아니라 실제 소프트웨어 개발 프로세스를 완전히 포괄하는 현재의 많은 프레임워크 중에서 유일한 오픈 소스 프레임워크라는 것을 발견했습니다.

일반적으로 MetaGPT는 메타 프로그래밍 아이디어를 결합하고 SOP를 내장하여 다중 에이전트 협업에서 대형 모델의 기능을 향상시키는 새로운 다중 에이전트 프레임워크입니다.

역할 전문화, 워크플로 관리 및 유연한 메시징 메커니즘을 통해 높은 다양성과 이식성을 갖춘 다중 에이전트 프레임워크가 됩니다.

반복 피드백 메커니즘과 결합된 MetaGPT는 여러 벤치마크 테스트에서 SOTA 성능을 달성했습니다.

인간의 사회적 실천과 결합된 SOP는 다중 행위자 사회에 대한 미래 연구와 탐구에 영감을 주며, 대규모 모델을 기반으로 다중 행위자 프레임워크를 규제하려는 초기 시도라고도 볼 수 있습니다.

논문 링크: https://arxiv.org/abs/2308.00352
코드 링크: https://github.com/geekan/MetaGPT

위 내용은 상담원은 사람처럼 업무를 분담하고 협업하며, '그룹 채팅'을 통해 정보도 교환할 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!