CREATOR는 LLM의 '자기진화'를 실현하기 위한 도구를 만들고 사용합니다.

고대부터 도구의 사용은 인간과 다른 종의 주요 차이점으로 간주되어 왔으며 지능의 근본적인 발현으로도 간주되었습니다. 이제 인공지능은 더 이상 단순한 도구 사용에만 국한되지 않고 이미 문제를 기반으로 자신만의 도구를 창의적으로 구축하여 해결책을 찾을 수 있습니다. 사고의 측면에서 이는 현재의 대형 모델이 더 높은 수준의 추상적인 사고와 인지를 습득하고 이를 구체적인 사고로 나누어 문제를 함께 해결할 수 있다는 것을 의미하며, 역량 측면에서 도구 생성의 출현도 의미합니다. 모델은 "학습"을 통해 변화할 수 있었고, 알고 있는 것을 사용하여 미래를 위한 무한한 가능성을 "창조"할 수 있었습니다. https 링크 : https://arxiv.org/pdf/2305.14318.pdf

research background

최근 몇 년 동안 큰 언어 모델 (큰 언어 모델)이 있습니다. GPT-3, Codex, PaLM, LLaMA, ChatGPT 및 최근 출시된 GPT-4를 포함하여 상당한 연구가 진행되었습니다. 이러한 모델은 상황 내 학습, 코드 생성 및 기타 다양한 자연어 처리 작업에 탁월하여 모델의 잠재력을 일반 인공 지능으로 더욱 발전시킵니다.
• 대형 모델은 이러한 분야에서 큰 성공을 거두었지만 최신 실시간 정보를 인식하거나 응답하지 못하는 점, 대규모 데이터 계산에서 높은 정확도를 달성하기 어려운 점, 질문에 대답하기가 어렵습니다. 논리가 복잡하면 추론 능력이 불안정합니다. 이러한 단점에 대응하여 연구자들은 모델 기능을 향상시키기 위해 계산기, 질문 및 답변 시스템, Wikipedia 및 기타 외부 지식 소스를 도입하는 등 외부 리소스를 현재 모델 아키텍처에 활용하는 기능을 도입하는 작업을 시작했습니다. 이 일련의 연구는 모델의 도구 학습(Tool Learning) 기능의 기반을 마련했습니다.

그러나 현재 연구에 활용되는

외부 도구의 수는 여전히 제한되어 있으며

잠재적인 새로운 작업 유형은 거의 끝이 없습니다. 따라서 새로운 문제 유형에 직면했을 때 문제 해결에 적합한 기존 도구를 찾기가 어렵습니다. 또한 효과적으로 활용 가능한 도구가 제공되더라도 모델에는 툴킷 문서에서 광범위한 검색, 일치 및 문제별 계획이 필요합니다. 이렇게 하면 모델에 큰 인지 부하 가 부과되고

더 높은 학습 비용이 필요합니다

. 이에 연구팀은 새로운 연구 패러다임인

Tool Creation

을 제안했습니다. 더 이상 단순히 도구를 사용하기 위해 대형 모델을 사용하는 기능이 아니라 새로운 도구 생성 모듈을 추가하여 모델이 도구를 만들고 직면한 문제에 대한 해결책을 찾을 수 있도록 합니다. 대형 모델 생성 도구를 활용하면 주어진 API의 한계를 넘어 도구의 보편성, 재사용성, 다양성을 높일 수 있습니다. 도구 생성 모듈의 설계는 또한 대규모 모델의 인지 부하를 줄이고 추상 추론(일반화 가능하고 보편적인 도구 만들기)과 구체적인 추론(도구 구현 세부 사항 및 도구 사용 문서를 기반으로 의사 결정)을 위해 모델을 분리할 수 있습니다. 동시에 이 프레임워크의 모델은 도구 생성을 위한 매체로 코드를 사용하므로 모델이 오류에 더욱 민감해지고 도구 생성 및 사용 시 문제를 추적하고 수정할 수 있습니다.

도구 작성 패러다임은 도구 사용에 비해 더 유연하고 다양한 시나리오에 대한 적응성이 더 강력합니다.CREATOR Research Framework대형 모델을 사용하여 문제를 해결하기 위한 도구를 만들기 위한 프레임워크CREATOR 주로 다음 4단계로 나누어집니다.

• Creation: 대형 모델의 추상적 추론 능력을 사용하여 문제를 해결하고 코드를 통해 필요한 도구와 사용 지침을 만듭니다.
• Decision: 대형 모델의 구체적인 추론 능력을 사용하여 문제를 해결하고 도구를 사용하여 현재 문제를 해결하는 방법을 결정합니다.
• Execution: 생성된 도구와 결정 내용을 기반으로 결정을 실행하고, 실행 과정에서 출력 정보를 캡처합니다.
• Rectification: 오류 원인을 추론하고 자체 복구하는 대형 모델의 기능을 사용하여 실행 단계에서 포착된 문제를 복구합니다.

도구 생성 및 의사결정을 위한 대형 모델의 프로세스 프레임워크

대형 모델은 먼저 문제 및 관련 사용 지침에 따라 필요한 도구를 생성합니다. , 문제 내용 및 도구 정보는 문제에 대한 해결책과 도구 사용 방법을 결정하기 위해 더 큰 모델로 반환됩니다. 그 후, 모델은 문제에 더 적합하고 답을 찾기 위해 실행을 기반으로 도구와 결정을 조정합니다.

전체 도구 생성 프레임워크는 대형 모델의 다양한 사고 능력을 유연하게 사용합니다. 문제의 핵심 정보를 추출하는 추상적 사고 추론, 작업 구현 계획에 따라 결정을 내리는 구체적 사고 추론 및 자가 치유 추론 문제를 바탕으로 해결책을 찾는 것 . 이러한 기능을 분리하면 대형 모델이 일반적인 추론 체인(CoT)의 혼란으로 인한 실패를 방지하고 작업에 대한 대형 모델의 적응성과 성능을 효과적으로 향상시키는 데 도움이 됩니다.

CREATOR 실험 평가

저자는 CREATOR 프레임워크를 현행 공통추론연쇄방식(CoT), 프로그램추론연쇄방식(Program-of-Thought, PoT), 생성 없이 단순 도구 사용(Tool Use) 비교 . 동시에 프레임워크 내에서 추상적인 추론과 구체적인 추론을 분리하는 효과를 검증하기 위해 저자는 Tool Create - 전체를 기준으로 도입했습니다. 이 방법은 CREATOR 프레임워크의 생성 단계와 의사결정 단계를 결합합니다. 첫째, 추론 능력이 더 이상 분리되지 않습니다.

Creation Challenge 데이터세트 문제, 표준 도구 및 의사결정 예시

MATH 데이터세트에서는 CREATOR 프레임워크의 성능이 다른 추론 방법보다 높습니다. 그리고 간단한 도구를 사용하여

데이터 세트 선택에서 저자는 MATH 및 TabMWP 데이터 세트를 주요 검증으로 선택했습니다. 전자는 미국 수학 대회의 어려운 수학적 문제를 포함하는 반면, 후자는 풍부한 데이터 테이블과 문제를 결합하여 다양한 시나리오에서 모델의 문제 추론과 해결 능력을 테스트합니다. 또한 저자는 기존 도구나 코드 패키지로는 문제를 직접 해결할 수 없는 새로 구축한 Creation Challenge 데이터 세트를 소개하여 모델의 도구 생성 능력을 테스트했습니다.

CREATOR 프레임워크 효과는 TabMWP 데이터 세트 및 Creation Challenge

에서도 훨씬 더 강력합니다.

실험 결과 CREATOR 프레임워크의 추론 결과는 모든 기준선보다 훨씬 우수했으며, 특히 표준 추론 방법 및 프로그램 추론 방법과 비교하여 더 나은 결과를 얻었습니다. 동시에 실험에서는 추상적 추론 기능과 구체적인 추론 기능을 분리하면 모델의 정확성을 높이는 데 효과적으로 도움이 될 수 있음이 입증되었습니다. Creation Challenge 테스트 세트에서 저자는 어떤 도구를 만들 것인지에 대한 힌트가 있으면 모델이 문제를 해결하는 데 더 강력한 능력을 갖게 된다는 점도 추가로 확인했습니다. 따라서 사고의 프롬프트와 분리도 도구 제작에 중요한 영향을 미치는 요소가 되었습니다.

작업 난이도에 대한 다양한 방법의 정확한 통계

교정 단계 참여로 효과 향상

Exception 또한, 저자는 작업 난이도에 대한 다양한 방법의 변화 곡선과 수정 단계 참여 라운드와 대규모 모델 효과 개선 간의 연관성을 검증했습니다. 결과는 CREATOR 프레임워크가 어려운 문제에 직면하여 더 나은 견고성을 유지할 수 있다는 것을 보여 주며, 수정 단계에 참여하면 CREATOR 프레임워크뿐만 아니라 PoT 추론 방법까지도 크게 향상될 수 있으며, 합리성과 실험에 수정 단계를 도입하는 효과.

도구 생성의 다른 장점

주요 실험 외에도 기사 작성자는 도구 생성의 다른 장점과 현재 대형 모델 도구 생성 기능의 다양한 표현을 탐색하는 데 중점을 두었습니다. 창작 도구이기 때문에 도구로서의 장점 중 하나는 재사용 가능성일 것입니다. 저자는 또한 도구 재사용을 통한 작업 효과 개선을 추가로 입증하기 위해 이 아이디어를 따랐습니다.

저자는 300개의 질문을 디자인하고 이를 3개씩 100개의 그룹으로 나누었습니다. 각 그룹의 세 가지 질문은 서로 다른 시나리오를 가지고 있지만 모두 동일한 핵심 지식(핵심 지식), 즉 유사한 질문을 포함합니다. 저자는 일련의 문제의 모든 시나리오에서 하나의 문제에 대해 작성된 도구를 사용하면 효과적으로 해결하고 정확성을 향상시킬 수 있는지 확인했습니다.

대형 모델에서 생성된 도구를 다른 문제로 마이그레이션하는 경우 정확도를 효과적으로 향상시킬 수 있습니다.

실험 통계에 따르면 모델에서 생성된 정확하고 사용 가능한 도구를 마이그레이션할 수 있습니다. 다른 유사한 문제 시나리오에 적용하면 문제 해결의 정확성을 효과적으로 향상시킬 수 있습니다. 이는 대형 모델에서 생성된 도구가 유사한 문제에 대해 재사용성이 좋고 보편성이 우수하다는 것을 보여줍니다. 또한 저자는 대형 모델을 사용한 도구 생성의 세 가지 차원, 즉

다양한 목적을 달성하기 위한 기존 도구의 캡슐화, 목표 기능 달성을 위한 다양한 도구의 조합

및 계층 도구 생성을 보여줍니다. 낮은 것부터 높은 것까지의 세 가지 차원은 현재 대형 모델 도구의 기능을 보여주며, 이러한 기능은 대형 모델이 다양한 시나리오에 보다 효율적으로 적응하는 데에도 도움이 됩니다.

대형 모델 도구 생성의 3차원

Summary

CREATOR 프레임워크는 도구 학습 다음 단계인 도구 생성을 통해 대형 모델 추상화와 구체적인 사고 능력의 분리를 달성합니다. , 모델 기능의 한계를 탐색하는 또 다른 주요 혁신입니다. 저는 앞으로 더 많은 연구가 이를 기반으로 하고, 도구 사용 및 생성에 있어 모델의 잠재력을 계속해서 입증하고 향상시켜 우리에게 더 많은 놀라움을 선사할 것이라고 믿습니다.

기사의 주요 작성자

칭화대학교 학부 3학년이자 THUNLP 연구실 멤버이자 멘토인 Liu Zhiyuan의 Qian Cheng입니다. 현재 연구 방향에는 대형 모델 사전 훈련, 대형 모델 효율적인 미세 조정 및 도구 학습이 포함됩니다. 그는 칭화대학교에서 종합 컴퓨터 공학 우수 장학금을 받았으며, EMNLP, ACL 등 국제 학회에서 공동 저자로 논문을 발표했습니다.

개인 홈페이지 : https://qiancheng0.github.io/

위 내용은 CREATOR는 LLM의 '자기진화'를 실현하기 위한 도구를 만들고 사용합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!