Rhysford의 지팡이가 Dumbledore와 같은 모든 연령대의 뛰어난 마술사의 전설을 창조한 것처럼, 엄청난 잠재력을 지닌 전통적인 대규모 언어 모델은 코드 코퍼스의 사전 훈련/미세 조정을 거쳐 원본 소스 이상의 지식을 마스터했습니다. . 특히, 대형 모델의 고급 버전은 코드 작성, 더욱 강력한 추론, 실행 인터페이스에 대한 독립적인 참조, 독립적인 개선 등의 측면에서 개선되어 AI 역할을 더 쉽게 수행할 수 있게 되었습니다. 모든 측면에서 이점을 제공하고 다운스트림 작업을 수행합니다. 최근 일리노이 대학교 어바나 샴페인(UIUC) 연구팀이 중요한 리뷰를 발표했습니다. 
문서 링크: https://arxiv.org/abs/2401.00812이 리뷰에서는 코드가 대규모 언어 모델(LLM)과 이를 기반으로 하는 지능형 에이전트(지능형) 에이전트의 강력한 기능을 어떻게 강화하는지 살펴봅니다. . 
그 중 코드란 구체적으로 프로그래밍 언어, 미리 정의된 함수 집합 등 기계 실행이 가능하고 사람이 읽을 수 있는 형식 언어를 말합니다. LLM이 전통적인 자연어를 이해/생성하도록 안내하는 방법과 유사하게 LLM을 코드에 능숙하게 만들려면 동일한 언어 모델링 교육 목표를 코드 데이터에 적용하면 됩니다. 전통적인 언어 모델과 달리 Llama2, GPT4와 같은 오늘날의 일반적인 LLM은 크기가 크게 향상되었을 뿐만 아니라 일반적인 자연어 코퍼스와 독립적인 코드 코퍼스 교육을 거쳤습니다. 코드는 표준화된 구문, 논리적 일관성, 추상화 및 모듈성을 갖추고 있으며 높은 수준의 목표를 실행 가능한 단계로 변환할 수 있어 인간과 컴퓨터를 연결하는 이상적인 매체입니다. 그림 2에서 볼 수 있듯이, 이번 리뷰에서 연구원들은 관련 작업을 편집하고 코드를 LLM 교육 데이터에 통합할 때의 다양한 이점을 자세히 분석했습니다. 특히 연구원들은 코드의 고유한 속성이 도움이 된다는 것을 관찰했습니다. 1 LLM의 코드 작성 기능, 추론 기능 및 구조화된 정보 처리 기능을 향상하여 더 복잡한 자연 환경에 적용할 수 있습니다. 2. 함수 호출을 통해 외부 실행에 연결할 수 있는 구조적이고 정확한 중간 단계를 생성하도록 LLM을 안내합니다. 3. 모델 자율 개선을 제공하기 위해 다양한 피드백을 제공합니다. 또한 연구원들은 코드에서 제공하는 이러한 LLM의 최적화 항목이 어떻게 지능형 에이전트의 의사 결정 센터, 지침 이해, 목표 분해, 작업 계획 및 실행, 피드백 시리즈 기능이 향상되었습니다. 그림 3에서 볼 수 있듯이 첫 번째 부분에서 연구원들은 코드에 대한 LLM의 사전 교육이 LLM의 작업 범위를 자연어 이상으로 확장했음을 발견했습니다. 이러한 모델은 수학 이론을 위한 코드 생성, 일반 프로그래밍 작업 및 데이터 검색을 포함한 다양한 애플리케이션을 지원할 수 있습니다. 코드는 논리적으로 일관되고 순서가 지정된 단계 시퀀스를 생성해야 하며 이는 효과적인 실행에 필수적입니다. 또한 코드의 각 단계를 실행할 수 있으므로 논리를 단계별로 확인할 수 있습니다. 사전 훈련에 이러한 코드 속성을 활용하고 포함하면 많은 기존 자연어 다운스트림 작업에서 LLM의 CoT(사상 사슬) 성능이 향상되어 복잡한 추론 기술의 향상을 검증할 수 있습니다. 동시에, codeLLM은 구조화된 코드 형식을 암묵적으로 학습함으로써 마크업 언어, HTML 및 다이어그램 이해와 관련된 상식적인 구조적 추론 작업에서 더 나은 성능을 발휘합니다. 그림 4에 표시된 것처럼 LLM을 다른 기능적 목적과 연결(예: 외부 도구 및 실행 모듈을 통해 LLM 기능 확장)하면 LLM이 작업을 보다 정확하고 안정적으로 수행하는 데 도움이 됩니다. 두 번째 부분에서 연구원들은 표 1에 표시된 것처럼 일반적인 추세를 관찰했습니다. LLM은 프로그래밍 언어를 생성하거나 사전 정의된 기능을 활용하여 다른 기능 엔드포인트와의 연결을 설정합니다. 이 "코드 중심 패러다임"은 LLM의 추론 메커니즘에서 엄격하게 하드 코딩된 도구 호출의 엄격한 접근 방식과 다릅니다. 이를 통해 LLM은 조정 가능한 매개 변수를 사용하여 실행 모듈을 호출하는 토큰을 동적으로 생성할 수 있습니다. 이 패러다임은 LLM이 다른 기능적 목적과 상호 작용할 수 있는 간단하고 명확한 방법을 제공하여 애플리케이션의 유연성과 확장성을 향상시킵니다. 더 중요한 것은 LLM이 여러 양식과 영역을 포괄하는 수많은 기능적 끝점과 상호 작용할 수 있다는 것입니다. LLM에 액세스할 수 있는 기능 터미널의 수와 다양성을 확장함으로써 LLM은 보다 복잡한 작업을 처리할 수 있습니다. 그림 5에서 볼 수 있듯이 LLM을 코드 실행 환경에 포함하면 자동화된 피드백과 독립적인 모델 개선을 달성할 수 있습니다. LLM은 피드백을 수용할 수 있기 때문에 교육 매개변수 범위를 넘어서는 성능을 발휘합니다. 그러나 시끄러운 큐 입력이 다운스트림 작업에서 LLM의 성능을 방해할 수 있으므로 피드백은 신중하게 선택해야 합니다. 게다가 인적 자원 비용이 많이 들기 때문에 진정성을 유지하면서 피드백을 자동으로 수집해야 합니다. 세 번째 부분에서 연구원들은 LLM을 코드 실행 환경에 포함시키면 이러한 기준을 모두 충족하는 피드백을 얻을 수 있다는 것을 발견했습니다. 우선 코드 실행이 결정적이기 때문에 코드 실행 결과로부터 피드백을 얻는 것은 LLM이 수행하는 작업을 직접적이고 충실하게 반영할 수 있습니다. 또한 코드 해석기는 LLM에 내부 피드백을 자동으로 쿼리하는 방법을 제공하므로 LLM을 활용하여 잘못된 코드를 디버그하거나 최적화할 때 값비싼 사람이 주석을 추가할 필요가 없습니다. 또한 코드 컴파일 및 실행 환경을 통해 LLM은 바이너리 수정 및 오류 평가의 간단한 생성, 실행 결과에 대한 약간 더 복잡한 자연어 설명, 피드백 방법을 사용한 다양한 순위 지정 등 다양하고 포괄적인 외부 피드백 형식을 통합할 수 있습니다. 성능을 향상시키는 방법을 고도로 맞춤화할 수 있습니다. 코드 훈련 데이터 통합이 LLM의 기능을 향상시키는 다양한 방법을 분석함으로써 연구자들은 LLM에 권한을 부여하는 코드의 장점이 지능형 에이전트 개발의 핵심 LLM 응용 분야에서 특히 분명하다는 사실을 발견했습니다. 그림 6은 지능형 비서의 표준 작업 흐름을 보여줍니다. 연구원들은 LLM의 코드 교육을 통해 얻은 개선 사항이 지능형 보조자로서 수행하는 실제 단계에도 영향을 미친다는 사실을 관찰했습니다. 이 단계에는 (1) 상황 인식 및 계획에서 IA의 의사 결정 능력 강화, (2) 모듈식 작업 기본 요소 및 효율적인 조직 메모리에 작업을 구현하여 전략 실행 최적화, (3) 성능 최적화가 포함됩니다. 코드 실행 환경에서 자동으로 파생된 피드백을 통해 요약하자면, 이 리뷰에서 연구자들은 코드가 어떻게 LLM에 강력한 기능을 제공하는지, 코드가 LLM이 지능형 에이전트 의사 결정 센터로 작동하도록 지원하는 방법을 분석하고 명확히 합니다. 연구원들은 포괄적인 문헌 검토를 통해 코드 교육 후 LLM이 프로그래밍 기술과 추론 능력을 향상하고 모드와 도메인 전반에 걸쳐 다양한 기능적 목적과 유연한 연결을 구현하는 능력을 얻었으며 평가 모듈은 코드 실행 환경에 통합되어 자동 자체 개선을 달성합니다. 또한 코드 교육을 통해 향상된 LLM 기능은 의사 결정, 실행, 자기 개선과 같은 특정 운영 단계에 반영되는 다운스트림 애플리케이션에서 지능형 에이전트로서의 성능을 높이는 데 도움이 됩니다. 연구자들은 이전 연구를 검토하는 것 외에도 잠재적인 미래 방향을 위한 지침 요소로서 해당 분야의 여러 가지 과제를 제안했습니다. 위 내용은 뛰어난 프로그래밍 리소스를 활용하고 거대 모델과 에이전트가 더욱 강력한 힘을 발휘합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
