안정성 AI 오픈 소스 3B 코드 생성 모델: 완료 및 디버깅 가능

이번 월요일 Stability AI는 소량 사전 학습 모델 Stable Code Instruct 3B를 오픈소스화했습니다.

Stable Code Instruct 3B는 Stable Code 3B를 기반으로 한 명령어 적응 코딩 언어 모델(Code LM)입니다. 자연어 프롬프트를 제공함으로써 모델은 코드 생성, 수학적 문제 및 소프트웨어 엔지니어링과 관련된 기타 작업을 포함한 다양한 작업에 적용될 수 있습니다.

안정성 AI는 자신의 모델이 규모 3B에서 최첨단 성능을 보여 CodeLlama의 7B Instruct와 같은 대규모 모델을 능가하고 심지어 소프트웨어 엔지니어링 관련 작업에서 StarChat의 15B 모델과 일치한다고 주장합니다. 성능은 비슷합니다.

• 모델: https://huggingface.co/stabilityai/stable-code-instruct-3b
• HuggingFace 체험판: https://huggingface.co/spaces/ stableai/stable-code-instruct-3b
• 안정적인 코드 기술 보고서: https://static1.squarespace.com/static/6213c340453c3f502425776e/t/6601c5713150412edcd56f8e/1711392114564/Stable _Code_TechReport_release.pdf

Stable Code Instruct 3B는 프로그래밍 및 소프트웨어 개발 작업의 효율성과 직관성을 향상시키는 것을 목표로 코드 완성 기능을 업그레이드하고 자연어 상호 작용을 지원합니다. 실험 결과에 따르면 이 모델은 Codellama 7B Instruct 및 DeepSeek-Coder Instruct 1.3B와 같은 경쟁 모델을 능가하여 다양한 코딩 관련 작업에서 우수한 성능을 발휘하는 것으로 나타났습니다.

방법 소개

Stable 코드는 Stable LM 3B를 기반으로 합니다. Stable Code는 LLaMA 아키텍처와 유사한 인과 순수 디코더 변환기입니다. LLaMA와의 주요 차이점은 다음과 같습니다.

• 위치 임베딩, 회전 위치 임베딩은 처리량을 향상시키기 위해 헤드 임베딩 차원의 처음 25%에 적용됩니다. ;
• 학습된 편향 용어가 포함된 LayerNorm
• 편향(키, 쿼리 및 값 예측에 대한 편향 제외), Stable Code는 피드포워드 네트워크 및 다중 헤드 Self-Attention 레이어에서 모든 편향 조건을 제거합니다.

다음 표는 사전 훈련 코퍼스 데이터 세트의 샘플링 가중치, 에포크, 카테고리 및 기타 정보를 보여줍니다.

Stack Overflow 2023 개발자 설문조사 보고서에 따르면 Stable Code Instruct 3B는 Python, Javascript, Java, C, C++, Go와 같은 언어에 중점을 두고 있습니다. 다양한 개발자 중 가장 인기 있고 영향력이 크다. 이러한 언어가 훈련의 초점으로 선택되었지만 모델은 SQL, PHP, Rust와 같이 널리 채택된 다른 언어에 대해서도 훈련되었습니다.

안정적인 Code Instruct 3B는 처음에 훈련 세트에 포함되지 않았던 언어(예: Lua)에 대해서도 강력한 테스트 성능을 제공합니다. 이러한 숙련도는 기본 코딩 원리에 대한 이해와 코딩 작업의 고유한 예측 가능성을 활용하여 다양한 프로그래밍 환경에서 개념을 적용하는 능력에서 비롯됩니다.

Stable Code Instruct 3B는 코드 생성뿐만 아니라 FIM(Fill in the Middle) 작업, 데이터베이스 쿼리, 코드 번역, 해석 및 생성에도 능숙합니다. 그 명령어는 미묘한 명령어를 이해하고 이에 따라 조치를 취할 수 있도록 조정되어 단순한 코드 완성을 넘어 수학적 이해, 논리적 추론, 소프트웨어 개발과 관련된 복잡한 기술 설명 처리 등 광범위한 코딩 작업을 촉진합니다.

성능 평가

Codellama 7B Instruct 및 DeepSeek-Coder Instruct 1.3B와 같은 주요 모델과 비교하여 Stable Code Instruct 3B는 다양한 코딩 작업에서 탁월한 성능을 보여줍니다.

연구팀은 Multi-PL 벤치마크에서도 세 가지 모델을 비교했습니다. 매개 변수 수가 적음에도 불구하고 Stable Code Instruct 3B는 모든 언어에서 CodeLlama Instruct보다 훨씬 뛰어난 성능을 보였습니다.

아래 표 8은 FIM 작업에 대한 여러 모델의 성능을 보여줍니다.

실험 테스트에 따르면 Stable Code Instruct 3B는 코드 완성 정확도와 자연어 측면에서 더 나은 성능을 나타냅니다. 처리 명령어 이해 및 다양한 프로그래밍 언어 확장 능력 측면에서 다른 모델과 비슷하거나 심지어 이를 능가합니다.

안정적인 Code Instruct 3B의 매개변수 크기와 낮은 하드웨어 요구 사항을 통해 광범위한 사용자가 액세스할 수 있으므로 개발자가 보다 효율적으로 작업할 수 있습니다. 이제 Stability AI 멤버십을 통해 Stable Code Instruct 3B를 상업적 목적으로 사용할 수 있다는 점을 언급할 가치가 있습니다.

위 내용은 안정성 AI 오픈 소스 3B 코드 생성 모델: 완료 및 디버깅 가능의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!