Mistral 오픈 소스 코드 모델이 왕좌를 차지했습니다! Codestral은 80개 이상의 언어로 교육하는 데 열중하고 있으며 국내 Tongyi 개발자들이 참여를 요청하고 있습니다!

제작자: 51CTO Technology Stack(WeChat ID: blog51cto)

Mistral이 첫 번째 코드 모델 Codestral-22B를 출시했습니다!

이 모델의 놀라운 점은 많은 코드 모델이 무시하는 Swift 등을 포함하여 80개가 넘는 프로그래밍 언어로 훈련되었다는 점만은 아닙니다.

두 속도는 정확히 동일하지 않습니다. Go 언어를 사용하여 "게시/구독" 시스템을 작성해야 합니다. 여기 GPT-4o가 출력되고 있는데 Codestral이 종이를 너무 빨리 넘겨서 보기 힘들 정도예요!

이 모델은 출시된 지 얼마 되지 않아 아직 공개 테스트를 거치지 않았습니다. 하지만 Mistral 담당자에 따르면 Codestral은 현재 가장 성능이 좋은 오픈 소스 코드 모델입니다. ㅋㅋㅋ mistral.ai/news/codestral/

블로그에 따르면 Codestral은 긴 텍스트와 70B CodeLlama, 33B Deepseek Coder 및 70B Llama 3 70B를 포함한 여러 프로그래밍 언어 성능 테스트에서 경쟁사를 능가했습니다.

Pictures

코드 모델의 '왕'이자 Codestral의 강점을 자세히 살펴보겠습니다.

1. Codestral은 코드 모델의 표준을 설정합니다

Codestral은 22B 모델로서 코드 생성의 성능/지연 공간에 대한 새로운 표준을 설정합니다. Codestral 22B의 핵심은 32K 컨텍스트 길이를 특징으로 하여 개발자가 다양한 프로그래밍 환경 및 프로젝트에서 코드를 작성하고 코드와 상호 작용할 수 있는 기능을 제공합니다.

이미지

위: Codestral은 경쟁사의 4k, 8k 또는 16k와 달리 32k의 더 큰 컨텍스트 창을 통해 코드 생성의 원격 평가인 RepoBench에서 다른 모든 모델보다 성능이 뛰어납니다.

Codestral은 80개가 넘는 프로그래밍 언어의 데이터 세트에 대해 미친듯이 훈련되어 처음부터 코드 생성, 코딩 기능 완료, 테스트 작성 및 중간 패딩 메커니즘으로 마무리를 포함한 다양한 프로그래밍 작업에 적합합니다. 코드의 모든 부분 .

여기에서 다루는 프로그래밍 언어에는 널리 사용되는 SQL, Python, Java, C 및 C++는 물론 더 구체적인 Swift 및 Fortran 등이 포함되어 프로그래밍 세계의 제너럴리스트가 되었습니다.

Mistral은 Codestral이 개발자가 코딩 기술을 향상시키고 작업 흐름 속도를 높이며 애플리케이션 구축 시 많은 시간과 노력을 절약하는 데 도움이 될 수 있다고 말했습니다. 말할 것도 없이 오류와 취약점의 위험을 줄이는 데도 도움이 될 수 있습니다.

위: 다양한 프로그래밍 언어에서 Codestral 성능에 대한 HumanEval 평가 ​​

Python 출력 예측을 테스트하는 HumanEval 및 CruxEval에서 Python 코드 생성을 평가할 때 모델은 각각 81.1% 및 51.3%를 기록하여 경쟁 제품보다 성능이 뛰어납니다. . Bash, Java 및 PHP용 HumanEval에서도 1위를 차지했습니다.

C++, C 및 Typescript에 대한 HumanEval에서의 모델 성능이 최고는 아니지만 모든 테스트의 평균 점수가 61.5%로 가장 높으며 이는 Llama 3 70B의 61.2%보다 약간 높습니다. SQL 성능을 평가하는 스파이더 평가에서는 63.5%로 2위에 올랐다.

일부 인기 있는 개발자 생산성 및 AI 애플리케이션 개발 도구가 Codestral 테스트를 시작했습니다. 여기에는 LlamaIndex, LangChain, Continue.dev, Tabnine 및 JetBrains와 같은 유명 기업이 포함됩니다.

"초기 테스트부터 빠르고, 유리한 컨텍스트 창을 가지며, 버전 지원 도구 사용을 안내하기 때문에 생성 코드 워크플로에 좋은 선택입니다. 테스트의 자체 수정 코드 생성을 위해 LangGraph를 사용했습니다. 출력에 사용할 안내 Codestral 도구이며 기본적으로 정말 잘 작동했습니다.”라고 LangChain의 CEO이자 공동 창립자인 Harrison Chase가 말했습니다.

또한 Codestral은 JetBrains, SourceGraph 및 LlamaIndex를 포함한 여러 업계 파트너와 협력했습니다. LlamaIndex의 CEO인 Jerry Liu는 Codestral 테스트에 대해 "지금까지 복잡한 작업에서도 항상 매우 정확하고 사용 가능한 코드를 생성했습니다. 예를 들어, 새로운 When LlamaIndex를 생성하는 작업을 완료하도록 요청했을 때 엔진의 지루하지 않은 기능을 쿼리하면 생성되는 코드가 이전 코드 기반에도 불구하고 원활하게 작동합니다."

2. Codestral을 시작하는 방법은 무엇입니까?

Mistral은 자체 비상업적 라이센스에 따라 Hugging Face에 Codestral 22B를 제공하여 개발자가 비상업적 목적으로 기술을 사용하고 연구 노력을 테스트하고 지원할 수 있도록 합니다.

회사는 두 개의 API 엔드포인트(codestral.mistral.ai 및 api.mistral.ai)를 통해 모델도 제공합니다.

전자는 IDE 내부에서 Codestral의 가이드 또는 중간 채우기 경로를 사용하려는 사용자를 위해 설계되었습니다. 일반적인 조직 비율 제한 없이 개인 수준 API 키와 함께 제공되며 8주 테스트 기간 동안 무료로 사용할 수 있습니다. api.mistral.ai는 광범위한 연구, 일괄 쿼리 또는 타사 애플리케이션 개발을 위한 일반적인 엔드포인트이지만 쿼리는 토큰별로 요금이 청구됩니다.

더 흥미로운 점은 Mistral이 Le Chat에서 Codestral의 안내 버전을 출시하여 무료 대화 인터페이스 Le Chat을 통해 Codestral에 액세스할 수 있다는 것입니다. 개발자는 모델의 기능을 최대한 활용하면서 자연스럽고 직관적으로 Codestral과 상호 작용할 수 있습니다.

3. 마지막에 작성

얼마 전 알리바바가 오픈소스로 공개한 70억 매개변수 대형 모델 CodeQwen1.5-7B 등 국내 대형 모델 중에서도 놀라운 성능을 자랑하는 코드 모델도 있습니다.

HumanEval 테스트에서 CodeQwen1.5-7B-Chat 버전의 점수는 심지어 GPT-4 초기 버전을 넘어섰고 GPT-4-Turbo(2023년 11월 버전)보다 약간 낮았습니다.

Pictures

CodeQwen의 개발자인 Binyuan Hui는 Tongyi를 데리고 함께 평가할 것을 축하하면서 Mistral의 공동 창작자인 Guillaume Lample에게 상기시키는 것을 잊지 않았습니다!

Pictures

곧 CodeQwen1.5-7B와 Codestral이 경기장에서 경쟁하는 모습을 볼 수 있을 것으로 예상됩니다.

AIGC에 대해 자세히 알아보려면 다음을 방문하세요.

51CTO AI.x 커뮤니티

https://www.51cto.com/aigc/

위 내용은 Mistral 오픈 소스 코드 모델이 왕좌를 차지했습니다! Codestral은 80개 이상의 언어로 교육하는 데 열중하고 있으며 국내 Tongyi 개발자들이 참여를 요청하고 있습니다!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!