Mistral AI 2회 연속 출시: 7B 수학적 추론 전용, Mamba2 아키텍처 코드 대형 모델

네티즌들은 Mathstral이 "9.11과 9.9 중 누가 더 큰가?"라는 문제를 풀 수 있을지 궁금해하고 있습니다.

어제 AI 서클은 "9.11과 9.9 중 누가 더 큰가?"라는 간단한 질문에 압도당했습니다. OpenAI GPT-4o, Google Gemini 등 빅 언어 모델이 모두 뒤집혔습니다.

이를 통해 우리는 대규모 언어 모델이 일부 수치 문제를 다룰 때 인간처럼 이해하고 올바른 답을 줄 수 없다는 것을 알 수 있습니다.

숫자 및 복잡한 수학 문제의 경우 특수 모델이 더욱 특화되어 있습니다.

오늘, 프랑스 대형 모델 유니콘 Mistral AI가 복잡하고 다단계 논리적 추론이 필요한 고급 수학적 문제를 해결하기 위해 수학적 추론과 과학적 발견에 중점을 둔 7B 대형 모델 "Mathstral"을 출시했습니다.

이 모델은 Mistral 7B를 기반으로 구축되었으며 32k의 컨텍스트 창 길이를 지원하고 오픈 소스 계약인 Apache 2.0 라이선스를 따릅니다.

Mathstral은 Mistral AI가 특히 미세 조정 기능을 통해 적극적으로 추진하는 개발 철학인 뛰어난 성능-속도 절충을 추구하기 위해 만들어졌습니다.

동시에 Mathstral은 사용하거나 미세 조정할 수 있는 교육 모델입니다. 모델 가중치가 HuggingFace에 배치되었습니다.

• 모델 체중: https://huggingface.co/mistralai/mathstral-7B-v0.1

아래 그림은 Mathstral 7B와 Mistral 7B의 MMLU 성능 차이를 보여줍니다(프레스) 주제 구분).

Mathstral은 다양한 업계 표준 벤치마크에서 규모에 맞는 최첨단 추론 성능을 달성합니다. 특히 MATH 데이터 세트에서는 56.6%의 합격률, MMLU에서는 63.47%의 합격률을 달성했습니다.

동시에 Mathstral의 MATH 합격률(56.6%)은 Minerva 540B보다 20% 이상 높습니다. 또한 Mathstral은 MATH에서 64%의 다수 투표로 68.4%, 보상 모델을 사용하여 74.6%를 기록했습니다.

이 결과는 또한 Mathstral이 "9.11과 9.9 중 누가 더 큰가?"라는 문제를 해결할 수 있을지 궁금해졌습니다.

코드 대형 모델: Codestral Mamba

• 모델 가중치: https://huggingface.co/mistralai/mamba-codestral-7B-v0.1

함께 Mathstral 7B와 함께 출시된 Codestral Mamba 모델은 코드 생성에 특별히 사용되며 Mamba2 아키텍처를 사용하고 Apache 2.0 라이센스 오픈 소스 계약도 따릅니다. 이는 연구자들이 무료로 사용, 수정 및 배포할 수 있는 70억 개 이상의 매개변수를 포함하는 지침 모델입니다.

Codestral Mamba는 Mamba 작가인 Albert Gu와 Tri Dao의 도움으로 디자인되었다는 점을 언급할 가치가 있습니다.

오랫동안 Transformer 아키텍처는 AI 분야의 절반을 지원해 왔습니다. 그러나 Transformer와 달리 Mamba 모델은 선형 시간 추론의 장점이 있으며 이론적으로 무한 길이의 시퀀스를 모델링할 수 있습니다. 이 아키텍처를 통해 사용자는 입력 길이에 제한을 받지 않고 모델과 광범위하고 즉각적으로 상호 작용할 수 있습니다. 이러한 효율성은 코드 생성에 특히 중요합니다.

벤치마크 테스트에서 Codestral Mamba는 HumanEval 테스트에서 경쟁 오픈 소스 모델 CodeLlama 7B, CodeGemma-1.17B 및 DeepSeek보다 성능이 뛰어났습니다.

Mistral은 Mistral의 a la Plateforme API에서 무료로 제공되는 모델을 테스트했으며 OpenAI의 GPT-4o의 두 배인 최대 256,000개의 토큰 입력을 처리할 수 있습니다.

Codestral Mamba가 출시되면서 일부 네티즌들은 이를 VSCode에서 사용했는데 매우 부드럽습니다. ㅋㅋㅋ

위 내용은 Mistral AI 2회 연속 출시: 7B 수학적 추론 전용, Mamba2 아키텍처 코드 대형 모델의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!