11일 간의 오픈 소스 이후 Musk는 Grok-1.5를 다시 출시하여 128K 코드가 GPT-4를 물리쳤습니다!

Grok-1이 오픈소스로 정식 발표된 지 반달만에 새롭게 업그레이드된 Grok-1.5가 출시되었습니다.

방금 Musk xAI는 128K 컨텍스트 Grok-1.5가 추론 기능을 크게 향상시켰다고 공식 발표했습니다.

그리고 곧 온라인에 공개될 예정입니다.

11일 전 Grok-1 모델의 무게와 아키텍처가 오픈 소스로 공개되어 Xai가 지난 11월 이전에 이룬 발전을 보여주었습니다.

Grok-1에는 Llama 2보다 4배 더 많은 3,140억 개의 매개변수가 있으며 MoE 아키텍처를 사용합니다. 전문가 8명 중 2명이 활동적인 전문가입니다.

Xai 소개, 즉 그 이후로 팀은 최신 모델 Grok-1.5의 추론 및 문제 해결 능력을 향상시켰습니다.

OpenAI의 전 개발자 관계 책임자는 xAI의 주요 출시 시기를 보면 그들의 속도와 긴박감을 알 수 있다고 말했습니다. 신나는!

128K 컨텍스트, Grok-1.5 수학적 추론 기능이 급증했습니다

공식 소개에 따르면 Grok-1.5는 컨텍스트 길이가 128K로 향상되었습니다.

Grok-1.5의 가장 중요한 개선 사항 중 하나는 코딩 및 수학 관련 작업의 성능입니다.

테스트에서 Grok-1.5는 수학 벤치마크에서 50.6%, GSM8K 벤치마크에서 90%를 달성했습니다. 이 두 수학 벤치마크는 초등학교부터 고등학교까지 다양한 경쟁 문제를 다루고 있습니다.

또한 Grok-1.5는 코드 생성 및 문제 해결 능력을 평가하는 HumanEval 벤치마크에서 74.1%의 높은 점수를 획득했습니다.

아래 그림에서 Grok-1과 비교하면 Grok-1.5의 수학 능력이 GSM8K에서는 62.9%에서 90으로, MATH에서는 23.9%에서 50.6%로 크게 향상되었음을 알 수 있습니다.

128K 긴 컨텍스트 이해, 16배 확장

Grok-1.5의 또 다른 새로운 기능은 컨텍스트 창 내에서 최대 128K 토큰의 텍스트를 처리할 수 있는 기능입니다.

이렇게 하면 Grok의 메모리 용량이 이전 컨텍스트 길이의 16배로 늘어나 더 긴 문서의 정보를 활용할 수 있습니다.

또한 새 모델은 컨텍스트 창이 확장되어도 지침을 따르는 기능을 유지하면서 더 길고 복잡한 프롬프트를 처리할 수 있습니다.

NIAH(Needle In A Haystack) 평가에서 Grok-1.5는 최대 128K 바이트 길이의 컨텍스트에 포함된 텍스트를 검색하는 강력한 검색 기능을 보여주었으며 완벽한 검색 결과를 달성했습니다.

Grok-1.5 인프라

Grok-1.5는 JAX, Rust 및 Kubernetes를 기반으로 하는 맞춤형 분산 교육 프레임워크를 기반으로 구축되었습니다.

이 교육 스택을 통해 xAI 팀은 최소한의 투자로 대규모 아이디어를 구축하고 새로운 아키텍처를 교육할 수 있습니다.

대규모 컴퓨팅 클러스터에서 LLM을 교육할 때 가장 큰 과제는 교육 작업의 안정성과 가동 시간을 극대화하는 것입니다.

xAI의 맞춤형 훈련 조정자는 문제가 있는 노드를 자동으로 감지하고 훈련 작업에서 제거하도록 보장합니다.

동시에 체크포인트, 데이터 로딩, 훈련 작업 재시작을 최적화하여 오류 발생 시 가동 중지 시간을 최소화했습니다.

xAI는 Grok-1.5가 모델 개선을 위해 곧 초기 테스터에게 제공될 것이라고 밝혔습니다.

또한 블로그에서는 Grok-1.5가 며칠 내에 출시될 몇 가지 새로운 기능을 미리 선보였습니다.

드디어 xAI가 언제나처럼 모집 정보를 올렸습니다.

위 내용은 11일 간의 오픈 소스 이후 Musk는 Grok-1.5를 다시 출시하여 128K 코드가 GPT-4를 물리쳤습니다!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!