Kimi Chat 내부 테스트 시작, Volcano Engine 가속 솔루션 제공, Moonshot AI 대형 모델 서비스 훈련 및 추론 지원

10월 9일, Beijing Dark Side of the Moon Technology Co., Ltd.(Moonshot AI)는 '긴 텍스트' 분야의 획기적인 발전을 발표하고 200,000개의 한자 입력을 지원하는 최초의 지능형 비서 제품인 Kimi Chat을 출시했습니다. 이는 글로벌 시장에서 상업적으로 사용할 수 있는 대규모 모델 서비스가 지원할 수 있는 가장 긴 컨텍스트 입력 길이로, 이 중요한 기술에서 Moonshot AI의 세계 최고 수준을 나타냅니다.

Volcano Engine은 Moonshot AI와 긴밀한 협력을 통해 매우 안정적이고 비용 효율적인 AI 교육 및 추론 가속화 솔루션을 독점적으로 제공합니다. 두 당사자는 대규모 언어 모델의 수직 적용을 공동으로 촉진하기 위해 기술 연구 및 개발을 공동으로 수행합니다. 필드 및 일반 시나리오. 동시에 Kimi Chat은 곧 Volcano Engine 대형 모델 서비스 플랫폼인 Volcano Ark에 합류할 예정입니다. 양 당사자는 계속해서 대형 모델 생태학 분야에서 기업과 소비자에게 더욱 풍부한 AI 애플리케이션을 제공할 것입니다.

현재 시중에 나와 있는 영어를 기반으로 학습된 대형 모델 서비스에 비해 Kimi Chat은 강력한 다국어 기능을 갖추고 있습니다. 예를 들어 Kimi Chat은 중국어에 상당한 이점이 있으며 실제 사용 효과는 약 200,000개의 컨텍스트를 지원할 수 있습니다. Anthropic의 Claude-100k(실제로 측정된 약 80,000단어)의 2.5배, OpenAI의 GPT-4-32k(실제로 측정된 약 25,000단어)의 8배입니다. 동시에 Kimi Chat은 혁신적인 네트워크 구조와 엔지니어링 최적화를 통해 수천억 개의 매개변수 하에서 무손실 장거리 주의 메커니즘을 달성할 수 있으며 슬라이딩 윈도우, 다운샘플링, 소형 모델과 같은 "단축" 솔루션에 의존하지 않습니다. 성능이 크게 손상될 수 있습니다.

이전 인터뷰에서 Moonshot AI의 창립자인 Yang Zhilin은 대용량 데이터를 무손실 압축하면 텍스트든 음성이든 영상이든 높은 수준의 지능을 달성할 수 있다고 말한 적이 있습니다. 대형 모델의 성능 상한(즉, 무손실 압축 비율)은 단일 단계 성능과 실행된 단계 수에 따라 결정됩니다. 전자는 매개변수 수와 관련이 있고 후자는 컨텍스트 길이를 나타냅니다

대규모 언어 모델을 구현하는 과제에 대처하고 산업 애플리케이션 구현을 촉진합니다.

Moonshot AI는 컨텍스트 길이를 늘리면 대규모 모델 애플리케이션에 새로운 개발 기회가 주어져 LLM 시대에서 Long LLM(LLLM) 시대로 진입하고 다양한 산업에 대한 정밀한 적응을 달성할 수 있다고 믿습니다. 긴 텍스트 장면을 처리하기 위한 효과적인 방법을 모색할 때 대규모 모델 애플리케이션은 모델 환상 문제를 해결하고 생성된 콘텐츠의 제어 가능성을 향상시키기 위한 새로운 수단을 지속적으로 탐색하는 동시에 개인화된 대규모 모델 기능 개발을 위한 새로운 경로를 모색해야 합니다. . 대규모 언어 모델의 개발 과정에서는 컴퓨팅 리소스 요구 사항의 확장, 작업 엔지니어링의 불안정성, 높은 프로젝트 비용, 보안 및 신뢰도 등 여러 임계값을 극복하여 교육 효율성을 향상시켜야 합니다. 모델

위 문제를 해결하기 위해 Moonshot AI는 Volcano Engine과 손잡고 AI 기술을 혁신하고 Volcano Engine 머신러닝 플랫폼 veMLP에서 AGI 실습을 진행하고 있습니다. Moonshot AI는 GPU 리소스 풀을 최대한 활용하고 대규모 사전 훈련 모델을 기반으로 하루 수천 칼로리 규모의 정상적이고 안정적인 훈련을 달성하기 위해 6개월 이내에 대규모 언어 모델 Kimi Chat을 훈련했습니다. 수천억 개의 매개 변수 규모로 전문적인 장면 작성 및 초장문 텍스트를 잠금 해제합니다. 분석, 초장기 메모리를 통한 개인화된 대화, 수많은 문서를 기반으로 한 지식 Q&A 등 복잡한 시나리오를 이해할 수 있으며, 많은 유명 회사에서 성공적으로 사용되었습니다.

Moonshot AI 공동 창립자 Zhou Xinyu는 다음과 같이 말했습니다. "Moonshot AI는 일반 인공 지능의 경계를 탐색하는 데 중점을 두고 컴퓨팅 성능을 지능형 최적 솔루션으로 전환하는 데 전념하고 있습니다. Volcano Engine은 국내 최고의 인프라 역량과 컴퓨팅 파워 보유량을 보유하고 있습니다. 양 당사자는 인공 지능 기술 개발을 공동으로 추진하고 사용자에게 안정적이고 효율적이며 지능적인 서비스 경험을 제공하기 위해 AI 컴퓨팅 인프라 및 응용 시나리오 확장 등 분야에서 더욱 협력할 것입니다.”

Volcano Engine 머신러닝 플랫폼을 사용하면 대형 모델의 학습이 더욱 안정적이고 빨라질 수 있습니다

Volcano Engine은 대형 모델 구축 및 훈련을 위한 매우 안정적이고 비용 효과적인 AI 훈련 및 추론 가속화 솔루션을 제공합니다. 해당 기계 학습 플랫폼 veMLP는 Douyin과 같은 대규모 사용자 비즈니스에 의해 오랫동안 다듬어져 풀스택 AI 개발 엔지니어링 최적화 솔루션, 작업 오류 자가 치유, 실험적 관찰 가능성 등의 솔루션과 모범 사례는 효율적이고 안정적이며 안전하고 신뢰할 수 있는 원스톱 AI 알고리즘 개발 및 반복 서비스를 제공하여 대규모 모델 훈련을 더 빠르고 더 많이 만듭니다. 안정적이고 비용 효율적입니다. Moonshot AI는 Volcano Engine에서 제공하는 초대형 AI 훈련 및 추론 가속화 솔루션을 기반으로 팀이 대규모 언어 모델의 지속적인 훈련 반복, 미세 조정 및 추론을 빠르고 안정적이며 저렴한 비용으로 달성할 수 있도록 지원합니다.

1. IaaS 컴퓨팅 성능 및 스토리지 리소스의 확장된 예약

10,000ka 수준의 대규모 모델 훈련, 마이크로초 수준의 지연 네트워크 및 탄력적인 컴퓨팅을 달성하기 위한 고성능 컴퓨팅 클러스터를 구축하면 vePFS+TOS 핫 및 콜드 계층 가속 솔루션을 사용하여 컴퓨팅 전력 비용을 70% 절감할 수 있습니다. 훈련 데이터 처리량을 높이면서 전체 스토리지 비용을 65% 절감합니다. 대형 모델의 파일 ​​시스템 읽기 및 쓰기 패턴을 위해 전용 파일 캐싱 시스템을 공동 개발하여 그래픽 카드 활용도를 대폭 향상했습니다.

2. PaaS 컴퓨팅 클러스터의 안정성 보장

대규모 훈련 클러스터의 안정성 최적화, 하드웨어 결함 자가 치유 최적화 및 독립적인 진단 기능 제공, 사용자 작업이 신속하게 훈련을 재시도 및 재개할 수 있도록 허용, 월별 안정적인 훈련 달성, 다중 시스템의 통신 선호도 최적화를 통해 RingAllReduce 감소 훈련 작업 스위치 간에 통신합니다.

3. 높은 가시성을 실험해보세요

여러 훈련 작업에 대한 실험 관리 및 시각화를 통해 훈련 결과를 비교하여 반복적으로 시작할 모델을 결정합니다. 전체 모니터링 로그를 사용하여 비즈니스가 3D 병렬 매개변수를 최적화하고 훈련 결함을 찾는 데 도움을 줍니다.

대형 모델 서비스를 위한 보안 및 상호 신뢰 솔루션

신뢰할 수 있는 개인 정보 보호 컴퓨팅과 LLM 애플리케이션을 결합하여 보안 샌드박스 기능을 제공하고 개발자 권한 제어를 개선합니다. 또한 Volcano Engine은 Moonshot AI와 함께 작동하여 대규모 모델 개발 습관에 적합한 워크플로를 설계하여 데이터에 대한 계층적 액세스를 보장하고 데이터 보안을 보장하는 동시에 작업 효율성을 보장합니다.

Volcano Engine의 지능형 알고리즘 책임자인 Wu Di는 다음과 같이 말했습니다. "Volcano Engine은 항상 기술에 집중하고, 파트너에게 권한을 부여하며, 가치의 공생에 집중하는 협력적 태도를 고수해 왔습니다. Moonshot AI는 업계에서 가장 발전된 대형 모델 R&D 팀을 보유하고 있습니다. 중국은 AI 기술에 대한 심층적인 이해와 적용 경험을 보유하고 있으며, 양 당사자 간의 협력을 통해 기업과 소비자에게 다중 모델 생태 서비스 분야에서 더욱 풍부한 AI 애플리케이션을 제공할 것입니다.”

화산방주 전경

현재 Volcano Ark는 Zhipu AI, Minimax, ByteDance Skylark 등 많은 AI 기술 회사 및 연구 기관의 대형 모델을 유치했습니다. 문샷AI의 대형모델 서비스 키미챗도 볼케이노방주에 찾아온다. 볼케이노엔진은 국내 우수 대형 모델 서비스 제공업체들과 협력해 모델 훈련, 추론, 평가, 미세 조정 등 전 범위의 기능과 서비스를 제공함으로써 각계각층이 AI 발전을 가속화할 수 있도록 지원할 예정이다. 모든 기업은 볼케이노방주에서 대형모델을 체험하실 수 있습니다. 볼케이노방주는 모두와 함께 성장할 의향이 있습니다!

위 내용은 Kimi Chat 내부 테스트 시작, Volcano Engine 가속 솔루션 제공, Moonshot AI 대형 모델 서비스 훈련 및 추론 지원의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!