AI의 주요 전장에서 Wanka는 표준 구성입니다. 국내 GPU Wanka WanP 클러스터가 여기에 있습니다!

스케일링 법칙이 계속 적용되어 컴퓨팅 성능이 대형 모델의 확장 속도를 거의 따라잡을 수 없습니다. "규모가 클수록 컴퓨팅 성능이 높아지고 효과가 좋아진다"는 것이 업계 표준이 되었습니다. 주류 대형 모델이 수백억 개에서 1조 8천억 개 매개변수로 도약하는 데 불과 1년이 걸렸다. META, 구글, 마이크로소프트 등 거대 기업들도 2022년부터 카드가 1만5000개 이상인 초대형 클러스터를 구축해왔다. "Wanka는 주요 AI 전장의 표준이 되었습니다."

그러나 중국에서는 국산 GPU Wanka 클러스터가 소수에 불과합니다. 업계에서 격차가 있는 초다용성을 갖춘 초대형 완카 클러스터가 있다.

국산 GPU 완카완 P 클러스터가 데뷔하면서 자연스럽게 업계의 폭넓은 관심을 끌었습니다.

7월 3일, Moore Thread는 상하이에서 자사의 AI 주력 제품인 KUAE 지능형 컴퓨팅 클러스터 솔루션이 현재의 킬로 카드 수준에서 10,000 카드 규모로 크게 확장되어 대대적인 업그레이드를 달성했다고 발표했습니다. 무어 스레드 Kuae(KUAE) Wanka 지능형 컴퓨팅 클러스터는 모든 기능을 갖춘 GPU를 기반으로 하며 Wanka 규모를 수용할 수 있고 10,000 P 수준 부동 소수점 컴퓨팅 기능을 갖춘 국내 최고의 국내 범용 가속 컴퓨팅 플랫폼을 만드는 것을 목표로 합니다. . 수조 개의 매개변수를 사용하는 복잡한 대규모 모델 교육을 위해 설계되었습니다. 이 획기적인 진전은 국내 GPU 기술에 대한 새로운 기준을 설정하고 국내 지능형 컴퓨팅 클러스터의 컴퓨팅 기능에서 새로운 도약을 달성하는 데 도움이 되며 해당 분야의 기술 및 애플리케이션 혁신, 과학 연구 및 산업 업그레이드를 위한 견고하고 신뢰할 수 있는 기반을 제공할 것입니다. 우리 나라의 중요한 인프라에 대한 인공지능.

또한 Moore Thread는 China Mobile Communications Group Qinghai Co., Ltd., China Unicom Qinghai Company, Beijing Dedao Xinke Group, China Energy Construction Co., Ltd. 종합 계약 회사, Guilin Huajue Big Data Technology와 협력했습니다. Co., Ltd.(순서대로)는 Wanka 클러스터 프로젝트 3개에 대해 각각 전략적 계약을 체결했으며 모든 당사자가 협력하여 유용한 국내 GPU 클러스터를 구축했습니다.

Moore Thread의 설립자이자 CEO인 Zhang Jianzhong은 다음과 같이 말했습니다. "현재 우리는 생성 인공 지능의 황금 시대에 있습니다. 기술의 교차점은 지능의 출현을 촉진하며 GPU는 이를 가능하게 하는 혁신 엔진이 되었습니다. Moore Thread는 이 역사적인 창조 과정에 전념하고 있으며, 가속화된 컴퓨팅 인프라와 원스톱 솔루션을 세상에 제공하고 통합된 디지털 세계를 위한 고급 가속화된 컴퓨팅 플랫폼을 만드는 데 전념하고 있습니다. Moore Thread의 풀 스택 AI 전략의 중요한 부분인 지능형 컴퓨팅 클러스터는 모든 계층의 디지털 지능 전환을 위한 급증하는 컴퓨팅 성능을 제공할 수 있습니다. 이는 Moore Thread의 강점을 효과적으로 보여줄 뿐만 아니라 기술 혁신과 엔지니어링 실천은 AI의 원동력이 될 것입니다. "

AI의 주요 전장에서는 Wanka 범용 컴퓨팅 성능이 표준입니다. 대형 모델의 미래 방향과 개발 추세는 시간에 따라 검증되어야 하지만 지금부터 위에서 판단하면 몇 가지 진화 추세에 주목할 가치가 있어 컴퓨팅 성능에 대한 핵심 요구가 점점 더 명확해집니다.

우선 스케일링법은 계속해서 시행될 예정입니다.

2020년 스케일링 법칙이 제안된 이후, 컴퓨팅 파워와 알고리즘, 데이터의 심층적 통합과 경험의 축적, 모델 성능의 비약을 통해 대형 모델 개발 이면에 있는 '폭력의 미학'을 드러냈습니다. 이는 또한 업계 표준으로 인정받고 있으며, 미래 대형 모델의 개발 추세에 계속해서 영향을 미치고 있습니다. 확장 법칙은 계속해서 효과적일 것이며 기술 발전을 빠르게 따라잡을 수 있을 만큼 충분히 큰 규모의 단일 지점과 일반적인 컴퓨팅 성능이 필요합니다.

둘째, Transformer 아키텍처는 통일성을 이룰 수 없으며 계속해서 진화하고 다른 아키텍처와 공존하여 다양한 기술 생태계를 형성할 것입니다.

제너레이티브 AI의 진화는 단순한 규모의 확장에만 의존하는 것이 아니라 기술 아키텍처의 혁신도 중요합니다. Transformer 아키텍처는 현재 주류이지만 Mamba, RWKV 및 RetNet과 같은 신흥 아키텍처는 계속해서 컴퓨팅 효율성을 개선하고 혁신을 가속화하고 있습니다. 기술의 반복과 진화로 인해 Transformer 아키텍처는 밀도가 높은 모델부터 희박한 모델까지, 다중 모드 모델의 융합에 이르기까지 통합 모델을 달성할 수 없게 되면서 기술 발전으로 인해 고성능 컴퓨팅 리소스에 대한 요구가 나타났습니다.

동시에 AI, 3D 및 HPC의 기술 간 및 도메인 간 통합이 계속 가속화되고

공간 지능, 물리적 AI, AI 4과학, 세계 모델 및 기타 분야의 경계 확장을 촉진합니다. 대형 모델의 교육 및 적용 환경이 더욱 복잡하고 다양해짐에 따라 시장에서는 AI+3D, AI+물리 시뮬레이션, AI+과학 등 다중 컴퓨팅의 통합 개발을 지원할 수 있는 일반 가속 컴퓨팅 플랫폼에 대한 필요성이 점점 더 커지고 있습니다. 컴퓨팅 등

다양한 트렌드 속에서 Wanka는 AI 모델 훈련의 주요 전장의 표준이 되었습니다. 컴퓨팅 양이 계속 증가함에 따라 대규모 모델 교육에는 교육 시간을 단축하고 모델 기능의 빠른 반복을 달성하기 위한 "대형 및 범용" 가속 컴퓨팅 플랫폼인 슈퍼 팩토리가 시급히 필요합니다. 현재 국제 기술 대기업들은 대형 모델 제품의 경쟁력 확보를 위해 1,000장, 심지어는 10,000장 이상의 카드 규모의 컴퓨팅 클러스터를 적극적으로 구축하고 있습니다. 모델 매개변수의 수가 수천억에서 수조로 증가함에 따라 모델 기능이 더욱 일반화되고 기본 컴퓨팅 성능에 대한 대형 모델의 요구가 더욱 확대되어 Wanka 또는 심지어 10,000ka 슈퍼 클러스터가 이 대형 모델 라운드의 티켓이 되었습니다. 경쟁.

그러나 Wanka 클러스터를 구축하는 것은 단순히 GPU 카드 10,000개를 쌓는 것이 아니라 매우 복잡한 슈퍼 시스템 프로젝트입니다. 초대규모 네트워킹 상호 연결, 효율적인 클러스터 컴퓨팅, 장기 안정성 및 고가용성 등 많은 기술적 문제가 수반됩니다. 이는 어렵지만 올바른 일입니다. Moore Thread는 10,000장 이상의 카드 규모와 보편적인 시나리오를 갖춘 가속화된 컴퓨팅 플랫폼을 구축하고 대규모 모델 훈련 문제 해결을 우선적으로 수행하기를 희망합니다.

Kuae: 국내 Wanka 10,000P조 대형 모델 훈련 플랫폼

Kuae(KUAE)는 Moore Thread 지능형 컴퓨팅 센터의 풀스택 솔루션으로 모든 기능을 갖춘 GPU를 기반으로 하며 소프트웨어와 Kua'e 컴퓨팅 클러스터를 핵심으로 하는 인프라, Kua'e 클러스터 관리 플랫폼(KUAE Platform) 및 Kua'e 대형 모델 서비스 플랫폼(KUAE ModelStudio)을 포함하는 포괄적이고 완벽한 시스템 수준의 컴퓨팅 파워 솔루션입니다. 통합 전달 이 방법은 대규모 GPU 컴퓨팅 성능의 구축 및 운영 관리 문제를 해결합니다.

AI 컴퓨팅 성능 요구 사항에 대한 깊은 통찰력과 미래 지향적인 레이아웃을 기반으로 Moore Thread Kua'e 지능형 컴퓨팅 클러스터는 킬로카드에서 10,000ka 클러스터까지 원활하게 확장할 수 있습니다. 대형 모델 시대의 컴퓨팅 성능에 대한 핵심 요구는 "충분한 규모 + 범용 컴퓨팅 + 생태적 호환성"입니다. 초대형 GPU Wanka 클러스터, 최고의 컴퓨팅 효율성 최적화 및 매우 안정적인 운영 환경을 통합하여 Wanka 지능형 컴퓨팅 클러스터 새로운 슈퍼 프로젝트는 국내 클러스터 컴퓨팅 기능의 새로운 표준을 재정의합니다.

Kuae Wanka 지능형 컴퓨팅 솔루션에는 여러 핵심 기능이 있습니다.

• 초대형 컴퓨팅 성능, Wanka Wanka P: 클러스터 컴퓨팅 성능 측면에서 차세대 Kuae 지능형 컴퓨팅 클러스터는 단일 클러스터를 달성합니다. 크기는 10,000개 카드를 초과하고 부동 소수점 컴퓨팅 성능은 10Exa-Flops에 도달합니다. 이는 단일 클러스터의 컴퓨팅 성능을 크게 향상시키고 수조 개의 매개변수가 있는 대규모 모델을 교육하기 위한 견고한 컴퓨팅 성능 기반을 제공할 수 있습니다. 동시에 GPU 메모리 및 전송 대역폭 측면에서 Kua'e Wanka 클러스터는 PB 수준의 초대형 총 그래픽 메모리 용량, PB 수준의 초고속 카드 간 상호 연결 총 대역폭/초에 도달했습니다. PB 수준의 초고속 노드 상호 연결 총 대역폭으로 컴퓨팅을 실현합니다. 전력, 비디오 메모리 및 대역폭의 체계적인 협업 최적화를 통해 클러스터 컴퓨팅 성능을 종합적으로 향상시킵니다.

• 월별 장기 안정적인 트레이닝: 안정성은 슈퍼 10,000개 카드 클러스터의 성능을 측정하는 열쇠입니다. 클러스터 안정성 측면에서 Moore Thread는 Wanka 클러스터의 평균 문제 없는 실행 시간이 15일 이상이며, 30일 이상 대형 모델의 안정적인 학습을 달성할 수 있다는 점을 자랑합니다. 평균 주간 학습 효율성 목표를 달성할 수 있습니다. 99% 이상으로 업계 평균을 훨씬 웃도는 수준입니다. 이는 Moore Threads가 독립적으로 개발한 일련의 예측 가능하고 진단 가능한 다단계 신뢰성 메커니즘에 기인합니다. 여기에는 분 단위 오류 위치를 달성하기 위한 소프트웨어 및 하드웨어 오류의 자동 위치 및 진단 예측과 Checkpoint 다중 레벨 저장 메커니즘이 포함됩니다. 2차 메모리 저장 및 훈련 작업의 분 단위 복구와 내결함성이 뛰어난 고성능 Wanka 클러스터 관리 플랫폼은 2차 관리 할당 및 작업 스케줄링을 실현합니다.

• 극도의 최적화, 초고도 MFU: MFU는 대규모 모델의 훈련 효율성을 평가하기 위한 일반적인 지표로, 엔드투엔드 클러스터 훈련 효율성을 직접 반영할 수 있습니다. Kua'e Wanka 클러스터는 시스템 소프트웨어, 프레임워크, 알고리즘 등 일련의 측면에서 최적화되었습니다. MFU(실효 컴퓨팅 효율성) 목표는 최대 60%로 국제 수준에 도달할 수 있습니다. 그 중 시스템 소프트웨어 수준에서는 익스트림 컴퓨팅, 통신 효율성 최적화 등 기술적 수단을 기반으로 클러스터의 실행 효율성과 성능이 크게 향상된다. 프레임워크 및 알고리즘 수준에서 Kua'e Wanka 클러스터는 다양한 적응형 하이브리드 병렬 전략과 효율적인 메모리 최적화를 지원하며 애플리케이션 로드에 따라 최적의 병렬 전략을 선택하고 자동으로 구성하여 훈련 효율성과 메모리 활용도를 크게 향상시킵니다. 동시에 시퀀스가 ​​매우 긴 대형 모델의 경우 Kua'e Wanka 클러스터는 CP 병렬성 및 RingAttention과 같은 최적화 기술을 사용하여 컴퓨팅 시간과 메모리 사용량을 효과적으로 줄이고 클러스터 훈련 효율성을 크게 향상시킵니다.

• 다양하고 보편적이며 친환경적입니다: Kua'e Wanka 클러스터는 일반 시나리오용으로 설계된 컴퓨팅 기능을 갖춘 일반 가속 컴퓨팅 플랫폼이며 LLM, MoE, 다중 아키텍처와 같은 다양한 아키텍처를 가속화할 수 있습니다. 모달, 맘바 등 다양한 양식의 대형 모델. 동시에 효율적이고 사용하기 쉬운 MUSA 프로그래밍 언어, 완벽한 CUDA 호환성 및 자동화된 마이그레이션 도구 Musify를 기반으로 새 모델의 "Day0" 수준 마이그레이션을 가속화하고 생태학적 적응 "Instant On"을 실현하며, 고객은 빠르게 온라인에 접속합니다.

모두가 하나되어 대형 모델 애플리케이션 생태계 구축

Wanka 클러스터 구축에는 대형 모델 혁신 애플리케이션의 신속한 구현을 달성하고 국내 컴퓨팅이 가능하도록 업계의 공동 노력이 필요합니다. "사용을 위해 제작되었습니다". 기자회견에서 Moore Thread는 China Mobile Communications Group Qinghai Co., Ltd., China Unicom Qinghai Company, Beijing Dedao Xinke Group, China Energy Construction Co., Ltd. 일반 계약 회사, Guilin Huajue Big Data Technology Co., Ltd.와 손을 잡았습니다. , Ltd.(특별한 순서 없음)는 각각 Qinghai Zero Carbon Industrial Park Wanka 클러스터 프로젝트, Qinghai Plateau Kua'e Wanka 클러스터 프로젝트 및 Guangxi ASEAN Wanka 클러스터 프로젝트에 대한 전략적 계약을 체결했습니다.

Moore Thread의 고급 Kua'e 풀 스택 지능형 컴퓨팅 솔루션을 통해 모든 당사자는 산업 디지털 전환과 고품질 개발을 가속화하기 위한 강력한 국가 산업 및 지능형 컴퓨팅 플랫폼을 구축하기 위해 협력할 것입니다. Kua'e Wanka 스마트 컴퓨팅 클러스터 프로젝트는 국내 AI 컴퓨팅 파워 인프라의 또 다른 주요 발전을 의미하며 다양한 곳에서 디지털 경제 발전에 새로운 활력을 불어넣을 것입니다. ㅋㅋㅋ                                                                                  out Moore Thread는 China Unicom Qinghai Company 및 Beijing Dedao Xinke Group中國 Moore Threads 및 China Energy Construction Co.와 전략적으로 계약을 체결했습니다. Ltd. 일반 계약 회사 및 Guilin Huasheng Big Data Technology Co., Ltd. 전략적 서명 회의 후 핵심 돔 Qingcheng Jizhi, 360, Jingdong Yun, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi를 묻지 않았습니다. Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhi Zhi, Zhizhi, Zhizhi, Zhi Zhi, Zhizhi, Zhizhi, Zhizhi, Zhi Zhi가 차례로 무대에 올라 무어의 노하우를 공유했습니다. 스레드 Kua'e 지능형 컴퓨팅 클러스터는 대규모 모델 훈련, 대규모 모델 추론, 구체화된 지능과 같은 다양한 시나리오와 분야에서 혁신을 지원하여 실제 응용 프로그램에서 Kua'e 지능형 컴퓨팅 클러스터의 역할을 입증합니다.

Moore Thread는 수많은 업계 파트너와 협력하고, 풀 스택 AI의 힘을 활용하고, 파트너가 구축한 Wanka 지능형 컴퓨팅 클러스터를 강력한 기반으로 하여 국내 지능형 컴퓨팅 생태계 촉진을 가속화할 의향이 있습니다. 다양한 분야에서 디지털 경제를 널리 강화하고 공동으로 열어가는 대형 모델과 생성 인공지능의 새로운 시대를 열어 더 나은 세상을 향해 가속화합니다. WAIC 기간 동안 Moore Thread는 상하이 세계 엑스포 전시 및 컨벤션 센터(H2 홀 D616)에서 "더 나은 세상을 위한 풀 스택 AI 가속화"라는 주제를 수행할 예정입니다. in-one 머신과 AIGC 애플리케이션이 모두 공개되었고, 많은 업계 파트너들이 Kua'e 지능형 컴퓨팅 클러스터를 기반으로 한 풍부한 산업 모델과 애플리케이션 솔루션을 공동으로 시연했습니다.

위 내용은 AI의 주요 전장에서 Wanka는 표준 구성입니다. 국내 GPU Wanka WanP 클러스터가 여기에 있습니다!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!