Sangfor와 TrendForce, 고성능 스토리지를 사용하여 대규모 AI 모델 개발을 지원하기 위해 협력

최근 Beijing Trendong Technology Co., Ltd.(이하 "Trendong Technology")와 Sangfor는 공식적으로 공동 솔루션을 출시했습니다. 이 솔루션은 Sangfor EDS의 고성능 스토리지와 OrionX AI 컴퓨팅 리소스 풀링 소프트웨어 및 Gemini AI 트레이닝 플랫폼을 유기적으로 결합하여 사용자가 효율적인 인공 지능 플랫폼을 구축하고 이를 효과적으로 관리하고 활용할 수 있도록 돕는 것을 목표로 합니다

구체적으로, 공동 솔루션의 출시는 인공지능 분야의 사용자 인프라 구축에 다음과 같은 변화를 가져올 것입니다

보다 효율적인 교육 플랫폼을 만들 수 있는 고성능 조인트 솔루션이 준비되었습니다

대규모 인공 지능 모델의 구축이 가속화됨에 따라 사용자는 인공 지능 모델 훈련의 효율성에 대한 요구 사항이 점점 더 높아지고 있습니다. 그러나 GPU 컴퓨팅 리소스 부족, 기본 스토리지의 작은 파일에 대한 읽기 및 쓰기 성능 부족 등의 문제로 인해 훈련 ​​플랫폼에 많은 양의 훈련 작업이 대기해야 합니다. 컴퓨팅 파워와 저장 용량이 부족하면 인공지능 훈련 플랫폼 전체의 훈련 효율성이 저하됩니다

이 문제를 해결하기 위해 공동 솔루션이 완전히 최적화되었습니다. 상위 계층 훈련 플랫폼의 효율성 문제에 대응하여 트렌드 테크놀로지의 OrionX AI 컴퓨팅 자원 풀링 소프트웨어는 컴퓨팅 자원 풀을 생성하여 자원 분할, 집계, 원격 호출 및 슈퍼 스코어링, 작업 대기열, 동적 장착 및 해제, 국내 칩 이기종 풀링 및 기타 기능을 통해 다양한 훈련 작업의 컴퓨팅 성능 요구 사항을 완벽하게 충족하고 작업 진행을 가속화합니다. 동시에 Gemini AI 교육 플랫폼에서 제공하는 일정 기능은 교육 플랫폼의 관리 메커니즘을 최적화합니다. 통합 일정에 따라 AI 모델 교육이 더욱 효율적입니다

EDS가 자체 개발한 경험적 미리 읽기 메커니즘과 멀티 라이브 메타데이터 서비스를 통해 기본 스토리지의 성능 문제를 효과적으로 해결할 수 있습니다. 수백억 개의 데이터 세트가 있어도 여전히 고속 읽기 및 쓰기 기능을 제공할 수 있습니다. 이런 방식으로 GPU의 대기 시간을 줄일 수 있을 뿐만 아니라 단기 루프 훈련의 처리량과 훈련 효율성도 향상시킬 수 있습니다

2. 용량과 성능을 동시에 확장하여 비용 효율적인 스토리지 솔루션을 만들 수 있습니다

일상적인 AI 데이터 세트 훈련 과정에서 모델을 더욱 정확하게 만들기 위해 AI 모델을 훈련하기 위해 대용량 이미지, 텍스트 및 기타 데이터를 사용해야 하는 경우가 종종 있습니다. 데이터의 급속한 증가는 기본 스토리지의 용량과 성능에 엄청난 압박을 가하고 있습니다. 기존 스토리지의 비용이 많이 들고 비효율적인 확장 모델은 성능과 용량 요구 사항을 충족하기가 점점 더 어려워지고 있습니다.

EDS는 매트릭스 저장 알고리즘 등 완전 자체 개발한 기술을 바탕으로 이미지, 텍스트, 동영상 등 작은 파일을 저장하는 과정에서 작은 파일 쓰기 증폭으로 인한 공간 낭비 문제를 효과적으로 해결하여 저장 공간 활용도를 극대화할 수 있습니다. , 3개 노드로 구성된 클러스터는 중간 규모 AI 교육 팀의 스토리지 요구 사항을 충족할 수 있습니다. 성능 확장 측면에서 EDS는 소프트웨어 정의 스토리지의 아키텍처 이점을 활용하여 확장 중에 용량과 성능을 동시에 확장하여 빠르게 증가하는 AI 비즈니스의 성능 요구 사항에 유연하게 대응할 수 있습니다.

3. 데이터 가치의 통합 관리 및 심층 마이닝

솔루션을 출시하기 전에 EDS는 NFS CSI, S3 및 기타 프로토콜을 통해 Trend Technology의 Gemini AI 교육 플랫폼과 원활한 통합을 성공적으로 달성했습니다. Kubernetes 컨테이너 오케스트레이션 플랫폼은 심층적 적응을 통해 스토리지 리소스의 동적 할당을 더 빠르게 완료할 수 있습니다. 사용자는 배포 중에 솔루션의 타당성 조사를 직접 건너뛰고 AI 훈련 작업을 빠르게 시작할 수 있습니다. 동시에 EDS는 여러 프로토콜 간의 데이터 상호 운용성을 지원합니다. 여러 유형의 클라이언트가 스토리지 시스템을 공유할 수 있으므로 각 단계의 결과 데이터를 스토리지 간에 복사할 필요가 없으므로 효율적인 흐름을 달성하고 사용자가 효과적으로 사용할 수 있습니다. 데이터의 가치를 더욱 편리하게 채굴할 수 있는 데이터 결과

향후 양 당사자는 기술 분야에서도 협력을 강화하고 더 높은 스토리지 성능을 갖춘 공동 솔루션을 제공하여 사용자가 AI 훈련 플랫폼의 업그레이드 및 구축을 가속화하여 더 많은 사용자가 더 빠르고 정확한 학습을 ​​달성할 수 있도록 지원할 것입니다. 꾸준한 진전

트렌드 테크놀로지 소개: 트렌드 테크놀로지는 사용자에게 세계 최고의 데이터 센터 수준 AI 컴퓨팅 성능 가상화 및 리소스 풀링 솔루션을 제공하기 위해 최선을 다하고 있습니다. 현재 인공지능, 인터넷, 운영자, 금융, 자동차 및 자율주행, 교육 및 기타 산업 분야의 많은 주요 기업과 사용자가 OrionX AI 컴퓨팅 리소스 풀링 솔루션을 사용하고 있습니다

위 내용은 Sangfor와 TrendForce, 고성능 스토리지를 사용하여 대규모 AI 모델 개발을 지원하기 위해 협력의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!