Tencent, Xingmai Network 2.0 출시: 이전 세대에 비해 대규모 모델 훈련 효율성 20% 증가

단서를 제출해주신 네티즌 Mr. Aviation님께 감사드립니다! 7월 2일 뉴스에 따르면 Tencent는 어제 자체 개발한 Xingmai 네트워크 버전 2.0을 출시했습니다. 업그레이드된 Xingmai 네트워크는 100,000개 카드의 단일 클러스터를 지원하며 네트워크 통신 효율성은 이전 세대보다 60% 향상되었습니다. 효율성이 20% 증가하고 오류 위치가 며칠에서 몇 분으로 단축됩니다. Tencent가 자체 개발한 스위치는 25.6T에서 51.2T로 업그레이드되어 용량이 두 배로 늘어났으며, 자체 개발한 실리콘 광 모듈은 200G에서 400G로 업그레이드되어 자체 개발한 컴퓨팅 성능 네트워크 카드가 장착되어 속도가 두 배로 향상되었습니다. ; 전체 기계의 통신 대역폭은 3.2T로 업계 최고 수준입니다. Tencent가 자체 개발한 새로운 통신 프로토콜 TiTa2.0의 배치 위치가 스위치에서 네트워크 카드로 이동되었으며 혼잡 알고리즘이 수동 혼잡 알고리즘에서 능동 혼잡 제어 알고리즘으로 업그레이드되어 Xingmai 네트워크의 통신 효율성이 향상되었습니다. 30% 향상되고 대형 모델의 학습 효율성이 10% 향상됩니다. Tencent의 새로운 고성능 집단 통신 라이브러리 TCCL2.0은 NVLINK+NET 이종 병렬 통신을 사용하여 데이터의 병렬 전송을 달성합니다. Auto-Tune Network Expert 적응형 알고리즘은 모델, 네트워크 크기, 모델 알고리즘 등의 차이를 기반으로 패킷 분할 크기 및 일치 알고리즘과 같은 매개변수를 자동으로 조정할 수 있습니다. Xingmai 네트워크의 통신 성능이 30% 향상되어 대형 모델의 훈련 효율성이 10% 더 향상됩니다.

▲ 데이터 병렬 전송(Tencent Cloud) TiTa 및 TCCL 업그레이드의 중첩 효과로 Xingmai 네트워크의 통신 효율성이 총 60%, 대규모 모델 학습 효율성이 총 20% 향상되었습니다.

위 내용은 Tencent, Xingmai Network 2.0 출시: 이전 세대에 비해 대규모 모델 훈련 효율성 20% 증가의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!