AIGC를 구동하는데 적합한 네트워크의 특징은 무엇인가요?

2023년은 AI 인공지능 기술이 폭발적으로 대중화되는 해입니다.

ChatGPT, GPT-4, Wen Xinyiyan으로 대표되는 AIGC 대형 모델은 텍스트 작성, 코드 개발, 시 작성 및 기타 기능을 하나로 통합하여 강력한 콘텐츠 제작 능력을 보여주며 사람들에게 큰 충격을 줍니다.

커뮤니케이션 베테랑인 Xiao Zaojun은 AIGC 모델 자체 외에도 모델 이면의 커뮤니케이션 기술에 더 많은 관심을 갖고 있습니다. AIGC의 운영을 지원하는 것은 어떤 강력한 네트워크인가요? 또한, AI 물결은 기존 네트워크에 어떤 변화를 가져올까요?

█ AIGC, 얼마나 많은 컴퓨팅 성능이 필요합니까?

우리 모두 알고 있듯이 데이터, 알고리즘, 컴퓨팅 능력은 인공지능 발전의 세 가지 기본 요소입니다.

앞서 언급한 AIGC 대형 모델은 엄청난 양의 데이터를 공급할 뿐만 아니라 알고리즘이 끊임없이 진화하고 업그레이드되기 때문에 매우 강력합니다. 더 중요한 것은 인간의 컴퓨팅 능력의 규모가 어느 정도 발전했다는 것입니다. 강력한 컴퓨팅 인프라는 AIGC의 컴퓨팅 요구를 완벽하게 지원할 수 있습니다.

AIGC의 개발로 학습 모델 매개변수가 수천억에서 수조로 급증했습니다. 이러한 대규모 훈련을 완료하기 위해 기본 레이어에서 지원하는 GPU 수도 카드 10,000개 규모에 도달했습니다.

ChatGPT를 예로 들면, 그들은 훈련을 위해 Microsoft의 슈퍼컴퓨팅 인프라를 사용하여 고대역폭 클러스터를 형성했다고 합니다. 한 번의 교육에는 약 3640PF-일의 컴퓨팅 성능이 필요합니다(즉, 초당 1000조 계산, 3640일 동안 실행).

V100의 FP32 컴퓨팅 성능은 0.014 PFLOPS(컴퓨팅 성능 단위, 초당 1000조 부동 소수점 연산과 동일)입니다. V100 1만 개, 즉 140PFLOPS입니다.

즉, GPU 사용률이 100%인 경우 훈련 세션을 완료하는 데 3640¼140=26(일)이 소요됩니다.

GPU 활용도가 100%에 도달하는 것은 불가능합니다. 33%(OpenAI에서 제공하는 가정 활용률)로 계산하면 26배 3배, 즉 78일이 됩니다.

GPU 컴퓨팅 성능과 GPU 활용도가 대형 모델 학습에 큰 영향을 미치는 것을 볼 수 있습니다.

그렇다면 GPU 활용도에 영향을 미치는 가장 큰 요인은 무엇일까요?

답은 인터넷입니다.

컴퓨팅 클러스터로서 10,000개 또는 심지어 수만 개의 GPU가 스토리지 클러스터와 상호 작용하려면 엄청난 양의 대역폭이 필요합니다. 또한 GPU 클러스터가 훈련 계산을 수행할 때 독립적이지 않고 혼합되어 병렬로 수행됩니다. GPU 간에는 많은 양의 데이터 교환이 이루어지며, 이를 위해서는 엄청난 대역폭도 필요합니다.

네트워크가 약하고 데이터 전송이 느리면 GPU가 데이터를 기다려야 하므로 활용도가 감소합니다. 활용도가 감소하면 교육 시간이 늘어나고 비용이 증가하며 사용자 경험이 저하됩니다.

업계에서는 아래 그림과 같이 네트워크 대역폭 처리량, 통신 지연 및 GPU 사용률 사이의 관계를 계산하는 모델을 만든 적이 있습니다.

보시다시피 네트워크 처리량이 강할수록 GPU가 높아집니다. 활용도가 높을수록 통신 동적 지연이 커질수록 GPU 활용도는 낮아집니다.

한마디로, 좋은 네트워크 없이 큰 모델과 놀지 마세요.

█ AIGC 운영을 지원할 수 있는 네트워크는 어떤 것인가요?

AI 클러스터 컴퓨팅으로 인한 네트워크 조정에 대처하기 위해 업계에서도 여러 가지 방법을 고민해 왔습니다.

인피니밴드, RDMA 및 모듈형 스위치의 세 가지 주요 전통적인 응답 전략이 있습니다. 각각에 대해 간단히 살펴보겠습니다.

인피니밴드 네트워킹

인피니밴드(문자 그대로 "무한대역폭" 기술, 약어로 IB로 번역됨) 네트워킹은 데이터 통신에 종사하는 어린이들에게 친숙할 것입니다.

이것은 현재 대역폭이 매우 높고 정체가 없고 대기 시간이 짧은 고성능 네트워크를 구축하는 가장 좋은 방법입니다. ChatGPT와 GPT-4가 사용하는 것은 Infiniband 네트워킹이라고 합니다.

인피니밴드 네트워킹에 단점이 있다면 한 마디로 비싸다. 기존 이더넷 네트워킹과 비교할 때 Infiniband 네트워킹 비용은 몇 배 더 비쌉니다. 이 기술은 현재 업계에 성숙한 공급업체가 하나뿐이며 사용자에게는 선택의 여지가 거의 없습니다.

• RDMA 네트워크

RDMA의 전체 이름은 Remote Direct Memory Access입니다. 새로운 유형의 통신 메커니즘입니다. RDMA 솔루션에서는 애플리케이션 데이터가 더 이상 CPU와 복잡한 운영 체제를 통과하지 않고 네트워크 카드와 직접 통신하므로 처리량이 크게 향상될 뿐만 아니라 대기 시간도 줄어듭니다.

RDMA가 처음 제안되었을 때는 InfiniBand 네트워크에서 실행되었습니다. 이제 RDMA는 점차 이더넷으로 이식됩니다.

현재 고성능 네트워크를 위한 주류 네트워킹 솔루션은 RoCE v2(RDMA over Converged Ethernet, RDMA based on Converged Ethernet) 프로토콜 기반의 RDMA를 지원하는 네트워크를 구축하는 것입니다.

이 솔루션에는 PFC(우선순위 흐름 제어, 우선순위 기반 흐름 제어)와 ECN(명시적 혼잡 알림, 명시적 혼잡 알림)이라는 두 가지 중요한 매칭 기술이 있습니다. 링크의 혼잡을 피하기 위해 만들어진 기술이지만 자주 트리거되면 발신자가 전송을 중단하거나 전송 속도가 느려져 통신 대역폭이 줄어듭니다. (아래에 언급됨)

• 프레임 스위치

일부 외국 인터넷 회사에서는 고성능 네트워크 요구 사항을 충족하기 위해 프레임 스위치(DNX 칩 + VOQ 기술)를 사용하기를 희망합니다.

DNX: 브로드컴(Broadcom)의 칩 시리즈

VOQ: 가상 출력 큐, 가상 출력 큐

이 솔루션은 실현 가능해 보이지만 다음과 같은 과제에 직면해 있습니다.

우선 모듈형 스위치의 확장능력은 보통 수준입니다. 섀시 크기는 최대 포트 수를 제한합니다. 더 큰 클러스터를 구축하려면 여러 섀시에 걸쳐 수평으로 확장해야 합니다.

둘째, 모듈형 스위치 장비는 전력을 많이 소모합니다. 섀시에는 수많은 라인 카드 칩, 패브릭 칩, 팬 등이 있습니다. 단일 장치의 전력 소비량은 20,000와트를 초과하며 일부는 캐비닛의 전원 공급 장치 용량 요구 사항을 충족합니다. 너무 높은.

세 번째, 모듈형 스위치에는 다수의 단일 장치 포트와 대규모 장애 도메인이 있습니다.

위의 이유로 모듈형 스위치 장비는 AI 컴퓨팅 클러스터의 소규모 배포에만 적합합니다.

█ 정확히 DDC가 무엇인가요?

위에 언급된 것들은 모두 전통적인 솔루션입니다. 이러한 전통적인 솔루션은 작동하지 않으므로 당연히 새로운 방법을 찾아야 합니다.

그래서 DDC라는 새로운 솔루션이 출시되었습니다.

DDC, 전체 이름은 Distributed Disaggregated Chassis입니다.

전면 섀시 스위치의 "분할 버전"입니다. 모듈형 스위치는 확장 능력이 부족해서 간단히 분해해서 하나의 장치를 여러 장치로 만들면 되지 않나요?

프레임형 장비는 일반적으로 스위칭 네트워크 보드(백플레인)와 서비스 라인 카드(보드 카드) 두 부분으로 나뉘며 커넥터로 서로 연결됩니다.

DDC 솔루션은 스위칭 네트워크 보드를 NCF 장비로, 비즈니스 라인 카드를 NCP 장비로 전환합니다. 커넥터는 광섬유가 됩니다. 모듈형 장치의 관리 기능도 DDC 아키텍처에서 NCC가 됩니다.

NCF: Network Cloud Fabric(네트워크 클라우드 관리 제어 평면)

NCP: 네트워크 클라우드 패킷 처리(네트워크 클라우드 패킷 처리)

NCC: 네트워크 클라우드 컨트롤러(Network Cloud Controller)

DDC 이후 중앙집중형에서 분산형으로 변경되어 확장성이 대폭 향상되었습니다. AI 클러스터 규모에 따라 네트워크 규모를 유연하게 설계할 수 있다.

두 가지 예(단일 POD 네트워킹과 다중 POD 네트워킹)를 들어보겠습니다.

단일 POD 네트워크에서는 96개의 NCP가 액세스 포인트로 사용됩니다. 그 중 NCP에는 AI 컴퓨팅 클러스터의 네트워크 카드 연결을 담당하는 총 18개의 400G 다운스트림 인터페이스가 있습니다. 업링크에는 총 40개의 200G 인터페이스가 있으며 최대 40개의 NCF를 연결할 수 있습니다. NCF는 96개의 200G 인터페이스를 제공합니다. 이 규모의 업링크 및 다운링크 대역폭은 1.1:1입니다. 전체 POD는 1,728개의 400G 네트워크 인터페이스를 지원할 수 있으며, 8개의 GPU가 장착된 서버를 기준으로 계산하면 216개의 AI 컴퓨팅 서버를 지원할 수 있습니다.

단일 POD 네트워킹

다단계 POD 네트워킹으로 규모가 더 커질 수 있습니다.

다중 레벨 POD 네트워크에서 NCF 장치는 두 번째 레벨 NCF에 연결하기 위해 SerDes의 절반을 희생해야 합니다. 따라서 현재 단일 POD는 액세스를 위해 48개의 NCP를 사용하며 다운링크에는 총 18개의 400G 인터페이스가 있습니다.

다중 POD 네트워킹

단일 POD는 864개의 400G 인터페이스(48×18)를 지원할 수 있습니다. POD(8)를 수평으로 추가하면 규모를 확장할 수 있으며 전체 시스템은 최대 6912개의 400G 네트워크 포트(864×8)를 지원할 수 있습니다.

NCP에는 40개의 200G 업링크가 있으며 POD의 40개 NCF에 연결됩니다. POD의 NCF는 48개의 200G 인터페이스를 사용하며, 48개의 200G 인터페이스는 2단계 NCF까지 업스트림 12개의 그룹으로 나뉩니다. 두 번째 레벨 NCF는 40개의 평면(Plane)을 사용하며, 각 평면에는 POD의 40개 NCF에 해당하는 4개의 NCF-P가 있습니다.

전체 네트워크의 POD 내에서 1.1:1(북쪽 대역폭이 남쪽 방향 대역폭보다 큼)의 과속 비율을 달성했으며, POD와 POD 간에는 1:1 수렴 비율(남쪽 대역폭/북쪽 대역폭)을 달성했습니다. 보조 NCF 대역폭).

█ DDC의 기술적 특성

규모 및 대역폭 처리량의 관점에서 DDC는 이미 AI 대형 모델 교육의 네트워크 요구 사항을 충족할 수 있습니다.

그러나 네트워크 운영 프로세스가 복잡하고, DDC 역시 지연 저항성, 로드 밸런싱, 관리 효율성 측면에서 개선이 필요합니다.

• 패킷 손실 방지를 위한 VOQ+Cell 전달 메커니즘

네트워크 작업 과정에서 트래픽 폭주가 발생하여 수신 측에서 처리할 시간이 없어 혼잡을 초래할 수 있습니다. 그리고 패킷 손실.

이러한 상황에 대처하기 위해 DDC는 VOQ+Cell 기반의 전달 메커니즘을 채택합니다.

발신자가 네트워크로부터 데이터 패킷을 수신한 후 VOQ(Virtual Output Queue)로 분류하여 저장합니다.

데이터 패킷을 보내기 전에 NCP는 먼저 Credit 메시지를 보내 수신 측에 이러한 메시지를 처리할 수 있는 충분한 버퍼 공간이 있는지 확인합니다.

수신 측이 정상이면 패킷은 셀(패킷의 작은 조각)로 조각화되고 중간 패브릭 노드(NCF)에 동적으로 로드 밸런싱됩니다.

수신측에서 일시적으로 메시지를 처리할 수 없는 경우 메시지는 발신측의 VOQ에 일시적으로 저장되며 수신측으로 직접 전달되지 않습니다.

수신 측에서는 이러한 셀을 재구성하여 저장한 후 네트워크로 전달합니다.

슬라이스된 셀은 폴링 메커니즘을 사용하여 전송됩니다. 각 업링크를 완전히 활용하고 모든 업링크에서 전송되는 데이터 양이 거의 동일하도록 보장할 수 있습니다.

폴링 메커니즘

이 메커니즘은 캐시를 최대한 활용하여 패킷 손실을 크게 줄이거나 패킷 손실을 유발할 수도 있습니다. 데이터 재전송이 줄어들고 전반적인 통신 지연이 더 안정적이고 낮아져 대역폭 활용도가 향상되어 비즈니스 처리 효율성이 향상됩니다.

• 교착 상태를 피하기 위한 PFC 단일 홉 배포

앞서 언급했듯이 흐름 제어를 위해 RDMA 무손실 네트워크에 PFC(우선순위 기반 흐름 제어) 기술이 도입되었습니다.

간단히 말하면 PFC는 이더넷 링크에 8개의 가상 채널을 생성하고 각 가상 채널에 해당 우선순위를 할당하여 가상 채널 중 하나를 독립적으로 일시 중지하고 다시 시작할 수 있도록 하는 동시에 다른 가상 채널은 채널의 트래픽은 중단 없이 전달됩니다.

PFC는 대기열 기반 흐름 제어를 구현할 수 있지만 교착 상태라는 문제도 있습니다.

소위 교착 상태는 루프 및 기타 이유로 여러 스위치 간의 정체로 인해 발생하는 "교착 상태"이며(각 포트의 캐시 소비가 임계값을 초과함) 모두 상대방의 해제를 기다리고 있습니다. resources.” (모든 스위치에 대한 트래픽이 영구적으로 차단됩니다.)

DDC 네트워킹을 사용하면 PFC의 교착 상태 문제가 없습니다. 왜냐하면, 전체 네트워크 관점에서 볼 때 모든 NCP와 NCF는 하나의 장치로 간주될 수 있기 때문입니다. AI 서버의 경우 전체 DDC는 스위치일 뿐이며 다단계 스위치는 없습니다. 따라서 교착 상태가 없습니다.

또한 DDC의 데이터 전달 메커니즘에 따라 인터페이스에 ECN(Explicit Congestion Notification)을 배포할 수 있습니다.

ECN 메커니즘에서 네트워크 장치가 RoCE v2 트래픽에서 정체를 감지하면(내부 크레딧 및 캐시 메커니즘은 버스트 트래픽을 지원할 수 없음) CNP(혼잡 알림 패킷, 정체 알림 메시지)를 서버에 보냅니다. ), 속도 감소가 필요합니다.

• 분산 OS, 신뢰성 향상

마지막으로 관리 제어 평면을 살펴보겠습니다.

앞서 DDC 아키텍처에서는 프레임 장치의 관리 기능이 NCC(Network Cloud Controller)가 된다고 언급했습니다. NCC는 매우 중요합니다. 단일 포인트 방식을 사용하면 문제가 발생하면 전체 네트워크가 실패하게 됩니다.

이러한 문제를 방지하기 위해 DDC는 NCC의 중앙 제어 평면을 취소하고 분산 OS(운영 체제)를 구축할 수 있습니다.

분산 OS 기반으로 SDN 운영 및 유지보수 컨트롤러 기반의 표준 인터페이스(Netconf, GRPC 등)를 통해 장비를 구성 및 관리할 수 있습니다. 이 경우 각 NCP와 NCF는 독립적으로 관리되고 독립적인 제어 평면과 관리 평면을 가지므로 시스템의 안정성이 크게 향상되고 배포가 더 쉬워집니다.

█ DDC의 상업적 발전

요약하자면, DDC는 기존 네트워킹에 비해 네트워크 규모, 확장 기능, 신뢰성, 비용 및 배포 속도 측면에서 상당한 이점을 가지고 있습니다. 이는 네트워크 기술 업그레이드의 산물이며 원래의 네트워크 아키텍처를 전복하는 아이디어를 제공하여 네트워크 하드웨어의 분리, 네트워크 아키텍처의 통합 및 포워딩 용량의 확장을 실현할 수 있습니다.

업계에서는 OpenMPI 테스트 제품군을 사용하여 프레임 장비와 기존 네트워킹 장비 간의 비교 시뮬레이션 테스트를 수행해 왔습니다. 테스트 결론은 다음과 같습니다. All-to-All 시나리오에서는 기존 네트워킹과 비교하여 프레임 유형 장치의 대역폭 활용도가 약 20% 증가합니다(GPU 활용도 약 8% 증가에 해당).

이 기술이 이제 업계의 핵심 개발 방향이 된 것은 바로 DDC의 상당한 역량 이점 때문입니다. 예를 들어, Ruijie Networks는 400G NCP 스위치-RG-S6930-18QC40F1과 200G NCF 스위치-RG-X56-96F1이라는 두 가지 제공 가능한 DDC 제품 출시에 앞장섰습니다.

RG-S6930-18QC40F1 스위치는 높이가 2U이고 400G 패널 포트 18개, 200G 패브릭 인라인 포트 40개, 팬 4개 및 전원 공급 장치 2개를 제공합니다.

RG-X56-96F1 스위치는 높이가 4U이며 96개의 200G 패브릭 인라인 포트, 8개의 팬 및 4개의 전원 공급 장치를 제공합니다.

Ruijie Networks는 계속해서 400G 포트 형태의 제품을 개발 및 출시할 예정이라고 합니다.

█마지막 한마디

AIGC의 부상은 인터넷 산업에 새로운 기술 혁명을 일으켰습니다.

이 트랙에 합류하고 대회에 참여하는 기업이 점점 더 많아지는 것을 볼 수 있습니다. 이는 네트워크 인프라 업그레이드가 시급하다는 뜻이다.

DDC의 출현은 네트워크 인프라의 역량을 크게 향상시킬 것이며, 네트워크 인프라에 대한 AI 혁명이 제기하는 과제에 효과적으로 대응할 뿐만 아니라 전체 사회와 사회의 디지털 전환을 지원할 것입니다. 인간 디지털 지능 시대의 본격적인 도래를 가속화합니다.

위 내용은 AIGC를 구동하는데 적합한 네트워크의 특징은 무엇인가요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!