AI 마스터 Li Mu의 설치 영상이 나왔습니다! 100억 개의 대형 모델도 연습할 수 있습니다

설치 영상이 공개되기 전, Li Mu 선생님은 그래픽 카드 가격 인하 혜택을 활용하여 아이들이 Transformer 설치 및 실행에 얼마나 관심이 있는지 알아보기 위해 소규모 설문 조사를 시작한 적이 있습니다.

당시 화웨이의 재능 있는 청년 '지희준'도 좋아하게 되었는데, 이는 모두가 여전히 기대하고 있음을 보여줍니다.

아니요, Mu Shen이 설치 영상을 들고 왔습니다. 100억 개의 모델을 가장 낮은 비용으로 훈련하는 방법은 무엇입니까?

최근에는 환율이 냉각되고 GPU 가격도 크게 낮아졌습니다. 예를 들어 NVIDIA 3090TI의 가격은 현재 US$1,600(원래 가격은 US$2,000)입니다.

이 프로젝트 시작 시 2대의 프로토타입 머신이 설치되었습니다. 각 머신은 소음을 줄이기 위해 수냉식 냉각 시스템을 사용하는 듀얼 카드 RTX 3090TI였습니다.

기계 설치 비용은 미화 5,000달러 이상, 약 35,000위안입니다.

자꾸 Mu Shen이 어떻게 설치되는지 살펴보겠습니다~

설치 체크리스트

설치를 위한 첫 번째 요구 사항은 충분히 조용해야 한다는 것입니다. 그렇지 않으면 너무 시끄러워서 일을 할 수 없을 것입니다.

두 번째 요구 사항은 좋은 방열입니다. 그렇지 않고 온도가 너무 높으면 GPU 속도가 느려집니다.

세 번째 포인트는 상대적으로 큰 Transformer 모델을 실행해야 하기 때문에 GPU의 대역폭이 충분해야 한다는 것입니다.

이전에 CNN을 실행하기 위해 GPU 서버를 설치한 경우 Transformer 모델을 실행하기 위한 요구 사항이 달라집니다. Transformer 모델은 CNN 모델보다 크기 때문에 메모리 사용량이 더 높습니다. 따라서 GPU의 메모리 크기는 매우 중요합니다.

Mu Shen은 이전에 이러한 대형 Transformer 모델은 여러 GPU에서 교육을 받아야 한다고 말했습니다. Google, Microsoft 등의 엔지니어는 모두 DGA X100과 같은 시스템을 사용하여 이를 실행합니다. 이러한 시스템에서도 GPU의 대역폭은 여전히 ​​병목 현상을 발생시킵니다.

이런 종류의 서버 GPU를 구입하는 것과 게임 GPU를 구입하는 것의 차이점은 전자는 단일 카드가 얼마나 빨리 실행될 수 있는지가 아니라 카드를 얼마나 빨리 연결할 수 있는지에 관한 것입니다.

그래서 설치 컨셉의 핵심은 GPU 메모리를 최대한 늘리고 GPU 간 상호 연결의 대역폭을 늘리는 것입니다.

머신에 카드를 많이 넣으려면, 터빈 방열 장치를 구입해야 합니다.

조용히 하고 싶다면 무쉔이 3090TI에 4위안을 샀습니다. 수냉식을 사용하면 상대적으로 조용하다는 장점이 있지만, 공간을 많이 차지한다는 단점이 있습니다.

그래서 카드 4개를 케이스에 넣으려면 수냉식 버전을 사지 말고 터보 팬이 하나만 있는 버전을 구입하세요.

그리고 섀시에 불어오는 바람의 방향은 특히 중요한 문제입니다. 팬이 3개 있는 카드를 구입하면 공기가 전면에서 섀시로 유입된 다음 모든 방향에서 열을 방출합니다. 카드가 서로 너무 가까우면 섀시 내부 온도가 매우 높아집니다.

Mu Shen도 몇 년 전에 두 개의 대형 팬이 있는 카드 4장을 구입하여 합친 결과 카드 한 장이 과열되어 타버렸다고 말했습니다.

GPU(ASUS ROG)를 선택한 후 나머지 구성은 비교적 간단합니다. CPU는 12코어 AMD CPU, 마더보드는 PCIE 4.0 16이라는 브랜드, 하드드라이브는 2TB M.2 하드드라이브, 팬은 120mm 수냉식 팬, 풀사이즈 섀시는 추가되었습니다.

설치 단계

설치 목록이 완료되면 다음 단계는 구체적인 설치 프로세스입니다. 단계는 다음과 같습니다.

먼저 GPU를 넣습니다. 배치 과정에서 금속 부분을 손으로 만지면 안 됩니다. 정전기가 있으면 GPU가 전기를 전도하기 쉽습니다.

GPU를 넣은 후 나사를 조여주세요. 그런 다음 팬을 넣으십시오.

전원을 연결한 후 전원코드와 수도관을 묶어주세요. 그런 다음 NVLink 브리지를 연결합니다.

마지막으로 전원 공급 장치를 연결하면 기계를 실행할 준비가 됩니다.

스트레스 테스트

설치가 완료된 후 다음 작업은 운영 체제 설치를 계속하는 것입니다.

Mushen은 ubuntu22를 설치한 후 원격으로 연결했습니다.

물론 Mu Shen은 ubuntu22 외에도 다양한 요구에 따라 Windows와 Linux도 자세히 설명했습니다.

여기서 Mu Shen은 원격 연결에 SSH를 사용합니다.

Mushen의 시스템은 이미 드라이버를 설치했습니다. 동시에 그는 아직 드라이버가 없으면 apt-get을 사용하여 nvidia-driver-515를 설치할 수도 있다고 지적했습니다.

설치 후 nvidia-smi를 실행하여 시스템을 볼 수 있습니다.

다양한 정보를 보실 수 있습니다. GPU 수, 온도, 전력량, 메모리 사용량 등

다음으로 nvidia-smi의 topo-m 매트릭스를 통해 nv-link가 정상인지 여부도 확인할 수 있습니다.

두 개의 GPU가 NV4로 연결된 것을 볼 수 있습니다. 4는 4채널을 의미하며 연결이 정상임을 의미합니다.

다음 질문은 전체 부하에서 시스템 온도를 테스트하는 것입니다.

Mushen은 GPU가 github에서 다운로드할 수 있는 gpu-burn이라는 작은 프로그램으로 테스트된다고 말했습니다.

여기서 Mu Shen은 10분 동안 시뮬레이션하고 두 GPU의 온도를 확인했습니다. Mu Shen은 또한 GPU에서 뜨거운 공기가 불어오는 것을 느낄 수 있다고 농담했습니다.

마찬가지로 CPU도 CPU Burn을 사용하여 이런 방식으로 온도를 테스트할 수 있습니다.

결국 두 GPU의 온도는 58도와 55도에 머물렀고, 소비전력도 440와트(전체 소비전력 480와트) 이상에 달해 꽤 괜찮은 수준이다.

마지막 매개변수는 기계의 전력 소비입니다. Mu Shen의 테스트에서는 약 1240와트를 사용했는데, 이는 시간당 1.5kWh의 전력을 의미합니다.

현재 데이터로 볼 때 안정성은 여전히 ​​괜찮습니다.

이 머신에서 Transformer를 실행하는 성능은 다음 비디오를 기다려야 합니다.

네티즌들의 뜨거운 댓글

영상이 공개된 후 스테이션b 네티즌들도 큰 관심을 보였습니다.

완벽한 학급의 학생대표가 등장해 영상에서 언급된 전체 구성 목록을 나열해 주었습니다.

일부 네티즌들은 "리무에게 기계 설치 방법을 배워보세요"라며 달려들었다.

무셴 본인도 3090ti 카드가 별로 좋지 않다고 느꼈다고 하더군요. 한 네티즌은 즉각 "안되면 그냥 담배 피우고 버리세요"라고 댓글을 달았다.

제가 드릴 수 있는 말은, 정말 사실이라는 것뿐입니다.

위 내용은 AI 마스터 Li Mu의 설치 영상이 나왔습니다! 100억 개의 대형 모델도 연습할 수 있습니다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!