La vidéo d'installation du maître de l'IA Li Mu est ici ! Vous pouvez également pratiquer 10 milliards de grands modèles

Avant la sortie de la vidéo d'installation, le professeur Li Mu a lancé une fois une petite enquête par questionnaire pour profiter de la réduction du prix des cartes graphiques afin de voir dans quelle mesure les enfants sont intéressés par l'installation et l'exécution de Transformer.

A cette époque, même le talentueux jeune homme de Huawei "Zhihui Jun" en est venu à l'aimer, ce qui montre que tout le monde l'attend toujours avec impatience.

Non, Mu Shen est là avec sa vidéo d'installation. Comment former un modèle de 10 milliards au moindre coût ?

Tout récemment, le cercle des devises s'est refroidi et les prix des GPU ont également été considérablement réduits. Par exemple, le NVIDIA 3090TI est désormais au prix de 1 600 $ US (le prix d'origine est de 2 000 $ US).

Au début de ce projet, 2 machines prototypes ont été installées. Chaque machine était une RTX 3090TI à double carte, utilisant un système de refroidissement refroidi par eau pour réduire le bruit.

Le coût d'installation d'une machine est supérieur à 5 000 dollars américains, soit environ 35 000 yuans.

Sans plus tard, jetons un coup d'œil à la façon dont Mu Shen est installé ~

Liste de contrôle d'installation

La première exigence pour l'installation est d'être suffisamment silencieux. Sinon, ce sera trop bruyant et vous ne pourrez pas travailler.

La deuxième exigence est une bonne dissipation thermique. Sinon, si la température est trop élevée, le GPU ralentira.

Le troisième point est que, comme nous devons exécuter un modèle Transformer relativement volumineux, la bande passante du GPU doit être suffisamment bonne.

Si vous avez déjà installé un serveur GPU pour exécuter CNN, les exigences pour exécuter le modèle Transformer seront différentes. Le modèle Transformer étant plus grand que le modèle CNN, l'utilisation de la mémoire sera plus élevée. La taille de la mémoire du GPU est donc très importante.

Mu Shen a également déclaré auparavant qu'un si grand modèle de Transformer doit être formé sur plusieurs GPU. Les ingénieurs de Google, Microsoft, etc. utilisent tous des machines comme DGA X100 pour l'exécuter. Même sur de telles machines, la bande passante du GPU reste un goulot d'étranglement.

La différence entre l'achat de ce type de GPU de serveur et de GPU de jeu est que le premier ne concerne pas la vitesse à laquelle une seule carte peut fonctionner, mais la vitesse à laquelle les cartes peuvent être connectées.

Le point clé du concept d'installation est donc d'augmenter au maximum la mémoire GPU et la bande passante de l'interconnexion entre GPU

Si une machine veut mettre beaucoup de cartes, il faut acheter une turbine à dissipation thermique.

Si vous voulez être tranquille, achetez un dissipateur thermique refroidi à l'eau. Mu Shen a acheté 4 yuans de 3090 TI. L’avantage du refroidissement par eau est qu’il est relativement silencieux, mais l’inconvénient est qu’il prend beaucoup de place.

Donc, si vous souhaitez mettre quatre cartes dans le boîtier, n'achetez pas la version refroidie à l'eau, mais achetez la version avec un seul ventilateur turbo.

Et la direction du vent dans le châssis est un enjeu particulièrement important. Si vous achetez une carte avec trois ventilateurs, l'air entrera dans le châssis par l'avant puis dissipera la chaleur de toutes les directions. Si les cartes sont trop rapprochées, la température à l'intérieur du châssis sera très élevée.

Mu Shen a également déclaré qu'il y a de nombreuses années, il avait acheté quatre cartes avec deux grands ventilateurs et les avait assemblées. En conséquence, une carte avait surchauffé et brûlé.

Après avoir sélectionné le GPU (ASUS ROG), la configuration restante est relativement simple. Le processeur est un processeur AMD à 12 cœurs, la carte mère est d'une marque appelée PCIE 4.0 16, le disque dur est un disque dur M.2 de 2 To, le ventilateur est un ventilateur refroidi à l'eau de 120 mm et un châssis pleine taille est ajouté.

Étapes d'installation

Une fois la liste d'installation terminée, l'étape suivante est le processus d'installation spécifique. Les étapes sont les suivantes :

Mettez d'abord le GPU. Notez que vous ne devez pas toucher les endroits métalliques avec vos mains pendant le processus de placement. S'il y a de l'électricité statique, le GPU sera facilement conducteur d'électricité.

Après avoir installé le GPU, serrez les vis. Ensuite, mettez le ventilateur.

Après avoir branché l'alimentation, attachez le cordon d'alimentation et le tuyau d'eau ensemble. Connectez ensuite le pont NVLink.

Connectez enfin l'alimentation électrique et la machine est prête à fonctionner.

Stress Test

Une fois l'installation terminée, la tâche suivante consiste à continuer l'installation du système d'exploitation.

Mushen a installé Ubuntu22 Après l'avoir installé, il s'y est connecté à distance.

Bien sûr, Mu Shen a également expliqué diverses situations plus en détail En plus d'ubuntu22, Windows et Linux sont également disponibles sous différents besoins.

Ici, Mu Shen utilise SSH pour la connexion à distance.

Le système de Mushen a déjà installé le pilote. En même temps, il a également souligné que s'il n'y a pas encore de pilote, vous pouvez également utiliser apt-get pour installer nvidia-driver-515.

Après l'installation, vous pouvez exécuter nvidia-smi et voir le système.

Vous pouvez en voir diverses informations. Tels que le nombre de GPU, la température, la puissance, l'utilisation de la mémoire, etc.

Ensuite, vous pouvez également voir si le nv-link est normal via la matrice topo-m de nvidia-smi.

Vous pouvez voir que les deux GPU sont connectés par NV4. 4 signifie 4 canaux, ce qui signifie que la connexion est normale.

La question suivante est de tester la température du système à pleine charge.

Mushen a déclaré que le GPU est testé par un petit programme appelé gpu-burn, qui peut être téléchargé depuis github.

Ici, Mu Shen a simulé pendant dix minutes et a vu les températures des deux GPU. Mu Shen a également plaisanté en disant que vous pouvez sentir l'air chaud souffler du GPU.

De même, le CPU peut également tester la température de cette manière, en utilisant le CPU-burn.

Au final, les températures des deux GPU sont restées à 58 degrés et 55 degrés, et la consommation électrique a atteint plus de 440 watts (consommation totale de 480 watts), ce qui est plutôt bien.

Le dernier paramètre est la consommation électrique de la machine. Le test de Mu Shen a utilisé environ 1 240 watts, ce qui signifie 1,5 kilowattheure d'électricité par heure.

À en juger par les données actuelles, la stabilité est toujours correcte.

En ce qui concerne les performances d'exécution de Transformer sur cette machine, nous devons attendre la prochaine vidéo.

Commentaires chauds des internautes

Après la diffusion de la vidéo, les internautes de la station b ont également exprimé un grand intérêt.

Un représentant étudiant de la classe parfaite est apparu et a répertorié la liste complète des configurations mentionnées dans la vidéo.

Certains internautes se sont précipités pour regarder : "Apprenez à installer la machine avec Li Mu".

Mushen lui-même a dit qu'il estimait que la carte 3090ti n'était pas très bonne. Immédiatement, un internaute a commenté : "Si ça ne marche pas, fumez-le et donnez-le."

Bien sûr, les commentaires sous ce genre de vidéo d'installation hardcore doivent être humoristiques.

Tout ce que je peux dire, c'est que c'est tellement vrai.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!