L'ordinateur pour lequel j'ai dépensé 300 yuans a fonctionné avec succès grâce au grand modèle local

Si 2023 est reconnue comme la première année de l’IA, alors 2024 sera probablement une année clé pour la vulgarisation des grands modèles d’IA.

Au cours de l'année écoulée, un grand nombre de grands modèles d'IA et un grand nombre d'applications d'IA ont vu le jour. Des fabricants tels que Meta et Google ont également commencé à lancer leurs propres grands modèles en ligne/locaux au public, similaires aux modèles distants. concepts d'"intelligence artificielle IA". Le concept d'inaccessibilité apparaît soudainement aux gens.

De nos jours, les gens sont de plus en plus exposés à l'intelligence artificielle dans leur vie. Si vous regardez attentivement, vous constaterez que presque toutes les différentes applications d'IA auxquelles vous avez accès sont déployées sur le « cloud ». Si vous souhaitez construire un appareil capable d'exécuter de grands modèles localement, le matériel sera de tout nouveaux AIPC au prix de plus de 5 000 yuans, ce qui n'est pas convivial pour les consommateurs ordinaires.

(Source photo : Google)

Mais compresser le budget à l'extrême puis faire correspondre une console « utilisable » est le plaisir ultime pour tout joueur bricoleur. La question est maintenant la suivante : si vous voulez vraiment vous procurer un ordinateur capable d’exécuter localement un grand modèle vocal, combien cela coûtera-t-il ?

Mon budget est de - 300 yuans.

Bien que les prix des produits de mémoire/stockage sérieux aient augmenté récemment, le prix des déchets étrangers n'a pas beaucoup changé. Même un lot de premiers processeurs étrangers et de GPU de cartes minières a une tendance à la baisse. Dans le contexte de la tendance actuelle de l'IA, je ne suis même pas prêt à m'en tenir aux besoins audio et vidéo du bureau, et j'ai décidé de me lancer un défi avec un budget de 300 yuans pour essayer de construire un hôte local grand modèle d'entrée de gamme rentable. .

Quant à comment le faire fonctionner spécifiquement et si le résultat final est satisfaisant, vous le saurez naturellement après m'avoir suivi.

Ancien CPU classique, GPU de niveau mineur

En termes de sélection de CPU, j'ai directement acheté un Intel® Core™ i3-4170T de Xianyu.

Ce processeur a deux cœurs et quatre threads, une fréquence principale de 3,2 GHz, aucune capacité de fréquence turbo, un cache intelligent de 3 Mo et une architecture Haswell utilisant la technologie de processus 22 nm. La plus grande caractéristique est qu'il dispose d'un écran central HD4400, qui. c'est pourquoi je l'ai choisi.

(Source photo : Lei Technology)

Comme le dit le dicton, U à bas prix est livré avec des cartes à bas prix. La carte mère que j'ai choisie est une carte mère ASUS work package H81M-V3, et il n'y en a que deux. Sans parler de l'emplacement mémoire DDR3, il n'y a pas d'interface de sortie HDMI ni d'emplacement pour disque dur M2. Il n'y a que deux interfaces USB 3.0 et SATA III. Le plus grand avantage de cette chose est le prix d'occasion très bas. .

Cet ensemble de planches en U coûte moins de 80 yuans au total, et son rapport qualité-prix est encore exceptionnel aujourd'hui.

(Source : Taobao)

Avec ce type de processeur, vous n'avez pas trop à vous soucier de la dissipation thermique.

La dissipation thermique du refroidissement par air push-down envoyée par Xianyu en paquets de 20, bien que l'apparence soit un peu moche et grossière, elle est certainement plus que suffisante pour supprimer ma configuration à prix ultra bas.

(Source photo : Lei Technology)

Quant aux cartes graphiques, de nombreuses cartes de minage P106-090/P106-100 sont récemment sorties sur Xianyu, parmi lesquelles le prix du La première est généralement de 75. Le prix de la seconde est généralement d'environ 120 yuans. Considérant que mon intention initiale cette fois n'était pas pour les jeux, j'ai finalement choisi une carte minière Zotac P106-090. Cette carte n'est pas adaptée aux problèmes de bande passante. , mais le prix est là.

Enfin, équipez-le simplement de deux mémoires DDR3 sans nom pour former une mémoire double canal, utilisez une alimentation Great Wall de 350 W pour l'alimenter, un SSD SATA de 120 Go comme disque système, et contentez-vous du grosse graisse de silicone de buffle restant de la dernière installation. Faisons-le, et ajoutons enfin un petit boîtier informatique de 20 yuans, et nous avons tout le matériel de base pour une installation à 300 yuans.

(Source photo : Lei Technology)

Courez pour un score si vous ne l'acceptez pas ! Performances assez raisonnables

Installation complète, allumez le châssis !

Faisons d'abord un simple test de performances. En tant que vétéran ayant servi pendant de nombreuses années, les performances de l'Intel® Core™ i3-4170T sont exactement comme ça. Même lorsque la consommation d'énergie est déverrouillée avec TrottlesStop, c'est le cas. presque équivalent au mobile Le niveau des processeurs fin de gamme Core 6e génération et Core 7e génération.

(Source photo : Lei Technology)

Au cours de la session de test réelle, le score d'exécution monocœur du test CPU-Z était de 319,9 points et le score d'exécution multicœur était de 881,0 points. Selon la norme de test CINEBENCH, le CINEBENCH R20 multicœur 732cb, monocœur. noyau 301cb. Bien sûr, ces performances ne sont pas exceptionnelles, mais elles sont tout à fait suffisantes pour le travail de bureau quotidien et les divertissements légers.

(Source photo : Lei Technology)

En regardant la partie GPU, le Zotac P106-090 que nous avons est construit à l'aide d'un processus 16 nm. Le cœur de la carte graphique est GP106 et la fréquence du cœur. est de 1354 MHz. Il peut être augmenté à 1531 MHz, dispose de 768 unités d'ombrage, prend en charge DirectX12, la spécification de mémoire est de 3072 Mo/192 bits de mémoire Samsung GDDR5 et la fréquence de mémoire peut atteindre 2002 MHz.

(Source : Lei Technology)

Il est à noter que l'interface du P106-090 est PCI-E x4 1.1, tandis que l'interface du P106-100 est PCI-E x16 1.1. , Cela se traduit par une différence de performances relativement évidente entre les deux même s'ils ont le même cœur. J'ai choisi la carte graphique P106-090 simplement parce qu'elle peut fournir une puissance de calcul CUDA à un prix extrêmement bas.

Comme le montre la figure, dans le test Fire Strike pour évaluer les performances du DX11, le P106-90 a obtenu un score graphique de 3287 points dans le test Extreme et dans le test Time Spy pour évaluer les performances du DX12, le P106-90 a obtenu ; un score graphique de 3287 points dans le test de base. Dans le test, il a obtenu un score graphique de 2251 points. Cette performance est similaire à celle de la GTX1050, mais il existe un certain écart entre les performances d'affichage de base du R5-7640H.

(Source : Lei Technology)

En termes de stockage, nous avons dépensé 40 yuans pour acheter ce disque dur SSD Sata hors marque de 128 Go, avec des vitesses de lecture et d'écriture séquentielles de 505,28 Mo/ s et 400,09 Mo/s, la lecture et l'écriture aléatoires 4K atteignent 132,35 Mo/s et 244,29 Mo/s. Bien qu'il ne soit pas comparable au disque dur SSD M2, il est certainement plus que suffisant comme disque de démarrage du système.

(Source : Lei Technology)

Quant à cette paire de mémoires DDR3 double canal, AIDA64 a été utilisée pour tester le cache mémoire. La vitesse de lecture mesurée était de 20894 Mo/s, et la vitesse de lecture mesurée était de 20 894 Mo/s. la vitesse d'écriture était de 20 894 Mo/s, la vitesse est de 23 629 Mo/s, la vitesse de copie est de 20 901 Mo/s et la latence est de 67,5 ns, ce qui est parfait pour cet ordinateur. (Source photo : Lei Technology) -modèle de console de jeu, donc l'expérience réelle est certainement ce à quoi nous accordons le plus d'attention.

Essayez d'abord Koblodcpp, qui est un programme de démarrage llamacpp qui intègre l'interface Koblod.AI. Il peut exécuter de grands modèles locaux au format GGUF qui sont actuellement populaires sur Internet. Il peut même intégrer de grands modèles vocaux et de grands dessins. modèles à réaliser Lors d'une conversation, la voix et les effets de scène correspondants sont générés.

(Source photo : Lei Technology)

Malheureusement, la capacité des modèles grand format GGUF actuellement partagés sur Huggingface dépasse généralement les 3Go, même si la capacité sélectionnée n'est que d'environ 5Go. Le modèle causallm_7b provoquera toujours un débordement de la mémoire de la carte graphique et fera intervenir le CPU dans les calculs, conduisant finalement à une réduction de l'efficacité de fonctionnement de l'ensemble du grand modèle.

(Source : Lei Technology)

Testons-le Dans ce mode, la réponse la plus longue de Kobold.AI atteint environ 599s (soit 10 minutes), et la réponse la plus courte prend également. environ 50 secondes pour générer, ce qui est très différent des 10 secondes moyennes des grands modèles cloud pour fournir des réponses. L'expérience est en effet moyenne.

Dans ce cas, autant se contenter de la meilleure solution suivante et utiliser Intel AIGC Assistant pour découvrir le grand modèle local. Il s'agit d'une démo qui intègre une variété de grands modèles de langage locaux et est dédiée à fonctionner sans. être connecté au réseau. Réaliser un dialogue homme-machine intelligent.

Lorsque le réseau informatique est éteint, à l'exception du déploiement initial d'un grand modèle, qui prend un certain temps, les questions suivantes peuvent essentiellement recevoir une réponse en 5 secondes, qu'il s'agisse de répondre à des questions, de traduire ou d'écrire. , c'est très rapide. Bien que des erreurs logiques se produisent encore lors de la résolution de certains casse-tête ou de problèmes arithmétiques, l'expérience globale dans ce cas est bien meilleure qu'auparavant.

(Source photo : Lei Technology)

Bien sûr, les fonctions plus avancées telles que les cartes de personnages et les mots d'invite ne sont définitivement pas disponibles.

Regardons à nouveau la peinture AI. Ce que j'utilise ici, c'est le lanceur Huiyo intégré par bilibili UP, qui intègre Stablediffsion WebUI, divers téléchargements de plug-ins SD et une utilisation à distance du modèle. un dispositif de lancement.

(Source photo : Lei Technology)

Considérant que le P106-90 n'a que 3 Go de limite de stockage, j'ai choisi le modèle mistoonAnime MIX_v20 avec une capacité de seulement 2 Go après découpage, et le Le P106 -90 réellement mesuré prend environ trois minutes pour générer quatre images 128*160, sept à huit minutes pour générer quatre images 240*320 et environ six minutes pour générer une image 512*512.

(Source photo : Lei Technology)

D'après l'expérience réelle, je recommande personnellement de partir de 128*160 images tout en réduisant les mots d'invite et les plug-ins Lorsque vous rencontrez une image appropriée. puis soumis à la mise à niveau par l'IA et au redessin d'une seule image, de sorte que l'expérience globale soit assez bonne. Sinon, si l'image est générée avec la spécification de 512*512, la probabilité de supprimer l'image n'est généralement pas élevée.

(Source : Lei Technology, images générées avec SD)

Puisque le grand modèle local peut être utilisé, qu'en est-il de l'expérience de jeu ?

Considérant la configuration matérielle réelle, nous avons testé l'expérience de quatre jeux en résolution FHD : "Far Cry 6", "Shadow of the Tomb Raider", "F1 2020" et "Horizon : Zero Dawn", laissez-nous jetez un oeil à leurs performances respectives.

Dans le test de performances de "Far Cry 6", avec la qualité d'image la plus basse de 1920*1080, la fréquence d'images moyenne de cet ordinateur était de 32 ips, même si le profil de performances FSR est activé, l'image finale du jeu. le taux ne peut être que de 40 ips de haut en bas.

(Source : Lei Technology)

En regardant à nouveau le jeu de course, dans "F1 2020", nous avons activé la qualité moyenne 1920*1080 et effectué un test par temps ensoleillé sur l'Australien. piste. La fréquence d'images moyenne finale peut atteindre 59 ips, et même cette carte minière qui a été en service à plusieurs reprises peut fonctionner sans problème.

(Source photo : Lei Technology)

En tant que jeu de test standard, "Shadow of the Tomb Raider" n'a naturellement pas manqué ce test. Sans activer FSR et par défaut sur la qualité d'image la plus basse de 1920*1080, la fréquence d'images moyenne de cet ordinateur exécutant le test de référence du jeu est de 50 ips, ce qui est la plus proche d'une expérience de jeu stable à 60 ips parmi ce lot de jeux 3A.

(Source photo : Lei Technology)

Enfin, une question difficile, "Horizon : Zero Dawn", car la qualité d'image la plus basse fera également exploser la mémoire vidéo, cet ordinateur fonctionne à 1280 *Avec la qualité d'image la plus basse de 720, il peut à peine atteindre la ligne de dépassement de 30 ips, ce qui ne peut être considéré que comme inadapté aux jeux.

(Source : Lei Technology)

En général, en raison de sévères restrictions de bande passante, les performances réelles du P106-090 ne sont pas aussi bonnes que celles du GTX1050, qui a des scores de fonctionnement similaires. Il est légèrement plus puissant que l'écran principal de l'Iris Xe 96EU, mais il a été quelque peu étiré pour faire face aux jeux 3A ces dernières années.

Résumé : Il peut effectivement exécuter de grands modèles, mais la stabilité n'est pas bonne

Avantages :

Budget faible

2.

Inconvénients :

1. Les pièces d'occasion ne sont pas garanties ;

2. Le pilote de la carte minière est très facile à perdre et des problèmes d'écran blanc surviennent de temps en temps.

Cet hôte informatique avec un budget de 300 yuans peut-il être utilisé ?

Bien que les spécifications du processeur soient anciennes et que les performances de la carte minière soient instables, cet ordinateur hôte avec un budget de 300 yuans peut en effet achever le déploiement de grands modèles locaux. Il n'y a aucun problème de génération de texte et d'expérience de dessin d'IA. Vous pouvez même l'utiliser comme PC AI.

Même si vous exécutez un chef-d'œuvre AAA comme "Far Cry 6", cette machine peut garantir un fonctionnement stable de 60 images avec une qualité d'image FHD faible, elle devrait donc être plus que suffisante pour faire face à des jeux en ligne tels que "League of Legends", et il peut l'utiliser comme hôte de jeu en ligne d'entrée de gamme.

(Source photo : Lei Technology)

Alors suis-je satisfait de cet hôte informatique ?

La réponse est non. Lors de l'utilisation réelle, la carte minière P106-90 a connu de nombreuses pannes de pilote, entraînant un écran blanc sur l'ordinateur. Il est nécessaire d'utiliser DDDU pour désinstaller le pilote puis le réinstaller. Si cela est juste un peu gênant lors des tests, alors c'est certainement difficile à accepter dans une utilisation quotidienne.

Il convient de noter qu'il existe actuellement de nombreuses machines indésirables étrangères sur Xianyu avec des configurations similaires à la machine que j'ai assemblée. Le prix est généralement d'environ 350 à 400 yuans, et le public cible est évidemment juste... Pour les jeunes. aux gens qui sont à l'université ou en dehors de la société, je vous suggère personnellement de ne pas acheter ces produits. Ce n'est pas une blague que vous en ayez pour votre argent.

En dernière analyse, ramasser les ordures est risqué, il faut donc être prudent avant de monter dans la voiture. Pour les joueurs qui en ont marre de jouer avec des ordinateurs haut de gamme, il est quand même très intéressant de jouer occasionnellement avec les garbage collector, mais c'est juste pour s'amuser, et ils n'ont pas vraiment vocation à être utilisés comme machine principale pendant longtemps Après tout, les accessoires du garbage collector sont en mauvais état et il n'y a aucune garantie. Si vous perdez des données importantes en raison d'une panne, cela en vaudra la peine.

Cependant, en utilisant un budget de 300 yuans pour achever la tentative de faire fonctionner un PC local de grand modèle, cela montre dans une certaine mesure que les performances matérielles ne sont peut-être pas le principal facteur limitant le développement des PC IA. Au moins dans les scénarios d'utilisation des consommateurs ordinaires, au lieu d'améliorer la puissance de calcul, les fabricants de PC devraient aider les utilisateurs à créer le cadre et l'environnement de grands modèles d'IA et à offrir aux utilisateurs une meilleure expérience en termes de systèmes et de logiciels. En d’autres termes, AI PC devrait être quelque chose que les utilisateurs peuvent utiliser du bout des doigts, plutôt que d’assembler eux-mêmes un PC DIY.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!