Tutoriel de construction de Stable Diffusion 3 et exemple de démonstration officiel, GALAXY GeForce RTX 4070 Ti SUPER Xingyao OC tourne à pleine vitesse en un instant

En tant que dernière version du modèle de génération d'images AI, Stable Diffusion 3 est ici avec de grandes attentes. Je pense que de nombreux amis doivent avoir plus ou moins utilisé le modèle de génération d'images dans leur travail et leur vie, nous le partagerons donc ci-dessous. Jetons un coup d'œil au processus de construction local de Stable diffusion 3. Sans plus tarder, passons aux choses pratiques.

La configuration de la plateforme utilisée dans cette build est la suivante : Compte tenu de la forte demande de puissance de calcul lors de l'exécution de Stable diffusion 3 en local, nous avons choisi cette fois la carte graphique GALAXY GeForce RTX 4070 Ti SUPER OC. La GEFORCE RTX 4070 Ti SUPER est construite sur la base du cœur AD103, qui constitue également le plus gros changement de cette carte graphique. Il contient 8 448 cœurs CUDA en interne, soit plus de 10 % de plus que les 7 680 cœurs du RTX 4070 Ti. La largeur de bits de la mémoire a été augmentée à 256 bits par rapport au RTX 4070 Ti, et les spécifications de la mémoire ont également été augmentées à 16 Go. GDDR6X, que ce soit pour les jeux ou l'IA, la création aide. Choisissez cette carte graphique pour trouver un équilibre entre prix et performances. Cette carte graphique est équipée de 16 Go de mémoire vidéo GDDR6x, avec une largeur de mémoire de 192 bits et une longueur de 35,4 cm. Afin de garantir que cette carte graphique est qualifiée pour la construction de Stable diffusion 3, certains tests des performances informatiques de cette carte graphique ont également été effectués au préalable. Les 8448 cœurs CUDA de la GeForce RTX 4070 Ti SUPER peuvent fournir du matériel. l'accélération, rendant le travail plus efficace soit améliorée. Presque tous les logiciels de modélisation sont optimisés pour les GPU NVIDIA, ils peuvent donc prendre en compte l'efficacité, la stabilité et la compatibilité. Nous avons testé les performances de V-Ray Benchmark. Le score du projet de test GPU CUDA est de 2746 points. Dans le test de Stable Diffusion 1.7, en sélectionnant le modèle v2-1_768-ema-pruned.ckpt, 21 images de cabanes ont été dessinées sous forme de diagrammes vincentiens. La résolution d'image était de 768*768, et cela a finalement pris. 54 secondes. Terminez. Après avoir activé la fonction TensorRT Engines, la vitesse est à nouveau réduite de moitié et elle peut être complétée en 27 secondes. Après une série de tests, nous avons déterminé que cette carte graphique est tout à fait capable de construire Stable Diffusion 3. Retroussons nos manches et commençons !

1. Préparation des ressources

Une fois la plate-forme matérielle construite, l'étape suivante consiste à sélectionner l'interface utilisateur et à télécharger le modèle. Je voudrais ajouter ici que l'ensemble du processus de construction comprend le téléchargement du fichier modèle, qui a des exigences relativement élevées. pour l'environnement réseau, mais ce sera le cas. Les fichiers nécessaires à la construction sont placés à la fin de l'article pour que chacun puisse apprendre et communiquer. Depuis que Stable Diffusion 3 vient de sortir, l'interface Web n'a pas encore été adaptée, c'est donc ComfyUI qui est utilisé cette fois. L'URL de Github est la suivante : https://github.com/comfyanonymous/ComfyUIFaites défiler vers le bas pour trouver le lien de téléchargement et cliquez pour télécharger. L'interface utilisateur est en cours de téléchargement, téléchargeons le lourd fichier modèle Stable Diffusion 3. L'URL est la suivante : https://huggingface.co/stabilityai/stable-diffusion-3-medium/tree/main (Cette URL est redirigée depuis le lien officiel, il n'est pas nécessaire de remettre en question l'autorité.) Obligatoire pour télécharger le fichier modèle Connectez-vous d'abord au site Web. Les amis qui n'ont pas de compte peuvent s'inscrire. Le processus d'inscription est relativement courant. Après l'enregistrement, vous pouvez voir le fichier modèle suivant. Téléchargez d'abord les trois fichiers de modèle marqués sur l'image. De plus, certains fichiers de ces deux dossiers doivent être téléchargés. Ces trois fichiers doivent être téléchargés dans le dossier text_encoders. Les trois fichiers du dossier confortables_example_workflows sont de taille relativement petite et sont des exemples de flux de travail officiellement fournis. Téléchargez-les ici pour des démonstrations ultérieures. Vous n'avez pas besoin de les télécharger si vous n'en avez pas besoin. Si tout se passe bien, après avoir téléchargé les fichiers suivants, nos travaux de construction peuvent officiellement commencer.

2. Construction de la plateforme

Décompressez d'abord new_ComfyUI_windows_portable_nvidia_cu121_or_cpu.7z et obtenez le fichier suivant. Ensuite, accédez au dossier...ComfyUI_windows_portable/ComfyUI/models/checkpoints et déplacez les trois fichiers commençant par « sd3 » à partir des fichiers que nous avons téléchargés plus tôt ici. Ensuite, accédez au dossier...ComfyUI_windows_portable/ComfyUI/models/clip et déplacez ici les trois fichiers commençant par "clip" et "t5xxl". Retournez dans le dossier…/ComfyUI_windows_portable/. Puisque nous nous appuyons principalement sur la puissance de calcul de la carte graphique GALAXY GeForce RTX 4070 Ti SUPER OC, nous double-cliquons ici pour exécuter run_nvidia_gpu.bat. S'il n'y a pas d'accident, vous verrez l'interface suivante après l'avoir ouverte. Félicitations, le processus de construction de Stable Diffusion 3 basé sur ComlfyUI est initialement terminé.

3. Exemples de workflows officiels

Alors ensuite, comment l'utiliser ? Vous souvenez-vous encore des trois workflows officiels que nous avons téléchargés plus tôt, le premier est celui de base généré par un seul mot d'invite ? une image, la seconde génère une image pour plusieurs mots d'invite et la troisième ajoute une étape d'amélioration de la résolution d'image basée sur la première. Nous allons montrer ici comment exécuter tour à tour les trois flux de travail officiels. Faites glisser le premier fichier .json téléchargé directement dans l'interface ComfyUI et vous pourrez voir que le flux de travail a changé. Si vous l'exécutez directement à ce moment-là, une erreur sera signalée. Vous devez re-spécifier l'emplacement du fichier du modèle. Ici, dans le modèle, en fonction du nom du modèle d'origine, sélectionnez le fichier modèle que nous avons inséré auparavant. Une fois que tous sont sélectionnés, vous pouvez commencer à courir. L'invite officielle est .

un personnage féminin aux cheveux longs et flottants qui semblent être constitués de motifs éthérés et tourbillonnants ressemblant aux aurores boréales ou aux aurores boréales. L'arrière-plan est dominé par des bleus et des violets profonds, créant une atmosphère mystérieuse et dramatique. avec une peau pâle et des traits frappants, elle porte une tenue de couleur foncée avec des motifs subtils. Le style général de l'œuvre d'art rappelle les genres fantastiques ou surnaturels.

se traduit par

un personnage féminin aux cheveux longs et flottants. être réalisé avec un motif tourbillonnant semblable aux aurores boréales ou aux aurores boréales. Le fond est dominé par des bleus foncés et des violets, créant une atmosphère mystérieuse et dramatique. Le visage du personnage est calme, avec une peau pâle et des traits délicats. Elle porte des vêtements sombres avec des motifs subtils. Le style général du tableau rappelle le genre fantastique ou surnaturel.

Dans le flux de travail ci-dessus, la zone de texte verte est la zone de saisie pour les mots d'invite de transfert, et la zone de texte rouge est la zone de saisie pour les mots d'invite inverse. L'image générée après l'exécution est la suivante. 4070 Ti SUPER star YaoOC a généré cette image de 1024*1024 pixels en seulement 21,23 secondes, et l'expérience est très fluide. On peut voir que lors de l'exécution du modèle, la charge du GPU est instantanément pleine, ce qui montre que la demande du modèle en puissance de calcul GPU est assez terrifiante. À ce stade, le flux de travail de base officiel a été exécuté. L'éditeur a réessayé d'utiliser "Un Bob l'éponge mangeant de la glace" comme mot d'invite positif à générer, et l'image résultante est la suivante ((ci-dessus), le l'ensemble est relativement harmonieux. A titre de comparaison, vous pouvez jeter un œil à l'image (ci-dessous) que l'éditeur a utilisée pour générer à l'aide de Stable Diffusion 1.7 en utilisant les mêmes mots d'invite. Le premier workflow est réussi, essayons donc le deuxième workflow. Semblable au premier, faites glisser le fichier .json officiel dans l'interface pour obtenir un flux de travail similaire à celui actuel. L'emplacement du fichier modèle doit encore être configuré. Après la configuration, vous pouvez exécuter le workflow normalement. La GALAXY GeForce RTX 4070 Ti SUPER Xingyao OC a mis 14,92 secondes pour faire fonctionner ce modèle, ce qui est beaucoup plus court que le précédent. Cependant, lors de l’exécution du modèle, la charge GPU est toujours pleine instantanément. Les idées générales de déploiement des deux premiers workflows sont similaires. La sélection dépend principalement de vos besoins d'utilisation quotidiens. Après l'exécution, les paramètres peuvent être ajustés et optimisés davantage en fonction des besoins personnels, qui ne seront pas abordés ici. Parlons ensuite de ce troisième workflow. Suivez le même exemple et faites glisser le fichier .json, et vous verrez une erreur, ce qui signifie probablement que le fichier de modèle correspondant est manquant. Désactivez le rapport d'erreurs, vous pouvez voir qu'il y a une boîte de processus en rouge, qui est causée par l'absence du modèle requis pour améliorer la résolution de l'image. L'idée pour résoudre des problèmes similaires une fois pour toutes est d'installer un plug-in ComfyUI - ComfyUI Manager, qui peut détecter, télécharger et compléter les modèles et plug-ins manquants dans le flux de travail actuel. L'URL du plug-in est la suivante : https://github.com/ltdrdata/ComfyUI-ManagerLe fonctionnaire propose une variété de méthodes d'installation. Les amis intéressés peuvent l'étudier par eux-mêmes. Nous choisissons ici la première méthode d'installation. Fermez l'interface ComfyUI avant l'installation. Bien que cela ne soit pas officiellement mentionné, si vous utilisez la première méthode pour installer, vous devez d'abord télécharger et installer git. Ici, nous téléchargeons et installons le programme d'installation autonome 64 bits. Une fois l'installation terminée, ouvrez le terminal et exécutez les trois commandes suivantes dans l'ordre. cdCUsersithomeDocumentscomfyui_sd3ComfyUI_windows_portableComfyUIcdcustom_nodesgitclonehttps://github.com/ltdrdata/ComfyUI-Manager.gitL'adresse du dossier dans la première commande doit être modifiée en fonction de l'emplacement où ComfyUI est installé. Les exigences réseau ici sont relativement élevées. Si le réseau n'est pas bon, une erreur peut être signalée. Après avoir réussi, vous verrez la commande de fin de téléchargement. Ouvrez maintenant ComfyUI, vous pouvez voir deux autres boutons dans le coin inférieur droit. Cliquez sur Gestionnaire et vous pourrez voir une multitude d'éléments de configuration. Nous utilisons principalement les deux éléments dans la case rouge ici. Cliquez d'abord sur Installer les nœuds personnalisés manquants. Vous pouvez voir que les plug-ins manquants ont été détectés. Après l'installation, vous pouvez voir que le carré rouge dans le flux de travail est revenu à la normale. Cependant, si vous exécutez à nouveau le modèle à ce moment-là, vous constaterez qu'il ne peut fonctionner que selon les mêmes étapes que le premier modèle officiel, et l'amélioration de la résolution ultérieure cessera de fonctionner. En effet, nous n'avons pas encore installé le modèle 4x-UltraSharp.pth. Ouvrez Installer les modèles dans le gestionnaire, recherchez 4x-UltraSharp, vous pouvez voir les modèles concernés, cliquez sur Installer à l'arrière. Une fois l'installation terminée, exécutez-la à nouveau. Vous pouvez voir qu'après avoir exécuté le modèle Wenshengtu, il y aura 4 processus de modèle avec une résolution améliorée. Le processus complet prend 51,09 s. Ce flux de travail est assez stressant. du RTX 4070 Ti SUPER Xingyao OC est plutôt bon. Vous pouvez voir l'image après avoir augmenté la résolutionLa taille de l'image a également augmenté d'environ 4 fois. Donc ici, tout le monde doit avoir compris le processus de construction de Stable Diffusion 3 basé sur ComfyUI. Il convient de noter qu'en raison des différences d'environnement réseau, de raisons matérielles, etc., vous pouvez rencontrer divers problèmes pendant le processus de construction. il n'y a pas lieu de s'inquiéter des accidents. Vous pouvez les partager dans la zone de commentaires et en discuter et les résoudre ensemble.

Résumé

La sortie de Stable Diffusion 3 nous a une fois de plus permis de constater les progrès et le développement rapides des grands modèles d'IA. En tant qu'outil qui peut grandement améliorer l'efficacité dans la vie quotidienne, il est toujours bénéfique de l'étudier après le travail. Cependant, à mesure que la complexité du modèle augmente, il est prévisible que la puissance de calcul requise pour le fonctionnement local augmentera également. Du point de vue de l'ensemble du processus de construction, la carte graphique GALAXY GeForce RTX 4070 Ti SUPER Xingyao OC utilisée dans ce test est. Cela peut néanmoins grandement améliorer l'efficacité du fonctionnement du modèle et gagner beaucoup de temps. Après tout, personne ne veut attendre une heure juste pour générer une image. Depuis que Stable Diffusion 3 est sorti il ​​y a peu, l'éditeur le partagera avec vous dès que possible après avoir traversé la rivière à la recherche des pierres. S'il y a quelque chose d'imprécis ou d'incorrect dans l'article, merci de le critiquer et de le corriger, nous. le modifiera dès que possible ; derniers souhaits. Les amis qui tentent de le construire peuvent réussir du premier coup et aucune erreur n'est signalée tout au long du processus ! 【Ci-joint】Ressources requises pour la construction_Code d'extraction : 6666

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!