SIGGRAPH2024｜L'Université des sciences et technologies de Shanghai et Yingmu ont proposé conjointement DressCode : générer des modèles de vêtements en 3D à partir de texte

La rubrique AIxiv est une rubrique où ce site publie du contenu académique et technique. Au cours des dernières années, la rubrique AIxiv de ce site a reçu plus de 2 000 rapports, couvrant les meilleurs laboratoires des principales universités et entreprises du monde entier, favorisant efficacement les échanges et la diffusion académiques. Si vous souhaitez partager un excellent travail, n'hésitez pas à contribuer ou à nous contacter pour un rapport. Courriel de soumission : liyazhou@jiqizhixin.com ; zhaoyunfeng@jiqizhixin.com

La génération 3D est l'un des sujets les plus accrocheurs dans le domaine de l'intelligence artificielle générative et de la génération 3D, à la rencontre du cinéma et de la télévision. et normes de jeu. Cela préoccupe particulièrement l'industrie. Dans le processus de production, les actifs 3D de catégories générales sont souvent produits par modélisation ou numérisation manuelle. Cependant, en tant que catégorie importante d'actifs 3D, les actifs vestimentaires sont souvent dérivés de processus tels que les mises à plat et la simulation physique, plutôt que de modélisation directe en 3D.

L'Université des sciences et technologies de Shanghai, Yingmo Technology et l'Université de Pennsylvanie ont proposé conjointement DressCode. Il s'agit du premier cadre de génération de vêtements 3D qui prend entièrement en charge les opérations CG et est compatible avec les processus industriels. vêtements grâce à un guidage textuel. Rendu de qualité, vêtements 3D modifiables, pilotables et simulés.

Dresscode a été accepté par Transactions on Graphics, la plus grande revue internationale dans le domaine de l'infographie, et sera présenté à SIGGRAPH 2024, la plus grande conférence internationale sur l'infographie.

• Lien du projet : https://sites.google.com/view/projectpage-dresscode
• Lien papier : https://arxiv.org/abs/2401.16465

Introduction

Les vêtements jouent un rôle important dans l'apparence humaine, ce qui souligne l'importance de la numérisation des vêtements pour la création d'humains numériques. Les récents progrès spectaculaires dans la création de contenu 3D sont essentiels à la création d’humains numériques.

Cependant, il reste encore un poste vacant dans les travaux sur la génération de vêtements. Étant donné que le maillage ou le champ neuronal généré par la méthode de génération générale est incompatible avec le processus de production numérique réel de vêtements, l'application directe de ce type de méthode à Les catégories de vêtements n'ont pas obtenu beaucoup de succès.

Afin de résoudre ces problèmes, l'équipe R&D de Yingmo Technology et de l'Université des sciences et technologies de Shanghai a proposé un cadre de génération de vêtements 3D piloté par texte-DressCode, visant à simplifier la conception de vêtements numériques pour les débutants et à améliorer la l'efficacité dans le design de mode, l'essayage virtuel et la création humaine numérique offrent un énorme potentiel.

Ce cadre peut générer des modèles de vêtements adaptés au processus CG grâce à une interaction en langage naturel, et facilite également la réalisation de motifs et l'édition de textures, simplifiant ainsi le processus de conception grâce à une interaction conviviale. Cet article présentera en détail les principales fonctions de DressCode et explorera ses perspectives d'application dans des scénarios de conception réels.

Présentation du framework SewingGPT

Pour le module de génération de modèles, l'article propose SewingGPT, qui est un modèle autorégressif basé sur GPT pour générer des modèles de couture via des invites textuelles. Il convertit d'abord les paramètres du motif de couture en une série de jetons quantifiés et entraîne un transformateur uniquement décodeur. Et en intégrant l'attention croisée des mots d'invite du texte dans le Transformer, le texte peut être utilisé pour guider les résultats générés.

Une fois la formation terminée, le modèle peut générer de manière autorégressive une séquence de jetons en fonction des conditions d'utilisation et quantifier inversement la séquence générée pour obtenir les paramètres du motif de couture généré.

Présentation du framework DressCode

Avec SewingGPT, le framework est capable de générer divers modèles de couture directement à partir d'invites de texte. Étant donné que la cartographie des matériaux est si essentielle dans le pipeline CG, le framework génère des textures physiques correspondantes pour ces motifs, s'alignant plus étroitement sur le flux de travail de conception des costumes.

Le framework DressCode proposé par les auteurs utilise les générateurs de texture SewingGPT et PBR pour générer les parties géométriques et les parties texturées des vêtements 3D, et utilise en outre de grands modèles de langage pour créer des vêtements personnalisés pour les utilisateurs grâce à une interaction en langage naturel.

Après avoir réalisé la génération de patrons de couture et de textures via des invites textuelles, afin de permettre aux concepteurs d'utiliser le langage naturel pour interagir avec le générateur dans des scénarios réels au lieu de s'appuyer sur des invites au format d'ensemble de données, les auteurs ont adopté GPT- 4 Effectuez un apprentissage de contenu pour interpréter la saisie en langage naturel de l'utilisateur et générer des mots d'invite géométriques et des mots d'invite de texture.

Une fois ces mots d'invite saisis dans le générateur de texture SewingGPT et PBR, les motifs de couture et les textures générés sont obtenus, et les résultats finaux sont obtenus par simulation et rendu. Dans le même temps, les vêtements générés et les textures PBR peuvent être intégrés de manière transparente dans un logiciel industriel, animés et pilotés avec des modèles humains, et rendus sous différents éclairages pour garantir des effets vifs et réalistes.

Capacité de réalisation de motifs

Grâce au modèle autorégressif, SewingGPT peut compléter l'intégralité du motif de couture après avoir reçu des informations partielles sur le motif en utilisant la prédiction de probabilité fournie par le modèle. De plus, la saisie d'une invite de texte peut guider le modèle pour terminer le motif de couture. Par exemple, après avoir donné une manche, le modèle peut réaliser divers modèles de couture selon différentes invites. Cela permet aux utilisateurs de concevoir manuellement des modèles partiels, d'utiliser SewingGPT pour s'inspirer et de compléter des vêtements en fonction d'invites textuelles.

Capacité d'édition de texture

Dans les tâches de génération 3D les plus récentes, l'incapacité de générer une cartographie UV structurée est un obstacle majeur aux scénarios d'application pratiques, en particulier lors de la génération de vêtements, ce qui la rend impossible utilisé dans des scénarios de conception réels. La méthode générative proposée dans cet article, utilisant la représentation de motifs de couture, permet la création de cartes UV uniques et structurées pour chaque motif. Cela permet également aux utilisateurs de modifier facilement les textures à des emplacements spécifiques, prenant ainsi en charge un post-traitement efficace des cartes de texture. Le framework DressCode a obtenu d'excellents résultats par rapport à d'autres méthodes. En tant que premier travail de génération de vêtements basé sur des patrons de couture, le framework peut permettre aux débutants et aux professionnels. les concepteurs peuvent générer des patrons de couture et des textures PBR de haute qualité via de simples invites textuelles, simplifiant ainsi considérablement le processus de conception de vêtements. La facilité d'utilisation et l'approche innovante de

DressCode promettent de conduire l'avenir du vêtement numérique. Ce type de travail de génération basé sur des patrons de couture favorisera le développement d'essayages virtuels, de créations de mode et de vêtements numériques créés par des personnes numériques, que nous attendons avec impatience ensemble.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!