Le sang neuf de la réalité virtuelle, l'industrie de la modélisation 3D renforcée par l'IA

Quelle est la limite supérieure de l’IA générative ? La réponse à cette question ne sera peut-être pas disponible dans peu de temps, du moins maintenant, l’IA générative semble avoir conquis un nouveau domaine. Auparavant, le champ d'action de l'IA générative était principalement axé sur le traitement de texte, la peinture, le traitement du son, etc., mais les capacités de l'IA générative sont évidemment bien plus que cela.

Récemment, la société d'IA générative open source Stability AI a officiellement publié le SDK Stable Animation, et le très attendu modèle de diffusion stable (ci-après dénommé Stable) a également officiellement publié une nouvelle version. Les utilisateurs peuvent désormais mieux contrôler les modèles 3D générés par. AI et apporter des modifications à des paramètres spécifiques.

Peut-être que beaucoup de gens pensent après avoir vu cette nouvelle : « Modèle 3D ? Cela signifie-t-il des carrés, des bandes, etc. Après tout, aux yeux de la plupart des gens, la véritable complexité de la modélisation 3D est probablement difficile à comprendre pour une IA ordinaire ? poignée. . Cependant, c'est là que réside le charme de l'IA générative. Grâce au traitement et à l'analyse des données, associés à la compréhension du langage naturel, l'IA d'aujourd'hui peut générer des modèles plus complexes et plus complets basés sur des descriptions, et ne se limite pas à de simples modèles de blocs.

Pas seulement de la 2D à la 3D

Avant cela, Stable a attiré beaucoup d'attention car il peut convertir directement des images et des descriptions 2D en modèles 3D, bien que les modèles 3D générés par Stable ne soient pas aussi précis que les modèles que les professionnels passent beaucoup de temps à construire, compte tenu du temps requis. le générer suffit à donner à tout le monde un grand choc.

Dans la dernière vidéo de démonstration publiée par Stability AI, les modèles 3D de Stable ne se limitent plus aux natures mortes. Même les personnages en mouvement peuvent être facilement convertis en modèles 3D, et l'amplitude de mouvement et la posture sont très proches de la version originale. . Une technologie similaire est en fait souvent utilisée dans la production d'animations. Afin de rendre les images et les objets plus tridimensionnels, certaines animations convertiront l'image de 2D en 3D pour mettre en évidence la tension de l'image

.

Source : Stabilité AI

Dans l'industrie de l'animation traditionnelle, la conversion d'images 2D en 3D nécessite beaucoup de personnel pendant un certain temps. Avec l'aide de Stable, il vous suffit de saisir des images 2D dans le modèle pour obtenir des résultats de haute qualité. Modèles 3D, réduisant considérablement le temps et les coûts nécessaires à la modélisation.

Bien sûr, si tel est le cas, peut-être que les praticiens seront contents. Pour la majorité des internautes, à quoi sert Stable ? La clé est que la génération de modèles 3D de Stable ne nécessite pas de conseils détaillés. Même s'il ne s'agit que d'un simple dessin, Stable peut générer un modèle 3D presque identique. Par exemple, ce graffiti ressemble à un enfant de la maternelle, après avoir été « poli ». " par Stable. Cela devient une image 3D assez regardable.

Source : YouTube

Le désir et la poursuite de Stable est de donner vie à toutes vos peintures et textes. Par conséquent, tous les résultats de Stability AI sont directement divulgués et fournis aux internautes de manière open source. Pour la majorité des passionnés de deux dimensions, c'est peut-être le moyen le plus simple de faire bouger leurs « épouses de papier ».

Et grâce aux capacités de génération de modèles dynamiques 3D de Stable, nous pouvons également entrevoir certains scénarios d'application futurs, tels que des systèmes de capture de mouvement moins chers et plus pratiques. En théorie, tant que la puissance de calcul est suffisante, les images correspondantes peuvent être générées en temps réel. les images capturées par la caméra.

Quelles autres utilisations merveilleuses existe-t-il en plus de cela ? Je ne sais pas si vous avez vu une nouvelle brûlante récemment. Caryn Marjorie, une célébrité Internet étrangère, a travaillé avec une équipe d'IA pour copier une version numérique d'elle-même à l'aide de GPT-4, puis a vendu le droit d'utiliser la version numérique pour un dollar par minute. Vendez à vos propres fans.

En seulement une semaine, Caryn Marjorie a gagné 71 000 $ grâce au simple chat vocal. En tant que créatures visuelles, notre sensibilité au son est en réalité inférieure à celle des images. Si Stable s'applique également à des domaines connexes, est-il possible de créer une véritable petite amie IA ? C'est mobile et conversationnel, de quoi apaiser votre cœur vide.

Ahem, d'accord, arrêtons ce sujet pour l'instant. Au moins avec l'efficacité actuelle des modèles et l'échelle de puissance de calcul, il est probablement très difficile pour les individus de générer des modèles dynamiques 3D en temps réel et de hautes spécifications, mais compte tenu des progrès de l'industrie des semi-conducteurs Vitesse, peut-être que ce jour n'est pas loin de nous.

Nouveaux outils de productivité

Le plus gros problème avec Stable auparavant était qu'il ne pouvait générer que des modèles 3D basés sur des descriptions ou des images. Si les résultats générés n'étaient pas bons, les images ou les informations textuelles ne pouvaient être réajustées que pour se régénérer en fonction des performances des graphiques. carte, le temps de génération du modèle 3D varierait également. Par rapport à l'IA traditionnelle de questions et réponses telle que ChatGPT, le coût en temps de Stable est beaucoup plus élevé.

Ainsi, bien que l'effet de génération de modèles 3D de Stable soit bien meilleur que celui des applications similaires du passé, les scénarios d'utilisation sont très limités et il ne peut fournir aux passionnés de la communauté qu'un outil de génération de modèles 3D simple et pratique. Les utilisateurs de la communauté ont toujours espéré que Stability AI puisse ajouter des fonctions de réglage des paramètres à Stabel, afin que les détails insatisfaisants du modèle puissent être modifiés.

La réponse de Stability AI est Stable Animation SDK. Cette interface peut être chargée dans le modèle de Stabel. Après avoir utilisé Stabel pour générer un modèle 3D, les utilisateurs peuvent directement saisir les paramètres correspondants via l'interface, ajuster ou ajouter des détails du modèle et créer le modèle. Plus conforme aux exigences des utilisateurs.

À en juger par le fichier de description de l'interface, de nombreux paramètres prennent en charge la modification, allant de la couleur de base, de la forme, de la taille, de la texture à la posture d'action, etc., et le processus d'ajustement ne nécessite pas la saisie de données professionnelles ou de noms, seulement Entrez simplement les informations textuelles comme indiqué sur la figure pour générer le modèle 3D.

Par exemple, si vous générez un modèle 3D d'un chiot et que vous estimez ensuite que le motif sur le chiot n'est pas satisfaisant, il vous suffit de saisir la description du motif souhaitée depuis l'interface, et Stabel modifiera le modèle en fonction du description et restituer les images pertinentes.

De plus, Stable Animation SDK prend également en charge la saisie de commandes d'action, ce qui permet au modèle 3D statique d'exécuter directement vos commandes d'action. Par exemple, si vous effectuez le rendu d'un dragon volant, puis entrez la commande « Faire voler le dragon et respirer. feu", le rendu Stable Action du modèle 3D commencera.

De plus, Stable fournit également des fonctions de photographie. Les utilisateurs peuvent ajuster une série de paramètres tels que la position de la caméra, les effets d'éclairage et l'arrière-plan pour enregistrer des vidéos statiques et dynamiques de modèles 3D. Oui, tout le monde a probablement deviné que la modélisation 3D, l'animation 3D et d'autres industries liées à la modélisation 3D ressentiront la « chaleur » de l'IA.

Certains internautes pensent que la combinaison de la plateforme Stable et des équipements de réalité virtuelle pourrait entraîner une amélioration spectaculaire de la productivité des équipements de réalité virtuelle. Tout le monde aurait dû voir le film Marvel "Iron Man". Le protagoniste Stark du film dispose d'un programme d'intelligence artificielle avancé "Jarvis", qui a beaucoup aidé Stark lorsqu'il a fabriqué l'armure d'Iron Man.

L'un des clips montre que Stark a directement généré un modèle 3D d'une pièce via le dialogue, puis l'a ajusté et l'a appliqué à l'armure. Ce processus vous semble-t-il familier ? Oui, dans un sens, il s'agit de la future version de Stable+ChatGPT. Les modèles 3D sont créés directement via le dialogue, permettant aux concepteurs d'inspecter directement l'apparence et les effets d'utilisation des éléments dans les appareils de réalité virtuelle.

Mettre ce processus dans des photos réelles équivaut à simplifier le processus de vérification et d'ajustement le plus long de la conception du produit, et à améliorer considérablement l'efficacité de l'ensemble du processus, de la conception du produit à la mise en œuvre. De plus, les concepteurs peuvent utiliser et expérimenter leurs produits à l’avance en tirant parti des capacités des appareils de réalité virtuelle.

Bien sûr, dans le processus de conception de produits actuel, un logiciel de modèle 3D similaire a été largement utilisé pour rendre des scènes. Cependant, l'avantage de Stable réside dans la vitesse de génération des modèles qui prenaient à l'origine des heures, voire des jours, pour s'ajuster et être rendus uniquement. prenez-en dix. Il peut être généré en un tiers du temps ou moins, et l'amélioration de l'efficacité qu'il entraîne est évidente.

Avec la prolifération de l'IA générative, nous pouvons voir que l'IA aura un impact profond sur notre société, notre production et d'autres aspects. Aujourd'hui est un modèle 3D, que sera-t-il demain ? J'ai vraiment hâte d'y être.

Source : Lei Technology Ieitech

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!