Une start-up basée à Tsinghua a lancé le premier cadre d'animation squelettique 4D au monde, capable de convertir des scènes réelles en animations en un seul clic et de générer des personnages personnalisés.

Apple a récemment annoncé le lancement de son premier visiocasque virtuel, Vision Pro, le 2 février. Cet appareil XR devrait diriger le développement rapide de la prochaine génération de terminaux. Avec la popularisation des dispositifs d'affichage virtuel, l'interaction numérique passera du bidimensionnel au tridimensionnel, et les modèles tridimensionnels et l'animation tridimensionnelle deviendront les formes de contenu dominantes à l'avenir. L'interaction immersive multidimensionnelle deviendra également une tendance dans le cadre de la tendance à l'intégration virtuelle et réelle.

Cependant, en termes d'échelle de données, l'accumulation actuelle de données dans l'industrie du contenu est toujours dominée par les images 2D et les vidéos plates, tandis que la base de données des modèles 3D, des animations 4D et d'autres données est relativement faible. Parmi eux, l'animation 4D introduit des séquences temporelles sur la base de modèles 3D traditionnels, c'est-à-dire des modèles 3D qui changent au fil du temps, qui peuvent présenter des effets tridimensionnels dynamiques. Elle est largement utilisée dans l'animation de jeux, les effets spéciaux de films, la réalité virtuelle et. d'autres domaines, mais c'est aussi actuellement le maillon le plus difficile dans le développement écologique du contenu.

Par conséquent, pour la prochaine expérience immersive multidimensionnelle, la création de contenu numérique tridimensionnel deviendra un travail de base important.

Face à ce domaine de pointe, l'équipe entrepreneuriale de l'Université Tsinghua, Shengshu Technology, a mené une série de recherches et de développement de produits et a récemment lancé le premier framework de génération d'animation 4D au monde "AnimatableDreamer" basé sur "l'animation squelettique" en collaboration avec Tsinghua. Université, Université de Tongji et d'autres universités , il peut convertir directement des matériaux vidéo 2D en modèles tridimensionnels dynamiques (c'est-à-dire une animation 4D) en un seul clic, prend en charge l'extraction automatique des mouvements du squelette, la conversion en un clic des effets d'animation et des personnages personnalisés. génération par saisie de texte.

• Adresse du papier : https://arxiv.org/pdf/2312.03795.pdf

• Adresse du projet : https://animatabledreamer.github.io/

• Titre du papier : AnimatableDreamer : Texte -Génération et reconstruction guidées de modèles 3D non rigides avec distillation de partition canonique

Vous pouvez regarder la vidéo de démonstration suivante.

Nouvelle méthode de production de contenu

Subversion du processus de développement d'animation tridimensionnelle

Dans le passé, la production d'animation tridimensionnelle dans l'industrie nécessitait des processus complexes tels que la modélisation 3D, le rendu de texture , reliure osseuse, production d'animation, etc. Une modélisation était nécessaire. Elle ne peut être réalisée qu'avec la participation de professionnels tels que des concepteurs et des animateurs, ce qui est peu efficace et coûteux. Selon les statistiques, le cycle de production d'un seul modèle 3D statique dure de quelques heures à plusieurs jours, et le coût peut atteindre des milliers de dollars. Le coût du traitement dynamique sera encore plus élevé.

Comme vous pouvez le voir sur la vidéo de démonstration officielle, téléchargez une vidéo réelle en 2D d'un écureuil et entrez la description textuelle de "Un écureuil avec un pull rouge" pour convertir l'écureuil réel original en un style animé avec un cliquez sur , et conserve parfaitement les postures d'action. La synchronisation peut également générer un modèle dynamique tridimensionnel dans une perspective à 360 degrés, vous pouvez personnaliser le personnage et faire basculer l'écureuil vers différentes images de dessins animés telles que le renard et Squirtle. .

"AnimatableDreamer" peut extraire automatiquement les mouvements squelettiques des objets cibles (personnes, animaux, etc.) dans la vidéo, puis convertir l'objet en n'importe quel modèle d'animation squelettique via une description textuelle. L'ensemble du processus n'est pas limité par des modèles, prend en charge n'importe quelle durée de vidéo et tout type d'action, présente un degré élevé de cohérence temporelle et de cohérence multi-vues, et le modèle tridimensionnel dynamique exporté peut être rendu dans n'importe quel environnement 3D.

Pour la post-production dans le domaine du cinéma, de la télévision, de l'animation et dans d'autres domaines, davantage d'éditions sont généralement nécessaires pour l'animation. "AnimatableDreamer" prend également en charge le remplacement ou l'édition de fichiers d'animation pour les modèles qui ont terminé la liaison osseuse, obtenant ainsi un degré de liberté plus élevé. . Lorsque les technologies associées seront progressivement mises en œuvre à l'avenir, les processus de modélisation et de production d'animation 3D pour le développement de jeux, l'animation cinématographique et télévisuelle et d'autres scènes devraient devenir plus efficaces.

Facing the future

devrait former un nouvel écosystème de contenu

En termes de principes de mise en œuvre, l'équipe de recherche a proposé de manière innovante la Canonical Score Distillation (CSD), qui change au fil du temps des modèles 3D de différents les images et les différentes perspectives sont rendues et débruitées dans l'espace de la caméra, et les dégradés sont uniformément retransmis à l'espace standard partagé par différents espaces de caméra pour la distillation, réduisant ainsi la dimensionnalité de la génération 4D en 3D, c'est-à-dire simplifiant le problème de génération 4D à Génération dans l'espace 3D.

"AnimatableDreamer" peut extraire les mouvements articulaires directement de la vidéo en découplant le modèle et le mouvement de l'objet, le modèle généré a un haut degré de cohérence temporelle et de rationalité géométrique, n'est pas limité par la longueur de la vidéo et peut. éliminez efficacement les formes telles que les problèmes tels que la casse, le scintillement et les incohérences multi-vues.

Dans les scènes avec des angles de vision limités et des mouvements importants, en raison de l'introduction d'une connaissance préalable du modèle de diffusion, même si la vidéo d'entrée ne couvre pas l'objet complet, "AnimatableDreamer" peut compléter automatiquement les informations de l'image et obtenir une meilleure qualité de génération.

On peut dire que la proposition de "AnimatableDreamer" connecte directement le texte à la génération d'animation squelettique 4D, de modélisation, de texturation, de liaison osseuse et de conduite d'action en une seule fois ! Saisissez une description en langage naturel et produisez automatiquement une vidéo d'animation en trois dimensions. Aucune connaissance professionnelle n'est requise. Les gens ordinaires peuvent commencer et personnaliser facilement le contenu d'animation.

Les travaux basés sur "AnimatableDreamer" réduiront considérablement la difficulté de produire du contenu numérique 3D et 4D, enrichiront l'expérience interactive, permettront à chacun de générer et d'éditer du contenu créatif et donneront naissance à de tout nouveaux contenus à l'ère de la 3D. Divertissement et contenu les modes de consommation.

Imaginez que dans le futur monde virtuel, les utilisateurs puissent rapidement créer des espaces numériques personnalisés et créer des expériences interactives personnalisées. Par exemple :

• Chaque image de personnage dans l'espace numérique peut être générée à volonté, par exemple habiller les enfants avec des vêtements de Superman, changer de costume de thème de vacances à volonté pour Halloween, etc. ;

• Les utilisateurs qui ont des animaux de compagnie peuvent mettre leurs animaux de compagnie en caricature, comme générer une image virtuelle de Mickey Mouse. La vie quotidienne des animaux est comme des dessins animés, et l'interaction quotidienne entre les propriétaires et les animaux deviendra intéressante

• Les modes d'interaction entre les gens sont également devenus plus riches. Vous pouvez organiser une soirée à thème à tout moment, n'importe où et générer vos souhaits ; Environnement de fête en temps réel, décoration des personnages, etc.

En tant que start-up créée il y a moins d'un an, l'équipe de Shengshu Technology s'est engagée depuis longtemps dans les domaines des grands modèles multimodaux tels que les images, la 3D et la vidéo. En septembre, elle a lancé la 3D. L'outil de création d'actifs VoxCraft, qui a été officiellement lancé sur Discord, prend en charge le guidage de texte et d'images, la création de modèles 3D en quelques minutes, le remplacement personnalisé de textures 3D et d'autres fonctions, renforçant le processus de modélisation 3D du développement de jeux, de l'animation cinématographique et télévisuelle et. d'autres scènes. La génération d'animation squelettique 4D lancée cette fois est un autre nouveau travail d'exploration de Shengshu Technology, qui sera intégré aux produits VoxCraft à l'avenir.

Adresse de l'outil VoxCraft : https://voxcraft.ai/

L'arrivée d'Apple Vision Pro n'est pas seulement une innovation importante au niveau du périphérique matériel, mais aussi le début d'une révolution en matière de contenu et d'expérience. Les capacités innovantes de l'IA générative, telles que la génération d'animations 4D, apporteront non seulement une meilleure présentation visuelle, mais ouvriront également de nouvelles voies aux expériences numériques multidimensionnelles, offrant ainsi davantage de possibilités à la prochaine génération d'interactions homme-machine.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!