MotionClone : Aucune formation requise, clonage en un clic des mouvements vidéo

La rubrique AIxiv est une rubrique où ce site publie du contenu académique et technique. Au cours des dernières années, la rubrique AIxiv de ce site a reçu plus de 2 000 rapports, couvrant les meilleurs laboratoires des principales universités et entreprises du monde entier, favorisant efficacement les échanges et la diffusion académiques. Si vous souhaitez partager un excellent travail, n'hésitez pas à contribuer ou à nous contacter pour un rapport. Courriel de soumission : liyazhou@jiqizhixin.com ; zhaoyunfeng@jiqizhixin.com

Aucune formation ou réglage n'est requis. Clonez le mouvement de la vidéo de référence dans la nouvelle scène spécifiée par le mot d'invite, qu'il s'agisse d'un mouvement global de la caméra. ou un mouvement corporel local. Un clic pour le faire.

• Papier : https://arxiv.org/abs/2406.05338

• Page d'accueil : https://bujiazi.github.io/motionclone.github.io/

• Code : https:// github.com/Bujiazi/MotionClone

Cet article propose un nouveau framework appelé MotionClone. Étant donné n'importe quelle vidéo de référence, les informations de mouvement correspondantes peuvent être extraites sans formation de modèle ni réglage fin, ces informations de mouvement peuvent directement guider la génération de nouvelles ; des vidéos accompagnées d'invites textuelles pour réaliser des vidéos générées par du texte avec un mouvement personnalisé (text2video).

Par rapport aux recherches précédentes, MotionClone présente les avantages suivants :

• Aucune formation ou réglage précis n'est requis : les méthodes précédentes nécessitent généralement d'entraîner des modèles pour encoder les signaux de mouvement ou d'affiner les modèles de diffusion vidéo pour s'adapter à des modèles de mouvement spécifiques. . Les modèles d'entraînement pour coder les signaux de mouvement ont une faible capacité de généralisation pour se déplacer en dehors du domaine d'entraînement, et le réglage fin des modèles de génération vidéo existants peut endommager la qualité de génération vidéo sous-jacente du modèle de base. MotionClone ne nécessite l'introduction d'aucune formation supplémentaire ou réglage fin, améliorant les capacités de généralisation du mouvement tout en conservant au maximum la qualité de génération du modèle de base.

• Qualité de mouvement supérieure : il est difficile pour les modèles vidéo Wensheng open source existants de générer des mouvements importants et raisonnables. MotionClone introduit le guidage de mouvement d'attention de synchronisation des composants principaux pour améliorer considérablement l'amplitude de mouvement de la vidéo générée tout en garantissant efficacement la rationalité du mouvement.

• Meilleure relation de position spatiale : afin d'éviter l'inadéquation sémantique spatiale qui peut être causée par le clonage de mouvement direct, MotionClone propose un guidage d'informations sémantiques spatiales basé sur des masques d'attention croisée pour aider à obtenir des informations sémantiques spatiales et des informations de mouvement spatio-temporelles correctes. .couplage.

Informations sur le mouvement dans le module d'attention temporelle

Dans le travail vidéo généré par du texte, le module d'attention temporelle (Temporal Attention) est largement utilisé pour modéliser la corrélation inter-images des vidéos. Étant donné que le score d'attention (attention map score) dans le module d'attention temporelle caractérise la corrélation entre les images, une idée intuitive est de savoir si les connexions inter-images peuvent être répliquées en contraignant les scores d'attention à être complètement cohérents pour réaliser le clonage de mouvement.

Cependant, des expériences ont montré que la copie directe de la carte d'attention complète (contrôle simple) ne peut obtenir qu'un transfert de mouvement très approximatif, car la plupart des poids de l'attention correspondent à du bruit ou à des informations de mouvement très subtiles, difficiles à combiner. En revanche, avec de nouveaux scénarios spécifiés dans le texte, cela obscurcit un guidage de mouvement potentiellement efficace.

Afin de résoudre ce problème, MotionClone introduit le mécanisme de guidage de l'attention temporelle des composants principaux (Guidage de l'attention temporelle primaire), qui utilise uniquement les composants principaux de l'attention temporelle pour guider de manière éparse la génération vidéo, filtrant ainsi le bruit et les mouvements subtils. Le négatif L’impact de l’information permet un clonage efficace du mouvement dans de nouveaux scénarios spécifiés par le texte.

Correction sémantique spatiale

Le guidage de mouvement d'attention temporelle du composant principal peut réaliser le clonage de mouvement de la vidéo de référence, mais il ne peut pas garantir que le sujet en mouvement est cohérent avec l'intention de l'utilisateur, ce qui réduira la qualité de la génération vidéo. Dans certains cas, cela peut même conduire à la luxation du sujet en mouvement.

Afin de résoudre les problèmes ci-dessus, MotionClone introduit un mécanisme de guidage sémantique spatial (guidage sémantique basé sur la localisation), divise les zones d'arrière-plan avant et arrière de la vidéo via un masque d'attention croisée, et le garantit en limitant respectivement les informations sémantiques. de l'arrière-plan avant et arrière de la vidéo. La disposition rationnelle de la sémantique spatiale favorise le couplage correct du mouvement temporel et de la sémantique spatiale.

Détails de mise en œuvre de MotionClone

1. Inversion DDIM : MotionClone utilise l'inversion DDIM pour inverser la vidéo de référence d'entrée dans l'espace latent afin de mettre en œuvre l'extraction des composants principaux de l'attention temporelle de la vidéo de référence.

2. Étape de guidage : au cours de chaque débruitage, MotionClone introduit simultanément le guidage de mouvement d'attention temporel des composants principaux et le guidage d'informations sémantiques spatiales, qui fonctionnent ensemble pour fournir un guidage complet de mouvement et sémantique pour la génération vidéo contrôlable.

3. Masque gaussien : Dans le mécanisme de guidage sémantique spatial, la fonction du noyau gaussien est utilisée pour brouiller le masque d'attention croisée afin d'éliminer l'influence des informations structurelles potentielles.

30 vidéos de l'ensemble de données DAVIS ont été utilisées pour les tests. Les résultats expérimentaux montrent que MotionClone a obtenu des améliorations significatives en termes d'ajustement du texte, de cohérence temporelle et d'indicateurs d'enquête auprès de plusieurs utilisateurs, surpassant les méthodes de transfert de mouvement précédentes. Les résultats spécifiques sont présentés dans le tableau ci-dessous.

La comparaison des résultats de génération de MotionClone et des méthodes de migration de mouvement existantes est présentée dans la figure ci-dessous. On peut voir que MotionClone a des performances de pointe.

Pour résumer, MotionClone est un nouveau cadre de transfert de mouvement qui peut cloner efficacement le mouvement d'une vidéo de référence vers une nouvelle scène spécifiée par un mot d'invite donné par l'utilisateur sans formation ni réglage fin. Fournit un plug-and-play. solutions de personnalisation de mouvement pour les modèles vidéo Vincent existants.

MotionClone introduit un guidage efficace des informations de mouvement des composants principaux et un guidage sémantique spatial sur la base du maintien de la qualité de génération du modèle de base existant, ce qui améliore considérablement la cohérence du mouvement avec la vidéo de référence tout en garantissant la capacité d'alignement sémantique avec le texte. obtenir une génération vidéo de haute qualité et contrôlable.

De plus, MotionClone peut s'adapter directement à des modèles de communauté riches pour réaliser une génération vidéo diversifiée et possède une évolutivité extrêmement élevée.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!