DAMO Academy lance la plateforme unique de création vidéo d'IA « Xunguang » pour créer un nouveau flux de travail d'IA

Cette année est la première année de l'explosion de la génération de vidéos IA, et des modèles d'algorithmes et des applications de produits représentés par Sora émergent constamment. En quelques mois seulement, nous avons assisté au lancement de dizaines d’outils de génération vidéo et la création vidéo basée sur l’IA commence à décoller.

Mais les nouvelles technologies ont également suscité davantage de défis et de doutes. Outre le phénomène bien connu de « l'ouverture des boîtes aveugles », le contenu vidéo généré par l'IA a également été fréquemment critiqué pour sa mauvaise contrôlabilité et son flux de traitement fastidieux.

OpenAI a invité une fois une équipe de production vidéo professionnelle à tester Sora. Parmi eux, l'équipe Shy Kids de Toronto a utilisé Sora pour produire un court métrage sur le thème de l'homme ballon, qui combinait parfaitement créativité et technologie d'IA, permettant aux gens d'être. impressionné.

En fait, l'intégralité du court métrage n'est pas le résultat de la sortie directe de Sora, mais se compose de plusieurs clips vidéo. Lorsque Sora génère différentes vidéos, il est difficile d'assurer la cohérence du protagoniste. Par conséquent, ils ont introduit de nombreuses post-éditions manuelles avant de présenter l’effet final du court métrage. Les créateurs de Shy Kids ont conclu : "La technologie de Sora est cool, mais son processus de génération est difficile à contrôler." un grand défi.

À cette fin, lors de la Conférence mondiale sur l'intelligence artificielle de Shanghai (WAIC) qui vient de se terminer, la DAMO Academy a lancé la plateforme unique de création vidéo d'IA « Xunguang ».

Elle se positionne comme la plate-forme unique de création de vidéos d'IA de PUGC, qui peut aider les utilisateurs à créer des scripts, des storyboards, etc., et à améliorer l'efficacité de l'ensemble du processus de création grâce à l'intégration de flux de travail, prenant en charge une IA riche pour générer et le téléchargement de matériels fournit plus de dix fonctions d'édition IA telles que le contrôle des personnages, le contrôle des scènes, le transfert de style, le contrôle des mouvements de la caméra, l'ajout/l'élimination/la modification de cibles, etc., permettant de contrôler avec précision les éléments et les objets de la vidéo.

Dharma Academy espère améliorer encore l'efficacité de la création vidéo IA grâce à la plateforme Xunguang. L'objectif est d'utiliser les capacités de l'IA pour remodeler l'ensemble du processus de production vidéo traditionnelle et créer un nouveau flux de travail vidéo à l'ère de l'IA. .

Première fois dans l'industrie

Montage vidéo basé sur des couches

Au début de la recherche et du développement de Xunguang, la DAMO Academy a également mené des recherches approfondies et intensives avec des praticiens des médias cinématographiques et télévisuels. et les créateurs, pour comprendre leurs besoins et leurs problèmes liés à la création de vidéos AIGC. Ils ont constaté que les couches vidéo étaient le besoin le plus fréquemment mentionné et le plus urgent parmi presque tous les créateurs vidéo.

Sur cette base, Xunguang Platform a lancé une fonction d'édition systématique de couches vidéo pour la première fois dans l'industrie. En saisissant du texte, les utilisateurs peuvent générer une vidéo qui correspond à la description du texte et dotée d'un arrière-plan transparent, et la mélanger à d'autres vidéos d'arrière-plan en un seul clic. Basé sur les capacités de génération vidéo traditionnelles, le contenu est généré sous une forme plus flexible, telle que des couches.

Xunguang fournit également la fonction de désassemblage de calque. D'un simple clic, la cible sélectionnée sera immédiatement désassemblée en vidéos de calque séparées, puis différentes vidéos d'arrière-plan pourront être intégrées en douceur.

Les utilisateurs peuvent fusionner différents calques de premier plan avec différents arrière-plans pour combiner davantage de nouvelles vidéos. La capacité de fusion de calques stimule davantage la créativité et l’imagination de l’IA, tout en conservant la cohérence des scènes et des personnages entre plusieurs plans.

De l'avis de DAMO Academy, l'IA ne remplacera pas le travail des créateurs, mais optimisera le flux de travail de création vidéo et deviendra un nouveau moteur animé par la créativité.

Plateforme unique de création d'IA

Interaction plus simple, capacités d'édition plus riches

Création de scripts, conception de storyboard, édition de matériel... Les étapes traditionnelles de création vidéo ont une division claire du travail , Le cycle est long. Grâce à la technologie de l'IA, les étapes créatives qui étaient initialement dispersées dans différents processus de production peuvent désormais être réalisées en douceur sur la plateforme de recherche de lumière.

"Nous espérons rendre le montage vidéo aussi simple, intuitif et facile à utiliser que l'utilisation de ppt." Chen Weihua, expert senior en algorithme au laboratoire de technologie visuelle de la Damo Academy, a présenté sur place cet aspect majeur de la plate-forme de recherche de lumière est l'aspect interaction.

La plate-forme Xunguang prend pleinement en compte les caractéristiques de la création vidéo IA lors de la conception, en résumant chaque projet vidéo en plusieurs sous-plans. Les utilisateurs peuvent générer automatiquement un groupe de sous-plans basés sur le script, ou ils peuvent les télécharger. les matériaux vidéo originaux eux-mêmes, divisés en plusieurs sous-plans par l'algorithme.

Dans l'espace créatif, les utilisateurs peuvent facilement visualiser chaque plan. Plusieurs plans dans une scène peuvent être réduits ou agrandis. L'ordre entre les scènes peut être ajusté par glisser-déposer. Les utilisateurs peuvent également ajouter et créer de nouveaux sous-plans à n'importe quel endroit, appeler des capacités de génération d'images ou de vidéo pour générer du contenu, ou ajouter divers matériaux existants.

Pour chaque prise de vue, Xunguang fournit des capacités de montage vidéo IA complètes et intelligentes pour le traitement, qui peuvent être modifiées au niveau sémantique plutôt qu'au niveau des pixels en fonction des intentions de l'utilisateur. Toutes les cibles locales telles que le corps humain, le visage, le premier plan et l'arrière-plan dans les plans fractionnés peuvent être finement éditées et modifiées.

Par exemple, comprendre le contrôle du mouvement de la caméra de la profondeur de champ spatiale.

Un autre exemple, être capable de comprendre l'élimination/modification de la relation relative entre les objets ;

En termes d'édition des éléments globaux de la vidéo, la plateforme de recherche légère propose plus de 20 migrations de style.

Xunguang fournit également des fonctions d'édition vidéo pratiques telles que le contrôle de la fréquence d'images et la super-résolution vidéo.

"Nous espérons que tous les éléments d'une vidéo pourront être édités et modifiés, afin d'offrir aux utilisateurs la plus grande liberté de création", a déclaré Chen Weihua.

Écrit à la fin

Aujourd'hui, nous sommes au milieu d'une vague de changement au sein de l'AIGC, et l'IA a le potentiel de donner naissance à de nouveaux flux de travail vidéo. Les professionnels du cinéma et de la télévision ainsi que les utilisateurs d’UGC qui aiment la création en bénéficieront.

"Si vous voulez bien faire votre travail, vous devez d'abord affûter vos outils." Damo Academy espère que la plateforme de création vidéo Xunguang pourra devenir un studio vidéo exclusif pour chaque créateur, permettant ainsi une relation plus étroite entre l'IA et les créateurs. , une collaboration efficace, libérant véritablement la productivité de l’IA.

A cet effet, le Laboratoire de Technologie Visuelle de la DAMO Academy a constitué de nombreuses réserves techniques. Le laboratoire s'engage dans la recherche sur la compréhension et la technologie de génération de signaux visuels multimodaux. Les principales orientations de recherche actuelles incluent une génération de contenu d'image/vidéo/3D plus précise, une édition de contenu d'image/vidéo/3D plus contrôlable et une génération d'images plus efficace. , compréhension multimodale - cadres génératifs, etc.

Chen Weihua a déclaré que "Xunguang" sera lancé pour des tests internes dans un avenir proche et continuera à itérer et à optimiser les interactions. Les créateurs sont invités à personnaliser leur propre flux de travail d'IA.

^{Adresse interne de l'application bêta :}

^{https://xunguang.damo-vision.com/}

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!