700 000 personnes se sont précipitées pour en faire l'expérience ! Le nouveau roi de la génération vidéo "Keling AI" a de nouveau été mis à niveau

Est-il possible que l’ère des courts métrages dramatiques générés par l’IA arrive vraiment ?

Récemment, les démos publiées par diverses IA de génération vidéo sont éblouissantes. Qu'il s'agisse de jouer avec les mèmes et les longueurs ou de prêter attention à la véritable logique physique, il est difficile de faire la distinction entre la créativité sans fin de l'intelligence artificielle, et tous doivent rivaliser avec Sora. À ce moment-là, quelqu'un a soudainement pris une longueur d'avance pour réaliser la performance "au niveau du film":

Du style réel de l'effet d'ombre et de lumière:

^{Source: https://x.com/ i/status/1806383419661730197 Dans l'imagination riche, les éléments sont complets, vous pouvez l'obtenir :}

Je ne m'attendais pas à ce qu'aux yeux de l'IA, Batman puisse rendre le clown incapable de s'étirer. Source : https://x.com/blizaine/status/1806383419661730197

^{Certaines personnes essaient déjà d'utiliser cette capacité pour accomplir des tâches complexes. Avec l'IA de génération vidéo, l'IA de génération musicale et certains PS et AE, nous pouvons créer un MV complet. Vous demandez aux internautes ce qu'ils pensent de cet effet de génération. , "Que penses-tu de Hollywood?"}

L'effet généré par ce genre de vidéo IA est soyeux et précis, attirant un grand nombre de likes. En y regardant bien, il existe de nombreuses courtes vidéos produites par celle-ci sur les réseaux sociaux.

Selon le résumé des internautes, le principal avantage de la nouvelle IA est qu’elle est moins susceptible d’être distraite lors de la génération de mouvements à grande échelle. Un autre exemple consiste à créer une vidéo d'un centaure en train de courir :

L'IA générative derrière ces vidéos est

le grand modèle "Kling" (Kling) de Kuaishou

a commencé à exploser sur l'Internet mondial il y a quelques semaines. À cette époque, on disait que « le numéro un est difficile à trouver ».

C'est vrai, il ne s'agit pas d'abord d'une démo publiée pour la version PPT, mais d'une application au niveau du produit qui sera ouverte directement dès le départ.

Maintenant, Keling AI a lancé la version Web, en mettant l'accent sur la simplicité et la facilité d'utilisation

.

Selon les dernières données, le nombre d'utilisateurs postulant à Keling AI a approché les

700 000, ce qui en fait le modèle de génération vidéo le plus en vogue sur l'ensemble du réseau.

Plusieurs mises à niveau en janvier, évolution rapide de Keling AICette année est la première année de l'IA générative Dès février, Sora d'OpenAI a élevé la concurrence au niveau de la génération vidéo. Mais les entreprises technologiques nationales ont été les premières à le mettre en œuvre.

Depuis ses débuts officiels le 6 juin, en seulement un mois, Kuaishou Keling AI, le premier modèle national à grande échelle qui a suscité de vives discussions dans les cercles étrangers de l'IA, a fait l'objet de trois mises à jour itératives. Depuis le tout début des vidéos Wensheng, jusqu'à la prise en charge des vidéos Tusheng, la suite vidéo et la sélection multi-tailles deux semaines plus tard, Keling AI est devenue de plus en plus exceptionnelle et complète. Divers besoins en matière de génération vidéo semblent avoir été résolus inconsciemment.

Le week-end dernier, lors de la Conférence mondiale sur l'intelligence artificielle WAIC 2024, Keling AI a inauguré sa troisième mise à niveau majeure et publié une série de nouvelles fonctions, qui ont considérablement amélioré la texture, la beauté et la jouabilité de la génération vidéo, apportant un autre bond en avant dans l'expérience créative. . Gai Kun

, vice-président senior de Kuaishou et responsable de la principale activité du site Web et de la ligne scientifique communautaire de Kuaishou, a présenté les trois points forts de cette mise à niveau de Keling AI, notamment la

version haute définition, le premier et le dernier contrôle d'image et le contrôle de l'objectif de la caméra .

                                                                                                                                                                                                                                                   . Après la mise à niveau, la qualité des vidéos générées a fait un saut qualitatif par rapport au modèle précédent.

Dans le même temps, grâce à la résolution spatio-temporelle plus élevée de la formation, Keling AI s'est considérablement améliorée en termes de génération de détails, de composition, d'esthétique du mouvement de l'objectif, ainsi que de lumière et d'ombre.

D'après la comparaison de la qualité d'image ci-dessous, nous pouvons clairement voir la différence entre les modèles précédents de Keling AI et les derniers modèles.

Deuxièmement, Keling AI a ajouté une fonction pratique et très demandée "Contrôle de la première et de la dernière image" dans le domaine des vidéos Tusheng, faisant des vidéos Tusheng avec écho des première et dernière images une réalité.

En personnalisant les images de début et de fin, les utilisateurs peuvent contrôler avec précision la transition fluide des prises de vue entre différents clips vidéo, obtenant ainsi des effets tels qu'une prise de vue jusqu'à la fin. À en juger par les résultats réels générés, non seulement les mouvements sont naturels et fluides, mais la qualité de l'image est également garantie. L'introduction de cette fonction permet aux utilisateurs d'avoir une expérience d'édition plus intuitive et plus pratique, répondant aux besoins de vidéos Tusheng personnalisées.

Par exemple, générez une vidéo à partir des deux images suivantes :

L'effet est le suivant :

Enfin, Keling AI ajoute Contrôle du mouvement du miroir et fonctions de mouvement automatique de l'objectif principal. Dans le monde de la vidéo, la combinaison de plusieurs objectifs peut capturer plus d'images et améliorer l'expression globale.

Keling AI a prédéfini six ensembles de méthodes de contrôle d'objectif classiques, notamment Roulement, Inclinaison, Panoramique, Vertical, Horizontal et Zoom, pour différentes fins, les scènes offrent une multitude de choix. Les utilisateurs peuvent également ajuster les paramètres positifs et négatifs de ces mouvements pour contrôler l'intensité ou la douceur du mouvement, ainsi que le mouvement inverse, etc. Dans le même temps, des mouvements de caméra magistral contribuent à produire des superproductions accrocheuses avec une sensation cinématographique complète.

On peut voir qu'avec l'ajout de ces nouvelles fonctionnalités, Keling AI a apporté des améliorations visibles en termes de clarté vidéo, de performances esthétiques et de contrôle de personnalisation du contenu.

De plus, la version Web de Keling AI, qui est officiellement disponible pour les utilisateurs, intègre des images Vincent, des vidéos Vincent et des capacités de montage vidéo qui seront prises en charge dans un avenir proche, devenant ainsi une plateforme unique de création de contenu visuel. qui peut être utilisé immédiatement après sa sortie.

Les fonctions nouvellement ajoutées « Contrôle de la première et de la dernière image » et « Contrôle des mouvements miroir » sont actuellement disponibles sur la page Web. Les amis qui souhaitent en faire l'expérience peuvent rapidement postuler !

Adresse de la version Web de Klingai AI : klingai.kuaishou.com

Il n'est pas exagéré de décrire la mise à niveau de Keling AI comme « pleine de sincérité ». Bien sûr, elle est indissociable des capacités et de la technologie de génération vidéo de Kuaishou. percées.

Génération d'IA « au niveau du film », toute la technologie derrière elle

Par rapport à la génération d'images déjà très mature, la tâche de génération de vidéo est plus complexe dans les applications pratiques, elle doit faire face à l'authenticité, à la cohérence des actions et à la fluidité de l'image. , la précision des détails, la cohérence des scènes, des personnages et de la lumière et des ombres, la précision physique et les contraintes de temps et bien d'autres défis.

La façon dont ces défis seront gérés déterminera directement le caractère pratique et la facilité d’utilisation du modèle. De toute évidence, l’IA Keling améliorée a subi des changements radicaux sur ces aspects. Pour résumer, Keling AI possède sept capacités majeures.

Head of Kuaishou Visual Generation and Interaction Center Wan Pengfei a analysé ces capacités une par une, qui renforcent les capacités de Keling AI en matière de qualité d'image vidéo, de génération d'images, de génération de mouvement, de durée de génération, de lois physiques et de réponse aux commandes, de contrôlabilité vidéo. et d'autres aspects de la compétitivité de base, et a créé aujourd'hui la toute-puissante IA Keling. Dans le même temps, Wan Pengfei attend également avec impatience les développements futurs. Il a déclaré que les effets de génération vidéo s'améliorent très rapidement et se rapprochent progressivement du rendu graphique et de la prise de vue avec caméra, ce qui apportera de nouvelles opportunités à l'industrie pan-vidéo.

                                                                                                                                                                                                                                     ^{fait évoluer les trois principales fonctionnalités de génération d'images haute définition au niveau du film, d'effets vidéo graphiques de pointe et d'excellente contrôlabilité de la génération vidéo.} Parmi eux, la

capacité de génération d'images haute définition de niveau film

est capable de présenter de magnifiques paysages naturels, des mouvements et expressions humains ou animaux et d'autres scènes grandioses ou subtiles avec une haute fidélité et une vivacité élevée, lui donnant une sensation de superproduction.

Capacités vidéo graphiques de pointe peuvent animer des images statiques et les convertir en courtes vidéos vives de 5 secondes. En même temps, il est associé à différentes entrées de texte pour rendre les vidéos Tusheng plus créatives et « tout ce que vous voulez ».

Par exemple, convertissez l'image d'un chiot nageant en vidéo :

L'effet est le suivant :

Excellente contrôlabilité de la génération vidéo met la création vidéo plus sophistiquée entre les mains de l'utilisateur. En plus de ce contrôle de l'objectif de la caméra, Keling AI réalisera également des ajustements contrôlables dans davantage d'aspects tels que la correspondance vocale du visage, la conservation de l'identification des personnages et le contrôle de l'évolution de l'écran et de la disposition via de simples invites de frappe à l'avenir. La formation du modèle est terminée et ces fonctions seront bientôt en ligne.

Dans le même temps, Keling AI a également été améliorée dans ses quatre autres capacités majeures telles que la génération de mouvement, la durée de la génération, les lois physiques et la réponse aux commandes.

PremièrementKeling AI possède des capacités de génération de mouvement importantes et raisonnables. En modélisant des mouvements spatio-temporels complexes, Keling AI peut générer des mouvements de plus grande amplitude conformes aux lois du mouvement.

Grâce à un entraînement du modèle plus adéquat cette fois, l'effet de mouvement global généré par Keling AI est plus flexible, prenant en charge une plus grande amplitude de mouvement sans affaiblir la rationalité. Les postures de retournement et de marche du chaton illustrées ci-dessous sont toutes très naturelles, raisonnables et conformes aux faits physiques.

La seconde est la capacité de génération de vidéos longues au niveau d'une minute. Aujourd'hui, la durée à l'échelle d'une minute est devenue une mesure importante pour évaluer un modèle de génération vidéo, qui nécessite un traitement multi-plans plus efficace, une narration plus longue et des capacités d'expansion de mouvement plus cohérentes.

Actuellement, Keling AI peut générer plusieurs minutes de vidéo 1080p, 30 ips. Dans le même temps, la fonction de continuation vidéo qui suit les instructions de l'utilisateur est ouverte. Une seule continuation retarde le mouvement de la vidéo de 4 à 5 secondes. Elle prend également en charge plusieurs continuations Une vidéo d'une durée maximale de 3 minutes peut être générée. peut être continué pendant la suite. Spécifiez la direction du développement ultérieur de l'histoire, ce qui la rend facile à utiliser.

Après cette mise à niveau, Keling AI a procédé à une optimisation conjointe en profondeur au niveau de l'algorithme et de l'ingénierie, ce qui a augmenté la durée de une vidéo générée unique de 5 secondes à 10 secondes, atteignant ainsi la durée la plus longue parmi les produits ouverts à les utilisateurs peuvent présenter une histoire plus complète et offrir aux utilisateurs un espace de création plus large.

Son IA Sankeling peut simuler des caractéristiques physiques complexes du monde. Depuis Sora, divers modèles de génération vidéo ont accordé une grande attention à la génération de vidéos conformes aux lois physiques, qui déterminent la limite supérieure des capacités du modèle.

Keling AI est capable de modéliser et de simuler avec précision des propriétés du monde réel depuis sa sortie, rendant les vidéos générées proches de la réalité, comme le bain d'un chaton.

Maintenant, grâce au soutien d'une formation de modèle plus complète, les capacités de modélisation et de simulation de Keling AI pour les lois physiques interactives ont atteint un nouveau niveau. La combinaison de concepts et les capacités de réponse aux commandes de

Qixikeling AI sont très fortes. En termes de mise en œuvre technique, grâce à une compréhension approfondie de la sémantique multimodale du texte à la vidéo, Keling AI peut facilement convertir la riche imagination des utilisateurs en images vidéo spécifiques, leur permettant de libérer leur imagination, comme des volcans en forme de tasse de café.

L'IA Keling améliorée a adopté de meilleurs systèmes de données textuelles et d'encodage, ce qui améliore naturellement sa réactivité aux mots d'invite de l'utilisateur et offre de meilleurs effets de rendu visuel.

所有這些能力又源自於可靈AI 在視訊生成技術路線（採用DiT 架構）、模型設計（如隱空間編解碼、時序資訊建模、文字擴展及編碼）、資料保障（如多維度標籤體系、影片描述模型）、運算效率（如分散式訓練集群、分階段訓練策略）、能力擴展（如視訊時序延展、多模態輸入可控）等方面的技術累積和獨到創新。

可以說，如今的可靈 AI 在技術層面做到了先進且可靠，怪不得技術一落地就受到了人們的追捧。

生成式 AI 時代，快手有備而來

過去一年多的時間裡，整個大模型領域可以說是非常的捲。去年都在談基座模型的研發，今年大家又都在討論應用。最近幾天 WAIC 大會開幕，我們又目睹了一波「模型派」和「應用派」之間的爭論。

在這波浪潮中，快手又是怎麼做的？

首先，它玩的是體系。從底層的 IDC 算力中心到網路架構、AI 平台，到中層的基礎核心大模型，再到應用層的各類應用探索，快手實現了全套自行研發。在談到這個體系時，快手副總裁大模型團隊負責人張迪認為，堅定投入自主研發長期來說會帶來「技術雪球」效應以及巨大的成本優勢。快手一個非常大的優勢就是在上層擁有大量的 AI 應用場景，這將為大模型帶來非常多的落地機會。

                             ^{基礎模型技術研究和商業應用落地並舉的策略。基礎模型決定了 AI 能力的上限，研究投入的量變可以引發質變；另一方面，商業化應用能夠滾起技術的雪球，把新技術階段性投入應用，不斷收穫回饋，才能逐漸形成良性循環。} 去年開始，快手提出了「快意」大模型（KwaiYi），很快就從早期的 13B 參數量發展到了 175B，並推出了多模態版本。在多個版本的迭代後，快意大模型已經在快手內部的素材創作、AI 互動、內容生產等場景中開始發揮作用，在今年 6 月，基於快意的 AIGC 行銷素材單日消耗超過了 2000 萬。

有了基礎模型，在更多的場景上，快手逐漸發展出了自己的差異化能力。

具體來說，在文生圖上，快手的「可圖」已成為業界頂尖的模型之一，擁有強大的語意理解和指令跟隨能力。由於在文字表徵方面的創新，以及影像資料對齊的大量工作，可圖可以畫出攝影級的畫面質感，經過強化學習的訓練，美學也和人類的普遍標準實現了對齊。

而在影片的生成上，「可靈 AI」燃起了全球視訊生成領域的新一輪競爭。它可以進行文生視頻、圖生視頻，又具有豐富的圖像編輯能力，在視頻生成的可控性、質感、美感、運動合理度方面保持業內優秀。快手的工程師們正在持續進行工程演算法的最佳化，試圖不斷降低影片生成 AI 的門檻。

說到打下門檻，新技術的最佳化是目前生成式 AI 面臨的重要挑戰之一。作擁國民級短視頻應用，快手的優勢在於擁有大量 AI 應用場景，這就為落地實踐帶來了場景和機會。

在技術落地上，快手實現了一系列里程碑：

快手在APP 評論區內測的對話模型應用“

AI 小快

”，可以理解視頻中的內容並與你互動，至今已經累積了超過1000 萬的粉絲量。

在電商的直播間裡，利用文生圖 AI「

可圖
• 」的能力，老鐵們也可以用自己的生活照快速試衣，甚至看到動態展示。
  視頻生成模型“
可靈 AI
• ”自發布以來獲得了用戶的廣泛認可，已經累計生成了 700 萬條視頻，開放了一站式內容創作平台。
  從內容的生產、理解到推薦等不同層面，從個人再到電商，快手的生成式 AI 能力已經做到了對於主體業務的全覆蓋，持續推進著快手生態的不斷發展。

最後還有新的嘗試。在 WAIC 上，快手預告首部 AIGC 短劇《山海奇鏡之劈波斬浪》將在本月正式發布。

該劇由可靈 AI 提供深度技術支持，以賽博風格來復現山海經裡的上古神話世界。從預告片來看，山脈到海洋、森林到天際等場景都呈現了震撼的視覺效果。在以往，如此效果可能需要專業的特效團隊，現在，視覺生成 AI 就能帶來震撼的視覺體驗了。

沒錯，半年前我們還在暢想未來，現在 AI 真的開始拍電影了。

當前大模型的浪潮中，最能證明技術能力的莫過於大規模落地。

而快手全方位的實踐讓我們再次確認：AI 的生產力已在不知不覺間，改變著我們的生活。

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!