搜索
首页科技周边人工智能华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

近两年来,随着大规模图文数据集如LAION-5B的开放,图片生成领域涌现出了一系列效果惊人的方法,如Stable Diffusion、DALL-E 2、ControlNet和Composer。这些方法的出现使得图片生成领域取得了巨大的突破和进展。图片生成领域可谓在过去短短两年内取得了飞速发展。

然而,视频生成仍然面临着巨大的挑战。首先,与图片生成相比,视频生成需要处理更高维度的数据,并且需要考虑到额外的时间维度,这带来了时序建模的问题。为了驱动时序动态的学习,我们需要更多的视频-文本对数据。然而,对视频进行准确的时序标注非常昂贵,这限制了视频-文本数据集的规模。目前,现有的WebVid10M视频数据集仅包含10.7M个视频-文本对,与LAION-5B图片数据集相比,数据规模相差甚远。这严重制约了视频生成模型规模化扩展的可能性。

为解决上述问题,华中科技大学、阿里巴巴集团、浙江大学和蚂蚁集团联合研究团队于近期发布了 TF-T2V 视频方案:

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!


论文地址:https://arxiv.org/abs/2312.15770

项目主页:https://tf-t2v.github.io/

即将公开源代码:https://github.com/ali-vilab/i2vgen-xl (VGen 项目)。

该方案另辟蹊径,提出了基于大规模无文本标注视频数据进行视频生成,能够学习丰富的运动动态。

先来看看 TF-T2V 的视频生成效果:

文生视频任务

提示词:生成在冰雪覆盖的土地上有一只冰霜般的大生物的视频。

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

提示词:生成一只卡通蜜蜂的动画视频。

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

提示词:生成包含一辆未来幻想摩托车的视频。

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

提示词:生成一个小男孩快乐微笑的视频。

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

提示词:生成一个老人感觉头疼的视频。

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

组合式视频生成任务

给定文本与深度图或者文本与素描草图,TF-T2V 能够进行可控的视频生成:

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

也可以进行高分辨率视频合成:

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!


华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

半监督设定

在半监督设定下的 TF-T2V 方法还可以生成符合运动文本描述的视频,如 「人从右往左跑」。

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

方法简介

TF-T2V 的核心思想是将模型分为运动分支和表观分支,运动分支用于建模运动动态,表观分支用于学习视觉表观信息。这两个分支进行联合训练,最终可以实现通过文本驱动视频生成。

为了提升生成视频的时序一致性,作者团队还提出了一种时序一致性损失,显式地学习视频帧之间的连续性。

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

值得一提的是,TF-T2V 是一种通用的框架,不仅适用于文生视频任务,还能应用于组合式视频生成任务,如 sketch-to-video、video inpainting、first frame-to-video 等。

具体细节和更多实验结果可以参考原论文或者项目主页。

此外,作者团队还把 TF-T2V 作为教师模型,利用一致性蒸馏技术得到了 VideoLCM 模型: 

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

论文地址:https://arxiv.org/abs/2312.09109

项目主页:https://tf-t2v.github.io/

即将公开源代码:https://github.com/ali-vilab/i2vgen-xl (VGen 项目)。

不同于之前视频生成方法需要大约 50 步 DDIM 去噪步骤,基于 TF-T2V 的 VideoLCM 方法可以只需要进行大约 4 步推理去噪就生成高保真的视频,极大地提升了视频生成的效率。

一起来看看 VideoLCM 进行 4 步去噪推理的结果:

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

具体细节和更多实验结果可以参考 VideoLCM 原论文或者项目主页。

总而言之,TF-T2V 方案为视频生成领域带来了新思路,克服了数据集规模和标注难题带来的挑战。利用大规模的无文本标注视频数据,TF-T2V 能够生成高质量的视频,并应用于多种视频生成任务。这一创新将推动视频生成技术的发展,为各行各业带来更广阔的应用场景和商业机会。

以上是华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:51CTO.COM。如有侵权,请联系admin@php.cn删除
解读CRISP-ML(Q):机器学习生命周期流程解读CRISP-ML(Q):机器学习生命周期流程Apr 08, 2023 pm 01:21 PM

译者 | 布加迪审校 | 孙淑娟目前,没有用于构建和管理机器学习(ML)应用程序的标准实践。机器学习项目组织得不好,缺乏可重复性,而且从长远来看容易彻底失败。因此,我们需要一套流程来帮助自己在整个机器学习生命周期中保持质量、可持续性、稳健性和成本管理。图1. 机器学习开发生命周期流程使用质量保证方法开发机器学习应用程序的跨行业标准流程(CRISP-ML(Q))是CRISP-DM的升级版,以确保机器学习产品的质量。CRISP-ML(Q)有六个单独的阶段:1. 业务和数据理解2. 数据准备3. 模型

人工智能的环境成本和承诺人工智能的环境成本和承诺Apr 08, 2023 pm 04:31 PM

人工智能(AI)在流行文化和政治分析中经常以两种极端的形式出现。它要么代表着人类智慧与科技实力相结合的未来主义乌托邦的关键,要么是迈向反乌托邦式机器崛起的第一步。学者、企业家、甚至活动家在应用人工智能应对气候变化时都采用了同样的二元思维。科技行业对人工智能在创建一个新的技术乌托邦中所扮演的角色的单一关注,掩盖了人工智能可能加剧环境退化的方式,通常是直接伤害边缘人群的方式。为了在应对气候变化的过程中充分利用人工智能技术,同时承认其大量消耗能源,引领人工智能潮流的科技公司需要探索人工智能对环境影响的

找不到中文语音预训练模型?中文版 Wav2vec 2.0和HuBERT来了找不到中文语音预训练模型?中文版 Wav2vec 2.0和HuBERT来了Apr 08, 2023 pm 06:21 PM

Wav2vec 2.0 [1],HuBERT [2] 和 WavLM [3] 等语音预训练模型,通过在多达上万小时的无标注语音数据(如 Libri-light )上的自监督学习,显著提升了自动语音识别(Automatic Speech Recognition, ASR),语音合成(Text-to-speech, TTS)和语音转换(Voice Conversation,VC)等语音下游任务的性能。然而这些模型都没有公开的中文版本,不便于应用在中文语音研究场景。 WenetSpeech [4] 是

条形统计图用什么呈现数据条形统计图用什么呈现数据Jan 20, 2021 pm 03:31 PM

条形统计图用“直条”呈现数据。条形统计图是用一个单位长度表示一定的数量,根据数量的多少画成长短不同的直条,然后把这些直条按一定的顺序排列起来;从条形统计图中很容易看出各种数量的多少。条形统计图分为:单式条形统计图和复式条形统计图,前者只表示1个项目的数据,后者可以同时表示多个项目的数据。

自动驾驶车道线检测分类的虚拟-真实域适应方法自动驾驶车道线检测分类的虚拟-真实域适应方法Apr 08, 2023 pm 02:31 PM

arXiv论文“Sim-to-Real Domain Adaptation for Lane Detection and Classification in Autonomous Driving“,2022年5月,加拿大滑铁卢大学的工作。虽然自主驾驶的监督检测和分类框架需要大型标注数据集,但光照真实模拟环境生成的合成数据推动的无监督域适应(UDA,Unsupervised Domain Adaptation)方法则是低成本、耗时更少的解决方案。本文提出对抗性鉴别和生成(adversarial d

数据通信中的信道传输速率单位是bps,它表示什么数据通信中的信道传输速率单位是bps,它表示什么Jan 18, 2021 pm 02:58 PM

数据通信中的信道传输速率单位是bps,它表示“位/秒”或“比特/秒”,即数据传输速率在数值上等于每秒钟传输构成数据代码的二进制比特数,也称“比特率”。比特率表示单位时间内传送比特的数目,用于衡量数字信息的传送速度;根据每帧图像存储时所占的比特数和传输比特率,可以计算数字图像信息传输的速度。

数据分析方法有哪几种数据分析方法有哪几种Dec 15, 2020 am 09:48 AM

数据分析方法有4种,分别是:1、趋势分析,趋势分析一般用于核心指标的长期跟踪;2、象限分析,可依据数据的不同,将各个比较主体划分到四个象限中;3、对比分析,分为横向对比和纵向对比;4、交叉分析,主要作用就是从多个维度细分数据。

15年软件架构师经验总结:在ML领域,初学者踩过的五个坑15年软件架构师经验总结:在ML领域,初学者踩过的五个坑Apr 11, 2023 pm 07:31 PM

数据科学和机器学习正变得越来越流行,这个领域的人数每天都在增长。这意味着有很多数据科学家在构建他们的第一个机器学习模型时没有丰富的经验,而这也是错误可能会发生的地方。近日,软件架构师、数据科学家、Kaggle 大师 Agnis Liukis 撰写了一篇文章,他在文中谈了谈在机器学习中最常见的一些初学者错误的解决方案,以确保初学者了解并避免它们。​Agnis Liukis 拥有超过 15 年的软件架构和开发经验,他熟练掌握 Java、JavaScript、Spring Boot、React.JS

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
2 周前By尊渡假赌尊渡假赌尊渡假赌
仓库:如何复兴队友
1 个月前By尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒险:如何获得巨型种子
4 周前By尊渡假赌尊渡假赌尊渡假赌

热工具

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

EditPlus 中文破解版

EditPlus 中文破解版

体积小,语法高亮,不支持代码提示功能

SublimeText3 英文版

SublimeText3 英文版

推荐:为Win版本,支持代码提示!

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

功能强大的PHP集成开发环境