搜索
首页科技周边人工智能华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

近两年来,随着大规模图文数据集如LAION-5B的开放,图片生成领域涌现出了一系列效果惊人的方法,如Stable Diffusion、DALL-E 2、ControlNet和Composer。这些方法的出现使得图片生成领域取得了巨大的突破和进展。图片生成领域可谓在过去短短两年内取得了飞速发展。

然而,视频生成仍然面临着巨大的挑战。首先,与图片生成相比,视频生成需要处理更高维度的数据,并且需要考虑到额外的时间维度,这带来了时序建模的问题。为了驱动时序动态的学习,我们需要更多的视频-文本对数据。然而,对视频进行准确的时序标注非常昂贵,这限制了视频-文本数据集的规模。目前,现有的WebVid10M视频数据集仅包含10.7M个视频-文本对,与LAION-5B图片数据集相比,数据规模相差甚远。这严重制约了视频生成模型规模化扩展的可能性。

为解决上述问题,华中科技大学、阿里巴巴集团、浙江大学和蚂蚁集团联合研究团队于近期发布了 TF-T2V 视频方案:

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!


论文地址:https://arxiv.org/abs/2312.15770

项目主页:https://tf-t2v.github.io/

即将公开源代码:https://github.com/ali-vilab/i2vgen-xl (VGen 项目)。

该方案另辟蹊径,提出了基于大规模无文本标注视频数据进行视频生成,能够学习丰富的运动动态。

先来看看 TF-T2V 的视频生成效果:

文生视频任务

提示词:生成在冰雪覆盖的土地上有一只冰霜般的大生物的视频。

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

提示词:生成一只卡通蜜蜂的动画视频。

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

提示词:生成包含一辆未来幻想摩托车的视频。

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

提示词:生成一个小男孩快乐微笑的视频。

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

提示词:生成一个老人感觉头疼的视频。

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

组合式视频生成任务

给定文本与深度图或者文本与素描草图,TF-T2V 能够进行可控的视频生成:

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

也可以进行高分辨率视频合成:

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!


华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

半监督设定

在半监督设定下的 TF-T2V 方法还可以生成符合运动文本描述的视频,如 「人从右往左跑」。

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

方法简介

TF-T2V 的核心思想是将模型分为运动分支和表观分支,运动分支用于建模运动动态,表观分支用于学习视觉表观信息。这两个分支进行联合训练,最终可以实现通过文本驱动视频生成。

为了提升生成视频的时序一致性,作者团队还提出了一种时序一致性损失,显式地学习视频帧之间的连续性。

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

值得一提的是,TF-T2V 是一种通用的框架,不仅适用于文生视频任务,还能应用于组合式视频生成任务,如 sketch-to-video、video inpainting、first frame-to-video 等。

具体细节和更多实验结果可以参考原论文或者项目主页。

此外,作者团队还把 TF-T2V 作为教师模型,利用一致性蒸馏技术得到了 VideoLCM 模型: 

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

论文地址:https://arxiv.org/abs/2312.09109

项目主页:https://tf-t2v.github.io/

即将公开源代码:https://github.com/ali-vilab/i2vgen-xl (VGen 项目)。

不同于之前视频生成方法需要大约 50 步 DDIM 去噪步骤,基于 TF-T2V 的 VideoLCM 方法可以只需要进行大约 4 步推理去噪就生成高保真的视频,极大地提升了视频生成的效率。

一起来看看 VideoLCM 进行 4 步去噪推理的结果:

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!

具体细节和更多实验结果可以参考 VideoLCM 原论文或者项目主页。

总而言之,TF-T2V 方案为视频生成领域带来了新思路,克服了数据集规模和标注难题带来的挑战。利用大规模的无文本标注视频数据,TF-T2V 能够生成高质量的视频,并应用于多种视频生成任务。这一创新将推动视频生成技术的发展,为各行各业带来更广阔的应用场景和商业机会。

以上是华科阿里等企业合作开发的TF-T2V技术降低了AI视频生产的成本!的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:51CTO.COM。如有侵权,请联系admin@php.cn删除
微软工作趋势指数2025显示工作场所容量应变微软工作趋势指数2025显示工作场所容量应变Apr 24, 2025 am 11:19 AM

由于AI的快速整合而加剧了工作场所的迅速危机危机,要求战略转变以外的增量调整。 WTI的调查结果强调了这一点:68%的员工在工作量上挣扎,导致BUR

AI可以理解吗?中国房间的论点说不,但是对吗?AI可以理解吗?中国房间的论点说不,但是对吗?Apr 24, 2025 am 11:18 AM

约翰·塞尔(John Searle)的中国房间论点:对AI理解的挑战 Searle的思想实验直接质疑人工智能是否可以真正理解语言或具有真正意识。 想象一个人,对下巴一无所知

中国的'智能” AI助手回应微软召回的隐私缺陷中国的'智能” AI助手回应微软召回的隐私缺陷Apr 24, 2025 am 11:17 AM

与西方同行相比,中国的科技巨头在AI开发方面的课程不同。 他们不专注于技术基准和API集成,而是优先考虑“屏幕感知” AI助手 - AI T

Docker将熟悉的容器工作流程带到AI型号和MCP工具Docker将熟悉的容器工作流程带到AI型号和MCP工具Apr 24, 2025 am 11:16 AM

MCP:赋能AI系统访问外部工具 模型上下文协议(MCP)让AI应用能够通过标准化接口与外部工具和数据源交互。由Anthropic开发并得到主要AI提供商的支持,MCP允许语言模型和智能体发现可用工具并使用合适的参数调用它们。然而,实施MCP服务器存在一些挑战,包括环境冲突、安全漏洞以及跨平台行为不一致。 Forbes文章《Anthropic的模型上下文协议是AI智能体发展的一大步》作者:Janakiram MSVDocker通过容器化解决了这些问题。基于Docker Hub基础设施构建的Doc

使用6种AI街头智能策略来建立一家十亿美元的创业使用6种AI街头智能策略来建立一家十亿美元的创业Apr 24, 2025 am 11:15 AM

有远见的企业家采用的六种策略,他们利用尖端技术和精明的商业敏锐度来创造高利润的可扩展公司,同时保持控制权。本指南是针对有抱负的企业家的,旨在建立一个

Google照片更新解锁了您所有图片的惊人Ultra HDRGoogle照片更新解锁了您所有图片的惊人Ultra HDRApr 24, 2025 am 11:14 AM

Google Photos的新型Ultra HDR工具:改变图像增强的游戏规则 Google Photos推出了一个功能强大的Ultra HDR转换工具,将标准照片转换为充满活力的高动态范围图像。这种增强功能受益于摄影师

Descope建立AI代理集成的身份验证框架Descope建立AI代理集成的身份验证框架Apr 24, 2025 am 11:13 AM

技术架构解决了新兴的身份验证挑战 代理身份集线器解决了许多组织仅在开始AI代理实施后发现的问题,即传统身份验证方法不是为机器设计的

Google Cloud Next 2025以及现代工作的未来Google Cloud Next 2025以及现代工作的未来Apr 24, 2025 am 11:12 AM

(注意:Google是我公司的咨询客户,Moor Insights&Strateging。) AI:从实验到企业基金会 Google Cloud Next 2025展示了AI从实验功能到企业技术的核心组成部分的演变,

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

Video Face Swap

Video Face Swap

使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热工具

记事本++7.3.1

记事本++7.3.1

好用且免费的代码编辑器

Atom编辑器mac版下载

Atom编辑器mac版下载

最流行的的开源编辑器

MinGW - 适用于 Windows 的极简 GNU

MinGW - 适用于 Windows 的极简 GNU

这个项目正在迁移到osdn.net/projects/mingw的过程中,你可以继续在那里关注我们。MinGW:GNU编译器集合(GCC)的本地Windows移植版本,可自由分发的导入库和用于构建本地Windows应用程序的头文件;包括对MSVC运行时的扩展,以支持C99功能。MinGW的所有软件都可以在64位Windows平台上运行。

禅工作室 13.0.1

禅工作室 13.0.1

功能强大的PHP集成开发环境

WebStorm Mac版

WebStorm Mac版

好用的JavaScript开发工具