搜索
首页科技周边人工智能AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP

Sora之后,居然还有新的AI视频模型,能惊艳得大家狂转狂赞!

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

有了它,《狂飙》大反派高启强化身罗翔,都能给大伙儿普法啦(狗头)。

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP

这就是阿里最新推出的基于音频驱动的肖像视频生成框架,EMO(Emote Portrait Alive)。

有了它,输入单张参考图像,以及一段音频(说话、唱歌、RAP均可),就能生成表情生动的AI视频。视频最终长度,取决于输入音频的长度。

你可以让蒙娜丽莎——这位AI届效果体验的老选手,朗诵一段独白:

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP

年轻俊美的小李子来段快节奏的RAP才艺秀,嘴形跟上完全没问题:

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP

甚至粤语口型也能hold住,这就让哥哥张国荣来首陈奕迅的《无条件》:

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP

总之,不管是让肖像唱歌(不同风格的肖像和歌曲)、让肖像开口说话(不同语种)、还是各种“张冠李戴”的跨演员表演,EMO的效果,都让咱看得一愣一愣的。

网友大感叹:“我们正在走进一个新的现实!”

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP2019版《小丑》说2008版《蝙蝠侠黑暗骑士》的台词

甚至已经有网友开始对EMO生成视频开始了拉片,逐帧分析效果究竟怎么样。

如下面这段视频,主角是Sora生成的AI女士,本次为大家演唱的曲目是《Don’t Start Now》。

推友分析道:

这段视频的一致性,比以往更上一层楼了!
一分多钟的视频里,Sora女士脸上的墨镜几乎没有乱动,耳朵、眉毛都有独立的运动。
最精彩的是Sora女士的喉咙好像真的有呼吸哎!她唱歌的过程中身体还有微颤和移动,我直接大震惊!

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

话说回来,EMO是热门新技术嘛,免不了拿来与同类对比——

就在昨天,AI视频生成公司Pika也推出了为视频人物配音,同时“对口型”的唇形同步功能,撞车了。

具体效果怎么样呢,我们直接摆在这儿AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP

评论区网友对比过后得出的结论是,被阿里吊打了。

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

EMO公布论文,同时宣布开源。

但是!虽说开源,GitHub上仍然是空仓。

再但是!虽然是空仓,标星数已经超过了2.1k。

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

惹得网友们真的是好着急,有吉吉国王那么急。

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP

与Sora不同架构

EMO论文一出,圈内不少人松了口气。

它与Sora技术路线不同,说明复刻Sora不是唯一的路。

EMO并不是建立在类似DiT架构的基础上,也就是没有用Transformer去替代传统UNet,其骨干网络魔改自Stable Diffusion 1.5。

具体来说,EMO是一种富有表现力的音频驱动的肖像视频生成框架,可以根据输入视频的长度生成任何持续时间的视频。

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

该框架主要由两个阶段构成:

  • 帧编码阶段

部署一个称为ReferenceNet的UNet网络,负责从参考图像和视频的帧中提取特征。

  • 扩散阶段

首先,预训练的音频编码器处理音频嵌入,人脸区域掩模与多帧噪声相结合来控制人脸图像的生成。

随后是骨干网络主导去噪操作。在骨干网络中应用了两种注意力,参考注意力和音频注意力,分别作用于保持角色的身份一致性和调节角色的运动。

此外,时间模块被用来操纵的时间维度,并调整运动的速度。

在训练数据方面,团队构建了一个包含超过250小时视频和超过1500万张图像的庞大且多样化的音视频数据集。

最终实现的具体特性如下:

  • 可以根据输入音频生成任意持续时间的视频,同时保证角色身份一致性(演示中给出的最长单个视频为1分49秒)。
  • 支持各种语言的交谈与唱歌(演示中包括普通话、广东话、英语、日语、韩语)
  • 支持不同画风(照片、传统绘画、漫画、3D渲染、AI数字人)

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

在定量比较上也比之前的方法有较大提升取得SOTA,只在衡量口型同步质量的SyncNet指标上稍逊一筹。

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

与其他不依赖扩散模型的方法相比,EMO更耗时。

并且由于没有使用任何显式的控制信号,可能导致无意中生成手等其他身体部位,一个潜在解决方案是采用专门用于身体部位的控制信号。

EMO的团队

最后,来看看EMO背后的团队有那些人。

论文显示,EMO团队来自阿里巴巴智能计算研究院。

作者共四位,分别是Linrui Tian,Qi Wang,Bang Zhang和Liefeng Bo。

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

其中,薄列峰(Liefeng Bo),是目前的阿里巴巴通义实验室XR实验室负责人。

薄列锋博士毕业于西安电子科技大学,先后在芝加哥大学丰田研究院和华盛顿大学从事博士后研究,研究方向主要是ML、CV和机器人。其谷歌学术被引数超过13000。

在加入阿里前,他先是在亚马逊西雅图总部任首席科学家,后又加入京东数字科技集团AI实验室任首席科学家。

2022年9月,薄列峰加入阿里。

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

EMO已经不是第一次阿里在AIGC领域出圈的成果了。

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

有AI一键换装的OutfitAnyone。

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

还有让全世界小猫小狗都在跳洗澡舞的AnimateAnyone。

就是下面这个:

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

如今推出EMO,不少网友在感叹,阿里是有些技术积累在身上的。

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

如果现在把所有这些技术结合起来,那效果……

不敢想,但好期待。

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

总之,我们离“发给AI一个剧本,输出整部电影”越来越近了。

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

One More Thing

Sora,代表文本驱动的视频合成的断崖式突破。

EMO,也代表音频驱动的视频合成一个新高度。

两者尽管任务不同、具体架构不同,但还有一个重要的共性:

中间都没有加入显式的物理模型,却都在一定程度上模拟了物理规律。

因此有人认为,这与Lecun坚持的“通过生成像素来为动作建模世界是浪费且注定要失败的”观点相悖,更支持了Jim Fan的“数据驱动的世界模型”思想。

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

过去种种方法失败了,而现在的成功,可能真就来自还是强化学习之父Sutton的《苦涩的教训》,大力出奇迹。

让AI能够像人们一样去发现,而不是包含人们发现的内容

突破性的进展最终通过扩大计算规模来实现

论文:https://www.php.cn/link/a717f41c203cb970f96f706e4b12617bGitHub:https://www.php.cn/link/e43a09ffc30b44cb1f0db46f87836f40

参考链接:
[1]https://www.php.cn/link/0dd4f2526c7c874d06f19523264f6552

以上是AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:51CTO.COM。如有侵权,请联系admin@php.cn删除
AI内部部署的隐藏危险:治理差距和灾难性风险AI内部部署的隐藏危险:治理差距和灾难性风险Apr 28, 2025 am 11:12 AM

Apollo Research的一份新报告显示,先进的AI系统的不受检查的内部部署构成了重大风险。 在大型人工智能公司中缺乏监督,普遍存在,允许潜在的灾难性结果

构建AI测谎仪构建AI测谎仪Apr 28, 2025 am 11:11 AM

传统测谎仪已经过时了。依靠腕带连接的指针,打印出受试者生命体征和身体反应的测谎仪,在识破谎言方面并不精确。这就是为什么测谎结果通常不被法庭采纳的原因,尽管它曾导致许多无辜者入狱。 相比之下,人工智能是一个强大的数据引擎,其工作原理是全方位观察。这意味着科学家可以通过多种途径将人工智能应用于寻求真相的应用中。 一种方法是像测谎仪一样分析被审问者的生命体征反应,但采用更详细、更精确的比较分析。 另一种方法是利用语言标记来分析人们实际所说的话,并运用逻辑和推理。 俗话说,一个谎言会滋生另一个谎言,最终

AI是否已清除航空航天行业的起飞?AI是否已清除航空航天行业的起飞?Apr 28, 2025 am 11:10 AM

航空航天业是创新的先驱,它利用AI应对其最复杂的挑战。 现代航空的越来越复杂性需要AI的自动化和实时智能功能,以提高安全性,降低操作

观看北京的春季机器人比赛观看北京的春季机器人比赛Apr 28, 2025 am 11:09 AM

机器人技术的飞速发展为我们带来了一个引人入胜的案例研究。 来自Noetix的N2机器人重达40多磅,身高3英尺,据说可以后空翻。Unitree公司推出的G1机器人重量约为N2的两倍,身高约4英尺。比赛中还有许多体型更小的类人机器人参赛,甚至还有一款由风扇驱动前进的机器人。 数据解读 这场半程马拉松吸引了超过12,000名观众,但只有21台类人机器人参赛。尽管政府指出参赛机器人赛前进行了“强化训练”,但并非所有机器人均完成了全程比赛。 冠军——由北京类人机器人创新中心研发的Tiangong Ult

镜子陷阱:人工智能伦理和人类想象力的崩溃镜子陷阱:人工智能伦理和人类想象力的崩溃Apr 28, 2025 am 11:08 AM

人工智能以目前的形式并不是真正智能的。它擅长模仿和完善现有数据。 我们不是在创造人工智能,而是人工推断 - 处理信息的机器,而人类则

新的Google泄漏揭示了方便的Google照片功能更新新的Google泄漏揭示了方便的Google照片功能更新Apr 28, 2025 am 11:07 AM

一份报告发现,在谷歌相册Android版7.26版本的代码中隐藏了一个更新的界面,每次查看照片时,都会在屏幕底部显示一行新检测到的面孔缩略图。 新的面部缩略图缺少姓名标签,所以我怀疑您需要单独点击它们才能查看有关每个检测到的人员的更多信息。就目前而言,此功能除了谷歌相册已在您的图像中找到这些人之外,不提供任何其他信息。 此功能尚未上线,因此我们不知道谷歌将如何准确地使用它。谷歌可以使用缩略图来加快查找所选人员的更多照片的速度,或者可能用于其他目的,例如选择要编辑的个人。我们拭目以待。 就目前而言

加固芬特的指南 - 分析Vidhya加固芬特的指南 - 分析VidhyaApr 28, 2025 am 09:30 AM

增强者通过教授模型根据人类反馈进行调整来震撼AI的开发。它将监督的学习基金会与基于奖励的更新融合在一起,使其更安全,更准确,真正地帮助

让我们跳舞:结构化运动以微调我们的人类神经网让我们跳舞:结构化运动以微调我们的人类神经网Apr 27, 2025 am 11:09 AM

科学家已经广泛研究了人类和更简单的神经网络(如秀丽隐杆线虫中的神经网络),以了解其功能。 但是,出现了一个关键问题:我们如何使自己的神经网络与新颖的AI一起有效地工作

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

Video Face Swap

Video Face Swap

使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热工具

SecLists

SecLists

SecLists是最终安全测试人员的伙伴。它是一个包含各种类型列表的集合,这些列表在安全评估过程中经常使用,都在一个地方。SecLists通过方便地提供安全测试人员可能需要的所有列表,帮助提高安全测试的效率和生产力。列表类型包括用户名、密码、URL、模糊测试有效载荷、敏感数据模式、Web shell等等。测试人员只需将此存储库拉到新的测试机上,他就可以访问到所需的每种类型的列表。

WebStorm Mac版

WebStorm Mac版

好用的JavaScript开发工具

SublimeText3 Mac版

SublimeText3 Mac版

神级代码编辑软件(SublimeText3)

Dreamweaver Mac版

Dreamweaver Mac版

视觉化网页开发工具

Atom编辑器mac版下载

Atom编辑器mac版下载

最流行的的开源编辑器