搜索
首页科技周边人工智能AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP

Sora之后,居然还有新的AI视频模型,能惊艳得大家狂转狂赞!

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

有了它,《狂飙》大反派高启强化身罗翔,都能给大伙儿普法啦(狗头)。

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP

这就是阿里最新推出的基于音频驱动的肖像视频生成框架,EMO(Emote Portrait Alive)。

有了它,输入单张参考图像,以及一段音频(说话、唱歌、RAP均可),就能生成表情生动的AI视频。视频最终长度,取决于输入音频的长度。

你可以让蒙娜丽莎——这位AI届效果体验的老选手,朗诵一段独白:

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP

年轻俊美的小李子来段快节奏的RAP才艺秀,嘴形跟上完全没问题:

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP

甚至粤语口型也能hold住,这就让哥哥张国荣来首陈奕迅的《无条件》:

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP

总之,不管是让肖像唱歌(不同风格的肖像和歌曲)、让肖像开口说话(不同语种)、还是各种“张冠李戴”的跨演员表演,EMO的效果,都让咱看得一愣一愣的。

网友大感叹:“我们正在走进一个新的现实!”

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP2019版《小丑》说2008版《蝙蝠侠黑暗骑士》的台词

甚至已经有网友开始对EMO生成视频开始了拉片,逐帧分析效果究竟怎么样。

如下面这段视频,主角是Sora生成的AI女士,本次为大家演唱的曲目是《Don’t Start Now》。

推友分析道:

这段视频的一致性,比以往更上一层楼了!
一分多钟的视频里,Sora女士脸上的墨镜几乎没有乱动,耳朵、眉毛都有独立的运动。
最精彩的是Sora女士的喉咙好像真的有呼吸哎!她唱歌的过程中身体还有微颤和移动,我直接大震惊!

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

话说回来,EMO是热门新技术嘛,免不了拿来与同类对比——

就在昨天,AI视频生成公司Pika也推出了为视频人物配音,同时“对口型”的唇形同步功能,撞车了。

具体效果怎么样呢,我们直接摆在这儿AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP

评论区网友对比过后得出的结论是,被阿里吊打了。

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

EMO公布论文,同时宣布开源。

但是!虽说开源,GitHub上仍然是空仓。

再但是!虽然是空仓,标星数已经超过了2.1k。

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

惹得网友们真的是好着急,有吉吉国王那么急。

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP

与Sora不同架构

EMO论文一出,圈内不少人松了口气。

它与Sora技术路线不同,说明复刻Sora不是唯一的路。

EMO并不是建立在类似DiT架构的基础上,也就是没有用Transformer去替代传统UNet,其骨干网络魔改自Stable Diffusion 1.5。

具体来说,EMO是一种富有表现力的音频驱动的肖像视频生成框架,可以根据输入视频的长度生成任何持续时间的视频。

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

该框架主要由两个阶段构成:

  • 帧编码阶段

部署一个称为ReferenceNet的UNet网络,负责从参考图像和视频的帧中提取特征。

  • 扩散阶段

首先,预训练的音频编码器处理音频嵌入,人脸区域掩模与多帧噪声相结合来控制人脸图像的生成。

随后是骨干网络主导去噪操作。在骨干网络中应用了两种注意力,参考注意力和音频注意力,分别作用于保持角色的身份一致性和调节角色的运动。

此外,时间模块被用来操纵的时间维度,并调整运动的速度。

在训练数据方面,团队构建了一个包含超过250小时视频和超过1500万张图像的庞大且多样化的音视频数据集。

最终实现的具体特性如下:

  • 可以根据输入音频生成任意持续时间的视频,同时保证角色身份一致性(演示中给出的最长单个视频为1分49秒)。
  • 支持各种语言的交谈与唱歌(演示中包括普通话、广东话、英语、日语、韩语)
  • 支持不同画风(照片、传统绘画、漫画、3D渲染、AI数字人)

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

在定量比较上也比之前的方法有较大提升取得SOTA,只在衡量口型同步质量的SyncNet指标上稍逊一筹。

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

与其他不依赖扩散模型的方法相比,EMO更耗时。

并且由于没有使用任何显式的控制信号,可能导致无意中生成手等其他身体部位,一个潜在解决方案是采用专门用于身体部位的控制信号。

EMO的团队

最后,来看看EMO背后的团队有那些人。

论文显示,EMO团队来自阿里巴巴智能计算研究院。

作者共四位,分别是Linrui Tian,Qi Wang,Bang Zhang和Liefeng Bo。

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

其中,薄列峰(Liefeng Bo),是目前的阿里巴巴通义实验室XR实验室负责人。

薄列锋博士毕业于西安电子科技大学,先后在芝加哥大学丰田研究院和华盛顿大学从事博士后研究,研究方向主要是ML、CV和机器人。其谷歌学术被引数超过13000。

在加入阿里前,他先是在亚马逊西雅图总部任首席科学家,后又加入京东数字科技集团AI实验室任首席科学家。

2022年9月,薄列峰加入阿里。

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

EMO已经不是第一次阿里在AIGC领域出圈的成果了。

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

有AI一键换装的OutfitAnyone。

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

还有让全世界小猫小狗都在跳洗澡舞的AnimateAnyone。

就是下面这个:

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

如今推出EMO,不少网友在感叹,阿里是有些技术积累在身上的。

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

如果现在把所有这些技术结合起来,那效果……

不敢想,但好期待。

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

总之,我们离“发给AI一个剧本,输出整部电影”越来越近了。

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

One More Thing

Sora,代表文本驱动的视频合成的断崖式突破。

EMO,也代表音频驱动的视频合成一个新高度。

两者尽管任务不同、具体架构不同,但还有一个重要的共性:

中间都没有加入显式的物理模型,却都在一定程度上模拟了物理规律。

因此有人认为,这与Lecun坚持的“通过生成像素来为动作建模世界是浪费且注定要失败的”观点相悖,更支持了Jim Fan的“数据驱动的世界模型”思想。

AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP图片

过去种种方法失败了,而现在的成功,可能真就来自还是强化学习之父Sutton的《苦涩的教训》,大力出奇迹。

让AI能够像人们一样去发现,而不是包含人们发现的内容

突破性的进展最终通过扩大计算规模来实现

论文:https://www.php.cn/link/a717f41c203cb970f96f706e4b12617bGitHub:https://www.php.cn/link/e43a09ffc30b44cb1f0db46f87836f40

参考链接:
[1]https://www.php.cn/link/0dd4f2526c7c874d06f19523264f6552

以上是AI视频又炸了!照片+声音变视频,阿里让Sora女主唱歌小李子说RAP的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:51CTO.COM。如有侵权,请联系admin@php.cn删除
ai合并图层的快捷键是什么ai合并图层的快捷键是什么Jan 07, 2021 am 10:59 AM

ai合并图层的快捷键是“Ctrl+Shift+E”,它的作用是把目前所有处在显示状态的图层合并,在隐藏状态的图层则不作变动。也可以选中要合并的图层,在菜单栏中依次点击“窗口”-“路径查找器”,点击“合并”按钮。

ai橡皮擦擦不掉东西怎么办ai橡皮擦擦不掉东西怎么办Jan 13, 2021 am 10:23 AM

ai橡皮擦擦不掉东西是因为AI是矢量图软件,用橡皮擦不能擦位图的,其解决办法就是用蒙板工具以及钢笔勾好路径再建立蒙板即可实现擦掉东西。

谷歌超强AI超算碾压英伟达A100!TPU v4性能提升10倍,细节首次公开谷歌超强AI超算碾压英伟达A100!TPU v4性能提升10倍,细节首次公开Apr 07, 2023 pm 02:54 PM

虽然谷歌早在2020年,就在自家的数据中心上部署了当时最强的AI芯片——TPU v4。但直到今年的4月4日,谷歌才首次公布了这台AI超算的技术细节。论文地址:https://arxiv.org/abs/2304.01433相比于TPU v3,TPU v4的性能要高出2.1倍,而在整合4096个芯片之后,超算的性能更是提升了10倍。另外,谷歌还声称,自家芯片要比英伟达A100更快、更节能。与A100对打,速度快1.7倍论文中,谷歌表示,对于规模相当的系统,TPU v4可以提供比英伟达A100强1.

ai可以转成psd格式吗ai可以转成psd格式吗Feb 22, 2023 pm 05:56 PM

ai可以转成psd格式。转换方法:1、打开Adobe Illustrator软件,依次点击顶部菜单栏的“文件”-“打开”,选择所需的ai文件;2、点击右侧功能面板中的“图层”,点击三杠图标,在弹出的选项中选择“释放到图层(顺序)”;3、依次点击顶部菜单栏的“文件”-“导出”-“导出为”;4、在弹出的“导出”对话框中,将“保存类型”设置为“PSD格式”,点击“导出”即可;

GPT-4的研究路径没有前途?Yann LeCun给自回归判了死刑GPT-4的研究路径没有前途?Yann LeCun给自回归判了死刑Apr 04, 2023 am 11:55 AM

Yann LeCun 这个观点的确有些大胆。 「从现在起 5 年内,没有哪个头脑正常的人会使用自回归模型。」最近,图灵奖得主 Yann LeCun 给一场辩论做了个特别的开场。而他口中的自回归,正是当前爆红的 GPT 家族模型所依赖的学习范式。当然,被 Yann LeCun 指出问题的不只是自回归模型。在他看来,当前整个的机器学习领域都面临巨大挑战。这场辩论的主题为「Do large language models need sensory grounding for meaning and u

ai顶部属性栏不见了怎么办ai顶部属性栏不见了怎么办Feb 22, 2023 pm 05:27 PM

ai顶部属性栏不见了的解决办法:1、开启Ai新建画布,进入绘图页面;2、在Ai顶部菜单栏中点击“窗口”;3、在系统弹出的窗口菜单页面中点击“控制”,然后开启“控制”窗口即可显示出属性栏。

ai移动不了东西了怎么办ai移动不了东西了怎么办Mar 07, 2023 am 10:03 AM

ai移动不了东西的解决办法:1、打开ai软件,打开空白文档;2、选择矩形工具,在文档中绘制矩形;3、点击选择工具,移动文档中的矩形;4、点击图层按钮,弹出图层面板对话框,解锁图层;5、点击选择工具,移动矩形即可。

强化学习再登Nature封面,自动驾驶安全验证新范式大幅减少测试里程强化学习再登Nature封面,自动驾驶安全验证新范式大幅减少测试里程Mar 31, 2023 pm 10:38 PM

引入密集强化学习,用 AI 验证 AI。 自动驾驶汽车 (AV) 技术的快速发展,使得我们正处于交通革命的风口浪尖,其规模是自一个世纪前汽车问世以来从未见过的。自动驾驶技术具有显着提高交通安全性、机动性和可持续性的潜力,因此引起了工业界、政府机构、专业组织和学术机构的共同关注。过去 20 年里,自动驾驶汽车的发展取得了长足的进步,尤其是随着深度学习的出现更是如此。到 2015 年,开始有公司宣布他们将在 2020 之前量产 AV。不过到目前为止,并且没有 level 4 级别的 AV 可以在市场

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

仓库:如何复兴队友
1 个月前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.能量晶体解释及其做什么(黄色晶体)
2 周前By尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒险:如何获得巨型种子
1 个月前By尊渡假赌尊渡假赌尊渡假赌

热工具

EditPlus 中文破解版

EditPlus 中文破解版

体积小,语法高亮,不支持代码提示功能

螳螂BT

螳螂BT

Mantis是一个易于部署的基于Web的缺陷跟踪工具,用于帮助产品缺陷跟踪。它需要PHP、MySQL和一个Web服务器。请查看我们的演示和托管服务。

安全考试浏览器

安全考试浏览器

Safe Exam Browser是一个安全的浏览器环境,用于安全地进行在线考试。该软件将任何计算机变成一个安全的工作站。它控制对任何实用工具的访问,并防止学生使用未经授权的资源。

Dreamweaver CS6

Dreamweaver CS6

视觉化网页开发工具

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )专业的PHP集成开发工具