阿里再次创新：通过一句话和人脸即可实现《擦玻璃》舞蹈，服装背景自由切换！

阿里巴巴又一篇名为“舞蹈整活儿”的论文在AnimateAnyone之后引起了轰动

现在，只要上传一张脸部照片并简单描述一句话，就可以在任何地方跳舞啦！

例如下面这段《擦玻璃》的舞蹈视频：

图片

您需要做的就是上传一张人像照片，以及填写相应的提示信息

在秋天的金色树叶中，一个女孩穿着浅蓝色的连衣裙微笑着跳舞

随着提示的变化，人物的背景和衣服也会相应地改变。比如，我们可以再换几句话：

一个女孩在木屋里微笑着跳舞，她身穿着毛衣和长裤

一个女孩，微笑着，在时代广场跳舞，穿着连衣裙般的白衬衫，长袖，长裤。

图片

这便是阿里最新的一项研究——DreaMoving，主打的就是让任何人、随时且随地地跳舞。

图片

而且不仅是真人，就连卡通动漫人物也都是可以hold住的哦~

图片

项目一出，也是引发了不少网友的关注，有人在看过效果之后直呼“Unbelievable”~

图片

那么这个结果是如何实现的呢？这项研究是如何进行的呢？

背后原理

虽然像稳定视频传播（Stable Video Diffusion）和Gen2等文本到视频（text-to-video，T2V）模型的问世，已经在视频生成领域取得了重大突破，但目前仍面临着许多挑战

例如，在数据集方面，目前缺乏开源的人类舞蹈视频数据集以及难以获得相应的精确文本描述，这就使得让模型们去生成多样性、帧一致性、时长更长的视频成为挑战

并且在以人为中心的内容生成领域，生成结果的个性化和可控性也是关键因素。

图片

为了应对这两个挑战，阿里团队首先开始处理数据集

研究者们首先从互联网收集了约1000个优质的人类舞蹈视频。然后，他们将这些视频切割成约6000个短视频（每个视频8至10秒），以确保视频片段中没有转场和特效，有利于时间模型的训练

此外，为了生成视频的文本描述，他们使用了Minigpt-v2作为视频字幕器（video captioner），特别采用了“grounding”版本，指令是详细描述这个帧。

通过基于关键帧中心帧生成的字幕，可以准确地描述视频片段的主题和背景内容

在框架方面，阿里团队则是提出了一个名叫DreaMoving、基于Stable Diffusion的模型。

它主要由三个神经网络来构成，包括去噪U-Net（Denoising U-Net）、视频控制网络（Video ControlNet）和内容引导器（Content Guider）。

图片

其中，Video ControlNet是在每个U-Net块之后注入Motion Block的图像控制网络，将控制序列（姿态或深度）处理为额外的时间残差

Denoising U-Net是一种衍生的Stable-Diffusion U-Net，带有用于视频生成的运动块。

而Content Guider则是将输入文本提示和外观表情（如人脸）传输到内容嵌入中。

通过这样的操作，DreaMoving能够在输入给定的引导序列和简单的内容描述（例如文本和参考图像）的情况下生成高质量、高保真度的视频

图片

不过很可惜的一点是，目前DreaMoving项目并没有开源代码。

对于对此感兴趣的伙伴，可以先关注一下，等待代码开源的发布~

请参考以下链接：[1]https://dreamoving.github.io/dreamoving/[2]https://arxiv.org/abs/2312.05107[3]https://twitter.com/ProperPrompter/status/1734192772465258499[4]https://github.com/dreamoving/dreamoving-project

以上是阿里再次创新：通过一句话和人脸即可实现《擦玻璃》舞蹈，服装背景自由切换！的详细内容。更多信息请关注PHP中文网其他相关文章！