GTA6预告片播放量超过10亿，AI巨头也能迅速进入GTA匪帮角色

GTA 新出的游戏预告片看了吗？据说，这个预告片已经破了三项吉尼斯世界纪录，观看次数已经破亿。

如果告诉你，三位AI巨头也能在《侠盗猎车手》游戏中扮演角色，你还能分辨出他们吗？

AI 三巨头：Yann LeCun、Geoffrey Hinton 和 Yoshua Bengio。 

这张合照采用了腾讯的 FaceStudio AI 模型合成，呈现了 GTA 风格的效果。这个 AI 模型的独特之处在于其出色的人物辨识度，将广泛应用的「AI 写真」技术推向了更高的水平

在人工智能技术迅速发展的今天，AI 写真照已经成为 AI 技术应用的一个热门方向。在 AI + 图像应用领域，妙鸭相机等 AI 写真产品已经展示了巨大的潜力和受欢迎程度。妙鸭相机的推出仅仅几周就在社交媒体上引起了广泛关注，其迅猛的增长速度凸显了这一市场的巨大潜力。尽管如此，众多 AI 写真产品在技术上还存在一定的局限性，例如用户需要上传多张差异较大的照片，并且需要等待较长时间才能获得合成效果，这无疑影响了用户体验。

在这个由人工智能主导的图像创新浪潮中，腾讯的最新研究成果FaceStudio展现出了更进一步的技术突破。这项研究不仅专注于快速合成人像，还更注重于保留人像的身份信息，以满足美观需求的同时保持人物的独特性和识别度。它不仅继承了开源算法StableDiffusion的核心优点，还在多个关键功能上进行了创新性改进。其中最引人注目的是其利用混合引导进行图像生成的能力，特别在处理多人照片和风格化图像两个方面体现出来

FaceStudio 的核心技术在于其能够在不牺牲个人身份特征的情况下，实现风格化的人物图像合成。传统的 AI 图像合成技术往往在追求视觉美感的同时，会牺牲人物的独特性和识别度。然而，FaceStudio 通过先进的混合引导机制，能够在生成图像时同时考虑文本提示、风格图像和身份图像，从而在保持个体特征的基础上实现多样化的风格转换。这不仅仅是技术上的一大突破，也为用户提供了更加丰富和个性化的图像合成选择。

此外，FaceStudio 独特的多身份交叉注意机制，使其在处理包含多个人物的图像时尤为出色。传统方法在处理此类图像时常常会遇到难以准确区分和维持每个人物特征的问题。但 FaceStudio 的这一机制可以准确地将不同身份的特征信息映射到图像的相应部分，无论是在保持每个人物的独特性，还是在整体风格的协调性上都表现卓越。

FaceStudio 支持多种人脸相关的有趣应用

• 论文地址：https://arxiv.org/abs/2312.02663
• 主页地址：https://icoz69.github.io/facestudio/

方法概述

混合引导设计

FaceStudio 的核心特性之一是其混合引导设计。该团队采用了一种独特的方法，允许模型同时接收图像和文本提示，从而生成具有特定身份特征的图像。基于图像提示的引导模块包含两个子模块：

• 图像引导模块：在这个部分，FaceStudio 使用 CLIP 视觉编码器来处理人类图像。这些图像通常是风格化的，含有丰富的视觉信息，如色彩、纹理和构图等。CLIP 编码器能够从这些图像中提取出复杂的风格特征。
• 身份识别模块：并行于图像引导模块，腾讯团队还设计了一个身份识别模块，这一模块使用 Arcface 模型来处理单独的面部图像。其主要目的是从面部图像中提取出关键的身份特征，如面部结构、表情和其他独特的生物识别信息。

在提取出风格化图像的视觉特征和面部图像的身份特征之后，这两组特征会被融合在一起。这个步骤通过一个线性层来完成，它将两种特征结合起来，创造一个综合的引导特征。这种方法的优点在于，它不仅能够保留人物的身份特征，还能够在图像生成过程中融入特定的风格和内容

FaceStudio 不仅仅具备图像引导功能，还集成了文本引导功能。这一功能是通过使用先行训练好的 PriorTransformer 模型来实现的。该模型能够将 CLIP 文本特征映射到相应的 CLIP 视觉特征。然后，与图像提示引导模块类似，这些视觉特征与身份识别模块的特征相结合，形成能够响应文本提示的综合引导特征。最后，这两种提示特征被加权融合，实现混合引导

需要重新编写的内容是：脸谱工作室的架构示意图

多人图像合成

在腾讯团队开发的FaceStudio框架中，有一个关键的创新，即"处理多人图像"部分。该部分专注于在单个图像中合成多个人物的肖像，以确保每个人物在最终图像中都能保持其独特的身份。面对一个包含多个人物的图像，FaceStudio采用了一种特殊的注意力机制。这个机制确保在图像合成过程中，每个人物区域的特征都只访问与之对应的身份信息。这意味着模型能够精确地控制每个人物的身份特征，确保它们在最终图像中呈现正确。为了实现这种精确的控制，腾讯团队使用了人物实例分割模型。该模型能够识别出图像中的不同人物，并将每个人物的区域与其对应的身份特征相关联。这样，模型就可以确保在合成图像时，每个人物的身份信息都得到了正确的引导

对比FaceStudio和基线算法在多人图像生成方面的效果

训练策略

腾讯团队为FaceStudio设计了一种以人类图像重建为目标的训练策略。他们通过这种方法，使用遮盖面部区域的原始图像作为风格化的人类图像的输入，并同时使用相同图像中裁剪的面部作为身份的输入。这样，模型在生成引导图像时能够更准确地保留人物的身份特征。与现有的生成模型训练方式不同，这种方法只依赖于人像作为训练数据，不需要文字标注，大大减轻了对标注数据的依赖。它能够更好地适应各种风格的人像

结果展示

FaceStudio 通过评估人脸相似度和人像生成时间来展现其独特的优势。实验结果显示，FaceStudio 生成单个人像只需要不到 4 秒即可完成，而基于优化的热门算法 DreamBooth 则需要长达 6 分钟。同时 FaceStudio 更好地保留了人像特征，有着更好的人脸相似度。实验结果对比如下：

研究人员对FaceStudio进行了与当前最佳人像生成模型算法的比较，使用了相同的图像作为样本。比较结果显示，FaceStudio在几乎所有的样本上都取得了更好或者同级别的效果。这进一步证明了FaceStudio具有强大的鲁棒性和泛化性能。具体的比较结果如下：

此外，在FaceStudo的实验中还展示了多种独特的人脸图像生成应用，其中包括身份混合和文字图像混合引导生成

 身份混合图像生成实验

文字图像混合引导图像生成实验

FaceStudio 生成的人像样例拥有多种风格

总结

综上所述，FaceStudio 的出现标志着个性化图像生成领域的重大进展。它在保持人物身份的同时，提供了丰富的风格化和文本驱动的图像生成选项。这种能力不仅对艺术创作和娱乐产业有巨大价值，也可能在广告、数字媒体制作和个性化内容创作等领域发挥重要作用。通过精确控制图像中的身份和风格，FaceStudio 为未来图像生成技术的发展开辟了新的道路，预示着这一领域的创新和变革

以上是GTA6预告片播放量超过10亿，AI巨头也能迅速进入GTA匪帮角色的详细内容。更多信息请关注PHP中文网其他相关文章！