搜索
首页科技周边人工智能真实性震撼!谷歌和康奈尔大学推出真实图像补全技术RealFill

得到一张好看的照片越来越容易了。

假期出游,肯定少不了拍照留念。不过,大部分在景区拍摄的照片或多或少都有些遗憾,背景里不是多了些什么,就是少了些什么。

获得一张「完美」的图像,是 CV 研究人员长期以来努力的目标之一。日前,Google Research 和康奈尔大学的研究人员合作,提出了一种「真实的图像补全」(Authentic Image Completion)技术——用于图像补全的生成模型 RealFill。

RealFill 模型的优势是可以使用少量的场景参考图像进行个性化设置,而这些参考图像无须与目标图像对齐,甚至可以在视角、光线条件、相机光圈或图像风格等方面有极大的差异。一旦完成个性化设置,RealFill 就能够以忠实于原始场景的方式,用视觉上引人入胜的内容来补全目标图像。

真实性震撼!谷歌和康奈尔大学推出真实图像补全技术RealFill

  • 请点击以下链接查看论文:https://arxiv.org/abs/2309.16668

  • 项目页面链接:https://realfill.github.io/

补画(inpainting)和扩画(outpainting)模型是能够在图像的未知区域生成高质量、合理的图像内容的技术,但这些模型生成的内容必然是不真实的,因为这些模型在真实场景的上下文信息方面存在不足。相比之下,RealFill 能够生成「应该」出现在那里的内容,从而使图像补全的结果更为真实。

作者在论文中指出,他们定义了一个新的图像补全问题——「真实图像补全」(Authentic Image Completion)。不同于传统的生成型图像修复(替代缺失区域的内容可能与原始场景不一致),真实图像补全的目标是使补全的内容尽可能忠实于原始场景,用「应该出现在那里」的内容来补全目标图像,而不是用「可能在那里」的内容。

作者表示,RealFill 是首个通过在过程中添加更多的条件(即添加参考图像)来扩展生成型图像修复模型表达力的方法。

在一个涵盖了一系列多样化且具有挑战性的场景的新的图像补全基准测试中,RealFill 的表现大大超过了现有的方法。

方法

RealFill 的目标是在尽可能保持真实性的前提下,使用少量的参考图像来补全给定目标图像的缺失部分。具体说,给定最多 5 张参考图像,和一张大致捕捉到相同场景(但布局或外观可能不同)的目标图像。

对于给定的场景,研究人员首先通过在参考图像和目标图像上微调一个预训练的 inpainting 扩散模型,创建一个个性化的生成模型。这个微调过程被设计成让微调后的模型不仅保持良好的图像先验,还能学习输入图像中的场景内容、光照和风格。然后,使用这个微调过的模型,通过标准的扩散采样过程来填充目标图像中的缺失区域。真实性震撼!谷歌和康奈尔大学推出真实图像补全技术RealFill

值得注意的是,为了实际的应用价值,该模型特别关注更具挑战性、无约束的情况,即目标图像和参考图像可能有非常不同的视点、环境条件、相机光圈、图像风格,甚至包括移动的对象。

实验结果

根据左侧的参考图像,RealFill 能够对右侧的目标图像进行扩展(uncrop)或修复(inpaint),生成的结果不仅视觉上吸引人,而且与参考图像保持一致,即使参考图像和目标图像在视点、光圈、光照、图像风格和物体运动等方面存在较大差异。

真实性震撼!谷歌和康奈尔大学推出真实图像补全技术RealFill真实性震撼!谷歌和康奈尔大学推出真实图像补全技术RealFill

真实性震撼!谷歌和康奈尔大学推出真实图像补全技术RealFill

真实性震撼!谷歌和康奈尔大学推出真实图像补全技术RealFillRealFill 模型的输出效果。给定左侧的参考图像,RealFill 能够扩画出对应的右侧目标图像。白色框内的区域被提供给网络作为已知的像素,而白色框外的区域都是生成的。结果显示,即使参考图像和目标图像之间存在包括视点、光圈、光照、图像风格和物体运动等巨大差异,RealFill 也能生成高质量且忠实于参考图像的图像。来源:论文

对照实验

研究人员比较了 RealFill 模型和其他的基准方法。相比之下,RealFill 生成的结果质量高,在场景保真度和与参考图像的一致性方面,RealFill的表现更好。

Paint-by-Example 无法实现高度的场景保真,因为它依赖于 CLIP 嵌入,而 CLIP 嵌入只能捕获高级语义信息。

Stable Diffusion Inpainting 虽然可以产生看似合理的结果,但由于 prompt 的表达能力有限,所以最终生成结果与参考图像并不一致。

真实性震撼!谷歌和康奈尔大学推出真实图像补全技术RealFill

RealFill 与其他两种基线方法的比较。覆盖了一层透明白色掩码的区域是目标图像未修改的部分。来源:realfill.github.io

局限

研究人员也讨论了 RealFill 模型的一些潜在的问题和限制,包括处理速度、对视点变化的处理能力,以及对基础模型具有挑战性的情况的处理能力。具体说:

RealFill 需要对输入图像进行基于梯度的微调过程,这使得它的运行速度相对较慢。
当参考图像和目标图像之间的视点变化非常大时,RealFill 往往无法恢复 3D 场景,特别是当只有一张参考图像的时候。

由于 RealFill 主要依赖于从基础的预训练模型继承的图像先验,因此它无法处理那些对基础模型来说具有挑战性的情况,例如 stable diffusion 模型无法处理好文本。

真实性震撼!谷歌和康奈尔大学推出真实图像补全技术RealFill

最后,作者向合作者表达了感激之情:

我们要感谢 Rundi Wu、Qianqian Wang、Viraj Shah、Ethan Weber、Zhengqi Li、Kyle Genova、Boyang Deng、Maya Goldenberg、Noah Snavely、Ben Poole、Ben Mildenhall、Alex Rav-Acha、Pratul Srinivasan、Dor Verbin 和 Jon Barron 的宝贵讨论和反馈,同时也感谢 Zeya Peng、Rundi Wu、Shan Nan 对评估数据集的贡献。我们特别感谢 Jason Baldridge、Kihyuk Sohn、Kathy Meier-Hellstern 和 Nicole Brichtova 对项目的反馈和支持。

请阅读原始论文并访问项目主页以获取更多信息

以上是真实性震撼!谷歌和康奈尔大学推出真实图像补全技术RealFill的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:机器之心。如有侵权,请联系admin@php.cn删除
META的新AI助手:生产力助推器还是时间下沉?META的新AI助手:生产力助推器还是时间下沉?May 01, 2025 am 11:18 AM

Meta携手Nvidia、IBM和Dell等合作伙伴,拓展了Llama Stack的企业级部署整合。在安全方面,Meta推出了Llama Guard 4、LlamaFirewall和CyberSecEval 4等新工具,并启动了Llama Defenders计划,以增强AI安全性。此外,Meta还向10个全球机构(包括致力于改善公共服务、医疗保健和教育的初创企业)发放了总额150万美元的Llama Impact Grants。 由Llama 4驱动的全新Meta AI应用,被设想为Meta AI

80%的Zers将嫁给AI:研究80%的Zers将嫁给AI:研究May 01, 2025 am 11:17 AM

公司开创性的人类互动公司Joi AI介绍了“ AI-Iatsionship”一词来描述这些不断发展的关系。 Joi AI的关系治疗师Jaime Bronstein澄清说,这并不是要取代人类C

AI使互联网的机器人问题变得更糟。这家耗资20亿美元的创业公司在前线AI使互联网的机器人问题变得更糟。这家耗资20亿美元的创业公司在前线May 01, 2025 am 11:16 AM

在线欺诈和机器人攻击对企业构成了重大挑战。 零售商与机器人ho积产品,银行战斗帐户收购和社交媒体平台与模仿者的斗争。 AI的兴起加剧了这个问题,Rende

卖给机器人:将创造或破坏业务的营销革命卖给机器人:将创造或破坏业务的营销革命May 01, 2025 am 11:15 AM

AI代理人有望彻底改变营销,并可能超过以前技术转变的影响。 这些代理代表了生成AI的重大进步,不仅是处理诸如chatgpt之类的处理信息,而且还采取了Actio

计算机视觉技术如何改变NBA季后赛主持人计算机视觉技术如何改变NBA季后赛主持人May 01, 2025 am 11:14 AM

人工智能对关键NBA游戏4决策的影响 两场关键游戏4 NBA对决展示了AI在主持仪式中改变游戏规则的角色。 首先,丹佛的尼古拉·乔基奇(Nikola Jokic)错过了三分球,导致亚伦·戈登(Aaron Gordon)的最后一秒钟。 索尼的鹰

AI如何加速再生医学的未来AI如何加速再生医学的未来May 01, 2025 am 11:13 AM

传统上,扩大重生医学专业知识在全球范围内要求广泛的旅行,动手培训和多年指导。 现在,AI正在改变这一景观,克服地理局限性并通过EN加速进步

Intel Foundry Direct Connect 2025的关键要点Intel Foundry Direct Connect 2025的关键要点May 01, 2025 am 11:12 AM

英特尔正努力使其制造工艺重回领先地位,同时努力吸引无晶圆厂半导体客户在其晶圆厂制造芯片。为此,英特尔必须在业界建立更多信任,不仅要证明其工艺的竞争力,还要证明合作伙伴能够以熟悉且成熟的工作流程、一致且高可靠性地制造芯片。今天我听到的一切都让我相信英特尔正在朝着这个目标前进。 新任首席执行官谭立柏的主题演讲拉开了当天的序幕。谭立柏直率而简洁。他概述了英特尔代工服务的若干挑战,以及公司为应对这些挑战、为英特尔代工服务的未来规划成功路线而采取的措施。谭立柏谈到了英特尔代工服务正在实施的流程,以更以客

AI出了问题吗?现在在那里为此保险AI出了问题吗?现在在那里为此保险May 01, 2025 am 11:11 AM

全球专业再保险公司Chaucer Group和Armilla AI解决了围绕AI风险的日益严重的问题,已联手引入了新型的第三方责任(TPL)保险产品。 该政策保护业务不利

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

Video Face Swap

Video Face Swap

使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热工具

SecLists

SecLists

SecLists是最终安全测试人员的伙伴。它是一个包含各种类型列表的集合,这些列表在安全评估过程中经常使用,都在一个地方。SecLists通过方便地提供安全测试人员可能需要的所有列表,帮助提高安全测试的效率和生产力。列表类型包括用户名、密码、URL、模糊测试有效载荷、敏感数据模式、Web shell等等。测试人员只需将此存储库拉到新的测试机上,他就可以访问到所需的每种类型的列表。

适用于 Eclipse 的 SAP NetWeaver 服务器适配器

适用于 Eclipse 的 SAP NetWeaver 服务器适配器

将Eclipse与SAP NetWeaver应用服务器集成。

Atom编辑器mac版下载

Atom编辑器mac版下载

最流行的的开源编辑器

SublimeText3汉化版

SublimeText3汉化版

中文版,非常好用

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

功能强大的PHP集成开发环境