不会PS没关系,AI拼图技术已能以假乱真

千磊酱_4998

千磊酱_4998

2023-04-04

1566人浏览

转载

话说这两年,“文字生成图像的扩散模型”着实大火了一把,dall·e 2和imagen都是基于此开发出来的应用。

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

这是一份看似平平无奇的日式便当。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

图片

但你敢信,其实每一格食物都是P上去的,而且原图还是酱婶儿的:

图片

△直接抠图贴上去,效果一眼假

背后操作者并不是什么PS大佬,而是一只AI,名字很直白:拼图扩散(Collage Diffusion)。

随便找几张小图拿给它,AI就能自己看懂图片内容,再把各元素非常自然地拼成一张大图——完全不存在一眼假。

其效果惊艳了不少网友。

甚至还有PS爱好者直呼道:

这简直是个天赐之物……希望很快能在Automatic1111( Stable Diffusion用户常用的网络UI,也有集成在PS中的插件版)中看到它。

图片

为什么效果这么自然?

实际上,此AI生成的“日式便当”还有好几个生成版本——都很自然有木有。

图片

至于为啥还有多种版本?问就是因为用户还能自定义,在总体不变得太离谱的前提下,他们可以微调各种细节。

除了“日式便当”,它还有不少出色的作品。

比如,这是拿给AI的素材,P图痕迹明显:

图片

这是AI拼好的图,反正我愣是没看出什么P图痕迹:

图片

话说这两年,“文字生成图像的扩散模型”着实大火了一把,DALL·E 2和Imagen都是基于此开发出来的应用。这种扩散模型的优点,是生成图片多样化、质量较高。

不过,文字终究对于目标图像,最多只能起到模糊的规范作用,所以用户通常要花大量时间调整提示(prompt),还得搭配上额外的控制组件,才可以取得不错的效果。

就拿前文展示的日式便当来说:

如果用户只输入“一个装有米饭、毛豆、生姜和寿司的便当盒”,那就既没描述哪种食物放到哪一格,也没有说明每种食物的外观。但如果非要讲清楚的话,用户恐怕得写一篇小作文了……

鉴于此,斯坦福团队决定从别的角度出发。

他们决定参考传统思路,通过拼图来生成最终图像,并由此开发出了一种新的扩散模型。

Stable Diffusion
Stable Diffusion

Stable Diffusion AI 绘画助手,精通 SD WebUI、ComfyUI、提示词工程、LoRA 训练

下载

有意思的是,说白了,这种模型也算是用经典技术“拼”出来的。

首先是分层:使用基于图层的图像编辑UI,将源图像分解成一个个RGBA图层(R、G、B分别代表红、绿、蓝,A代表透明度),然后将这些图层排列在画布上,并把每个图层和文字提示配对。

通过分层,可以修改图像中的各种元素。

到目前为止,分层已经是计算机图形领域中一项成熟的技术,不过此前分层信息一般是作为单张图片输出结果使用的。

而在这种新型“拼图扩散模型”中,分层信息成了后续操作的输入。

图片

除了分层,还搭配了现有的基于扩散的图像协调技术,提升图像视觉质量。

总而言之,该算法不仅限制了对象的某些属性(如视觉特征)的变化,同时允许属性(方向、光照、透视、遮挡)发生改变。

——从而平衡了还原度和自然度之间的关系,生成“神似”且毫无违和感的图片。

操作过程也很easy,在交互编辑模式下,用户在几分钟内就能创作一幅拼贴画。

他们不仅可以自定义场景中的空间排列顺序(就是把从别处扣出来的图放到适当的位置);还能调整生成图像的各个组件。用同样的源图,可以得出不同的效果。

图片

△最右列是这个AI的输出结果

而在非交互式模式下(即用户不拼图,直接把一堆小图丢给AI),AI也能根据拿到的小图,自动拼出一张效果自然的大图。

研究团队

最后,来说说背后的研究团队,他们是斯坦福大学计算机科学系的一群师生。

图片

论文一作,Vishnu Sarukkai现为斯坦福计算机科学系研究生,还是硕博连读的那种。

图片

他的主要研究方向为:计算机图形学、计算机视觉和机器学习。

此外,论文的共同作者Linden Li,也是斯坦福计算机科学系研究生。

图片

在校求学期间,他曾到英伟达实习4个月,与英伟达深度学习研究小组合作,参与训练了增加100M+参数的视觉转换器模型。

论文地址:https://arxiv.org/abs/2303.00262

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

stable diffusion

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
堆和栈的区别
堆和栈的区别

堆和栈的区别:1、内存分配方式不同;2、大小不同;3、数据访问方式不同;4、数据的生命周期。本专题为大家提供堆和栈的区别的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.18

7127

5

堆和栈区别
堆和栈区别

堆(Heap)和栈(Stack)是计算机中两种常见的内存分配机制。它们在内存管理的方式、分配方式以及使用场景上有很大的区别。本文将详细介绍堆和栈的特点、区别以及各自的使用场景。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2023.08.10

2928

6

页面置换算法
页面置换算法

页面置换算法是操作系统中用来决定在内存中哪些页面应该被换出以便为新的页面提供空间的算法。本专题为大家提供页面置换算法的相关文章,大家可以免费体验。

2023.08.14

7236

4

http与https有哪些区别
http与https有哪些区别

http与https的区别:1、协议安全性;2、连接方式;3、证书管理;4、连接状态;5、端口号;6、资源消耗;7、兼容性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.08.16

5630

6

海螺AI提示词大全
海螺AI提示词大全

精选海螺AI进阶隐藏玩法与高效提示词(Prompt)公式。手把手教你如何用海螺AI撰写自媒体爆款文案、网络小说续写、脚本创作,以及利用AI工具落地副业的实战案例。

2026.06.02

233

19

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

2026.11.12

140

15

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.12

100

15

Go-Zero零基础入门教程
Go-Zero零基础入门教程

本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。

2026.11.12

60

15

Postman身份认证怎么配置
Postman身份认证怎么配置

本专题从实际API接口调试场景出发,讲解Postman身份认证的完整配置流程,包括常见认证协议介绍、授权参数设置、访问令牌填写、OAuth 2.0授权及认证失败排查,帮助用户正确完成接口授权与访问验证。

2026.11.06

160

12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程