北大出品:纹理质量和多视角一致性的最新SOTA,在2分钟内实现1张图的3D转换

雨墨姑娘_6048

雨墨姑娘_6048

2024-01-10

1334人浏览

转载

只需两分钟,玩转图片转3d!

还是高纹理质量、多视角高一致性的那种。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

1张图2分钟转3D!纹理质量、多视角一致性新SOTA|北大出品

不管是什么物种,输入时的单视图图像还是这样婶儿的:

1张图2分钟转3D!纹理质量、多视角一致性新SOTA|北大出品

两分钟后,3D版大功告成:

1张图2分钟转3D!纹理质量、多视角一致性新SOTA|北大出品

△上,Repaint123(NeRF);下,Repaint123(GS)

新方法名为Repaint123,核心思想是将2D扩散模型的强大图像生成能力与再绘策略的纹理对齐能力相结合,来生成高质量、多视角一致的图像。

此外,该研究还引入了针对重叠区域的可见性感知自适应再绘强度的方法。

Repaint123一举解决了此前方法多视角偏差大、纹理退化、生成慢等问题。

1张图2分钟转3D!纹理质量、多视角一致性新SOTA|北大出品

目前项目代码还未在GitHub公布,就有100+人赶来标星码住:

1张图2分钟转3D!纹理质量、多视角一致性新SOTA|北大出品

Repaint123长啥样?

之前,将图像转换为3D的方法通常采用Score Distillation Sampling (SDS)。尽管该方法的结果令人印象深刻,但存在一些问题,如多视角不一致、过度饱和、过度平滑的纹理以及生成速度缓慢。

1张图2分钟转3D!纹理质量、多视角一致性新SOTA|北大出品

△从上至下:输入,Zero123-XL,Magic123,Dream gaussian

为了解决这些问题,来自北京大学、鹏城实验室、新加坡国立大学、武汉大学的研究人员提出了Repaint123。

1张图2分钟转3D!纹理质量、多视角一致性新SOTA|北大出品

总的来说,Repaint123有这几点贡献:

(1)Repaint123通过综合考虑图像到3D生成的可控重绘过程,能够生成高质量的图片序列,并确保这些图片在多个视角下保持一致。

(2)Repaint123提出了一个简单的单视图3D生成的基准方法。

在粗模阶段,它利用Zero123作为3D先验,并结合SDS损失函数,通过优化Gaussian Splatting几何,快速生成粗糙的3D模型(仅需1分钟)。

在细模阶段,它采用Stable Diffusion作为2D先验,并结合均方误差(MSE)损失函数,通过快速细化网格纹理,生成高质量的3D模型(同样只需1分钟)。

(3)大量的实验证明了Repaint123方法的有效性。它能够在短短2分钟内,从单张图像中生成与2D生成质量相匹配的高质量3D内容。

1张图2分钟转3D!纹理质量、多视角一致性新SOTA|北大出品

△实现3D一致且高质量的单视角3D快速生成

下面来看具体方法。

Repaint123专注于优化mesh细化阶段,其主要改进方向涵盖两个方面:生成具有多视角一致性的高质量图像序列以及实现快速而高质量的3D重建。

1、生成具有多视角一致性的高质量图像序列

生成具有多视角一致性的高质量图像序列分为以下三个部分:

1张图2分钟转3D!纹理质量、多视角一致性新SOTA|北大出品

△多视角一致的图像生成流程

DDIM反演

Stable Diffusion
Stable Diffusion

Stable Diffusion AI 绘画助手,精通 SD WebUI、ComfyUI、提示词工程、LoRA 训练

下载

为了保留在粗模阶段生成的3D一致的低频纹理信息,作者采用了DDIM反演将图像反演到确定的潜在空间,为后续的去噪过程奠定基础,生成忠实一致的图像。

可控去噪

为了在去噪阶段控制几何一致性和长程纹理一致性,作者引入了ControlNet,使用粗模渲染的深度图作为几何先验,同时注入参考图的Attention特征进行纹理迁移。

此外,为了执行无分类器引导以提升图像质量,论文使用CLIP将参考图编码为图像提示,用于指导去噪网络。

重绘

渐进式重绘遮挡和重叠部分为了确保图像序列中相邻图像的重叠区域在像素级别对齐,作者采用了渐进式局部重绘的策略。

在保持重叠区域不变的同时,生成和谐一致的相邻区域,并从参考视角逐步延伸到360°。

然而,如下图所示,作者发现重叠区域同样需要进行细化,因为在正视时之前斜视的区域的可视分辨率变大,需要补充更多的高频信息。

另外,细化强度等于1-cosθ*,其中θ*为之前所有相机视角与所视表面法向量夹角θ的最大值,从而自适应地重绘重叠区域。

1张图2分钟转3D!纹理质量、多视角一致性新SOTA|北大出品

△相机视角与细化强度的关系

为了选择适当的细化强度,以在提高质量的同时保证忠实度,作者借鉴了投影定理和图像超分的思想,提出了一种简单而直接的可见性感知的重绘策略来细化重叠区域。

2、快速且高质量的3D重建

正如下图所展示的,作者在进行快速且高质量的3D重建过程中,采用了两阶段方法。

1张图2分钟转3D!纹理质量、多视角一致性新SOTA|北大出品

△Repaint123两阶段单视角3D生成框架

首先,他们利用Gaussian Splatting表示来快速生成合理的几何结构和粗糙的纹理。

同时,借助之前生成的多视角一致的高质量图像序列,作者能够使用简单的均方误差(MSE)损失进行快速的3D纹理重建。

一致性、质量和速度最优

研究人员对多个单视图生成任务的方法进行了比较。

1张图2分钟转3D!纹理质量、多视角一致性新SOTA|北大出品

△单视图3D生成可视化比较

在RealFusion15和Test-alpha数据集上,Repaint123取得了在一致性、质量和速度三个方面最领先的效果。

1张图2分钟转3D!纹理质量、多视角一致性新SOTA|北大出品

同时,作者也对论文使用的每个模块的有效性以及视角转动增量进行了消融实验:

1张图2分钟转3D!纹理质量、多视角一致性新SOTA|北大出品
1张图2分钟转3D!纹理质量、多视角一致性新SOTA|北大出品

并且发现,视角间隔为60度时,性能达到峰值,但视角间隔过大会减少重叠区域,增加多面问题的可能性,所以40度可作为最佳视角间隔。

1张图2分钟转3D!纹理质量、多视角一致性新SOTA|北大出品

论文地址:https://arxiv.org/pdf/2312.13271.pdf
代码地址:https://pku-yuangroup.github.io/repaint123/
项目地址:https://pku-yuangroup.github.io/repaint123/

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

stable diffusion

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
github中文官网入口 github中文版官网网页进入
github中文官网入口 github中文版官网网页进入

github中文官网入口https://docs.github.com/zh/get-started,GitHub 是一种基于云的平台,可在其中存储、共享并与他人一起编写代码。 通过将代码存储在GitHub 上的“存储库”中,你可以: “展示或共享”你的工作。 持续“跟踪和管理”对代码的更改。

2026.01.21

9045

27

GitHub官网入口版本汇总
GitHub官网入口版本汇总

本专题整合了GitHub入口版本地址汇总,阅读专题下面的文章了解更多详细内容。

2026.04.02

1078

19

http与https有哪些区别
http与https有哪些区别

http与https的区别:1、协议安全性;2、连接方式;3、证书管理;4、连接状态;5、端口号;6、资源消耗;7、兼容性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.08.16

5690

6

Navicat创建数据库教程
Navicat创建数据库教程

本专题整理Navicat创建数据库相关教程,介绍新建前的准备、基础设置和创建后的检查方法。内容兼顾入门学习及实际使用需求,帮助用户了解不同数据库类型下的操作差异,为后续建表、保存数据和日常管理提供参考。

2026.11.20

0

7

Navicat入门教程大全
Navicat入门教程大全

本专题整理Navicat入门教程,从认识软件界面到开展数据库操作,介绍初次使用需要了解的知识和方法。内容兼顾连接配置、数据管理及日常使用中的疑问,方便用户按学习进度查阅,为后续实践和独立操作打好基础。

2026.11.20

0

17

Navicat数据库连接配置指南
Navicat数据库连接配置指南

从确认数据库信息到建立可用连接,本专题串联Navicat连接数据库的相关知识和操作方法。既有初次配置时需要了解的基础内容,也有连接后的检查思路,方便用户按实际需求查阅教程,逐步熟悉数据库连接的设置流程。

2026.11.20

0

10

PHP8.6数组与数据处理教程
PHP8.6数组与数据处理教程

本专题汇总PHP8.6数组与数据处理教程,涵盖CSV读取和导出、引用遍历删除、array_filter回调模式、配置键名冲突、pathinfo文件名校验、GMP大整数进制转换及UTF-8正则筛选,说明升级兼容变化、输入范围和失败处理方法。

2026.11.20

0

8

PHP8.6升级迁移教程
PHP8.6升级迁移教程

本专题汇总PHP8.6升级迁移与弃用接口改造教程,涵盖反射调用、对象属性赋值、标识符更名、构造函数与__debugInfo调整,以及插件类名检查、常量导出、ArrayIterator排序、SPL和DTO查询参数转换,帮助梳理弃用提示并完成代码兼容改造。

2026.11.20

0

10

PHP8.6安装配置与FPM运维教程
PHP8.6安装配置与FPM运维教程

本专题汇总PHP8.6正式版安装部署与FPM运维教程,涵盖Linux并存安装、独立ini配置、扩展重新编译、Nginx切换与回滚、FPM状态监控和慢日志排查,以及环境变量、请求超时、OPcache刷新和预加载配置。

2026.11.20

0

10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程