搜索
首页科技周边人工智能北大出品:纹理质量和多视角一致性的最新SOTA,在2分钟内实现1张图的3D转换

只需两分钟,玩转图片转3D!

还是高纹理质量、多视角高一致性的那种。

北大出品:纹理质量和多视角一致性的最新SOTA,在2分钟内实现1张图的3D转换

不管是什么物种,输入时的单视图图像还是这样婶儿的:

北大出品:纹理质量和多视角一致性的最新SOTA,在2分钟内实现1张图的3D转换

两分钟后,3D版大功告成:

北大出品:纹理质量和多视角一致性的最新SOTA,在2分钟内实现1张图的3D转换

△上,Repaint123(NeRF);下,Repaint123(GS

新方法名为Repaint123,核心思想是将2D扩散模型的强大图像生成能力与再绘策略的纹理对齐能力相结合,来生成高质量、多视角一致的图像。

此外,该研究还引入了针对重叠区域的可见性感知自适应再绘强度的方法。

Repaint123一举解决了此前方法多视角偏差大、纹理退化、生成慢等问题。

北大出品:纹理质量和多视角一致性的最新SOTA,在2分钟内实现1张图的3D转换

目前项目代码还未在GitHub公布,就有100+人赶来标星码住:

北大出品:纹理质量和多视角一致性的最新SOTA,在2分钟内实现1张图的3D转换

Repaint123长啥样?

之前,将图像转换为3D的方法通常采用Score Distillation Sampling (SDS)。尽管该方法的结果令人印象深刻,但存在一些问题,如多视角不一致、过度饱和、过度平滑的纹理以及生成速度缓慢。

北大出品:纹理质量和多视角一致性的最新SOTA,在2分钟内实现1张图的3D转换

△从上至下:输入,Zero123-XL,Magic123,Dream gaussian

为了解决这些问题,来自北京大学、鹏城实验室、新加坡国立大学、武汉大学的研究人员提出了Repaint123。

北大出品:纹理质量和多视角一致性的最新SOTA,在2分钟内实现1张图的3D转换

总的来说,Repaint123有这几点贡献:

(1)Repaint123通过综合考虑图像到3D生成的可控重绘过程,能够生成高质量的图片序列,并确保这些图片在多个视角下保持一致。

(2)Repaint123提出了一个简单的单视图3D生成的基准方法。

在粗模阶段,它利用Zero123作为3D先验,并结合SDS损失函数,通过优化Gaussian Splatting几何,快速生成粗糙的3D模型(仅需1分钟)。

在细模阶段,它采用Stable Diffusion作为2D先验,并结合均方误差(MSE)损失函数,通过快速细化网格纹理,生成高质量的3D模型(同样只需1分钟)。

(3)大量的实验证明了Repaint123方法的有效性。它能够在短短2分钟内,从单张图像中生成与2D生成质量相匹配的高质量3D内容。

北大出品:纹理质量和多视角一致性的最新SOTA,在2分钟内实现1张图的3D转换

△实现3D一致且高质量的单视角3D快速生成

下面来看具体方法。

Repaint123专注于优化mesh细化阶段,其主要改进方向涵盖两个方面:生成具有多视角一致性的高质量图像序列以及实现快速而高质量的3D重建。

1、生成具有多视角一致性的高质量图像序列

生成具有多视角一致性的高质量图像序列分为以下三个部分:

北大出品:纹理质量和多视角一致性的最新SOTA,在2分钟内实现1张图的3D转换

△多视角一致的图像生成流程

DDIM反演

为了保留在粗模阶段生成的3D一致的低频纹理信息,作者采用了DDIM反演将图像反演到确定的潜在空间,为后续的去噪过程奠定基础,生成忠实一致的图像。

可控去噪

为了在去噪阶段控制几何一致性和长程纹理一致性,作者引入了ControlNet,使用粗模渲染的深度图作为几何先验,同时注入参考图的Attention特征进行纹理迁移。

此外,为了执行无分类器引导以提升图像质量,论文使用CLIP将参考图编码为图像提示,用于指导去噪网络。

重绘

渐进式重绘遮挡和重叠部分为了确保图像序列中相邻图像的重叠区域在像素级别对齐,作者采用了渐进式局部重绘的策略。

在保持重叠区域不变的同时,生成和谐一致的相邻区域,并从参考视角逐步延伸到360°。

然而,如下图所示,作者发现重叠区域同样需要进行细化,因为在正视时之前斜视的区域的可视分辨率变大,需要补充更多的高频信息。

另外,细化强度等于1-cosθ*,其中θ*为之前所有相机视角与所视表面法向量夹角θ的最大值,从而自适应地重绘重叠区域。

北大出品:纹理质量和多视角一致性的最新SOTA,在2分钟内实现1张图的3D转换

△相机视角与细化强度的关系

为了选择适当的细化强度,以在提高质量的同时保证忠实度,作者借鉴了投影定理和图像超分的思想,提出了一种简单而直接的可见性感知的重绘策略来细化重叠区域。

2、快速且高质量的3D重建

正如下图所展示的,作者在进行快速且高质量的3D重建过程中,采用了两阶段方法。

北大出品:纹理质量和多视角一致性的最新SOTA,在2分钟内实现1张图的3D转换

△Repaint123两阶段单视角3D生成框架

首先,他们利用Gaussian Splatting表示来快速生成合理的几何结构和粗糙的纹理。

同时,借助之前生成的多视角一致的高质量图像序列,作者能够使用简单的均方误差(MSE)损失进行快速的3D纹理重建。

一致性、质量和速度最优

研究人员对多个单视图生成任务的方法进行了比较。

北大出品:纹理质量和多视角一致性的最新SOTA,在2分钟内实现1张图的3D转换

△单视图3D生成可视化比较

在RealFusion15和Test-alpha数据集上,Repaint123取得了在一致性、质量和速度三个方面最领先的效果。

北大出品:纹理质量和多视角一致性的最新SOTA,在2分钟内实现1张图的3D转换

同时,作者也对论文使用的每个模块的有效性以及视角转动增量进行了消融实验:

北大出品:纹理质量和多视角一致性的最新SOTA,在2分钟内实现1张图的3D转换
北大出品:纹理质量和多视角一致性的最新SOTA,在2分钟内实现1张图的3D转换

并且发现,视角间隔为60度时,性能达到峰值,但视角间隔过大会减少重叠区域,增加多面问题的可能性,所以40度可作为最佳视角间隔。

北大出品:纹理质量和多视角一致性的最新SOTA,在2分钟内实现1张图的3D转换

论文地址:https://arxiv.org/pdf/2312.13271.pdf
代码地址:https://pku-yuangroup.github.io/repaint123/
项目地址:https://pku-yuangroup.github.io/repaint123/

以上是北大出品:纹理质量和多视角一致性的最新SOTA,在2分钟内实现1张图的3D转换的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:51CTO.COM。如有侵权,请联系admin@php.cn删除
烹饪创新:人工智能如何改变食品服务烹饪创新:人工智能如何改变食品服务Apr 12, 2025 pm 12:09 PM

AI增强食物准备 在新生的使用中,AI系统越来越多地用于食品制备中。 AI驱动的机器人在厨房中用于自动化食物准备任务,例如翻转汉堡,制作披萨或组装SA

Python名称空间和可变范围的综合指南Python名称空间和可变范围的综合指南Apr 12, 2025 pm 12:00 PM

介绍 了解Python功能中变量的名称空间,范围和行为对于有效编写和避免运行时错误或异常至关重要。在本文中,我们将研究各种ASP

视觉语言模型(VLMS)的综合指南视觉语言模型(VLMS)的综合指南Apr 12, 2025 am 11:58 AM

介绍 想象一下,穿过​​美术馆,周围是生动的绘画和雕塑。现在,如果您可以向每一部分提出一个问题并获得有意义的答案,该怎么办?您可能会问:“您在讲什么故事?

联发科技与kompanio Ultra和Dimenty 9400增强优质阵容联发科技与kompanio Ultra和Dimenty 9400增强优质阵容Apr 12, 2025 am 11:52 AM

继续使用产品节奏,本月,Mediatek发表了一系列公告,包括新的Kompanio Ultra和Dimenty 9400。这些产品填补了Mediatek业务中更传统的部分,其中包括智能手机的芯片

本周在AI:沃尔玛在时尚趋势之前设定了时尚趋势本周在AI:沃尔玛在时尚趋势之前设定了时尚趋势Apr 12, 2025 am 11:51 AM

#1 Google推出了Agent2Agent 故事:现在是星期一早上。作为AI驱动的招聘人员,您更聪明,而不是更努力。您在手机上登录公司的仪表板。它告诉您三个关键角色已被采购,审查和计划的FO

生成的AI遇到心理摩托车生成的AI遇到心理摩托车Apr 12, 2025 am 11:50 AM

我猜你一定是。 我们似乎都知道,心理障碍包括各种chat不休,这些chat不休,这些chat不休,混合了各种心理术语,并且常常是难以理解的或完全荒谬的。您需要做的一切才能喷出fo

原型:科学家将纸变成塑料原型:科学家将纸变成塑料Apr 12, 2025 am 11:49 AM

根据本周发表的一项新研究,只有在2022年制造的塑料中,只有9.5%的塑料是由回收材料制成的。同时,塑料在垃圾填埋场和生态系统中继续堆积。 但是有帮助。一支恩金团队

AI分析师的崛起:为什么这可能是AI革命中最重要的工作AI分析师的崛起:为什么这可能是AI革命中最重要的工作Apr 12, 2025 am 11:41 AM

我最近与领先的企业分析平台Alteryx首席执行官安迪·麦克米伦(Andy Macmillan)的对话强调了这一在AI革命中的关键但不足的作用。正如Macmillan所解释的那样,原始业务数据与AI-Ready Informat之间的差距

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
3 周前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳图形设置
3 周前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您听不到任何人,如何修复音频
3 周前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解锁Myrise中的所有内容
4 周前By尊渡假赌尊渡假赌尊渡假赌

热工具

Atom编辑器mac版下载

Atom编辑器mac版下载

最流行的的开源编辑器

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

功能强大的PHP集成开发环境

DVWA

DVWA

Damn Vulnerable Web App (DVWA) 是一个PHP/MySQL的Web应用程序,非常容易受到攻击。它的主要目标是成为安全专业人员在合法环境中测试自己的技能和工具的辅助工具,帮助Web开发人员更好地理解保护Web应用程序的过程,并帮助教师/学生在课堂环境中教授/学习Web应用程序安全。DVWA的目标是通过简单直接的界面练习一些最常见的Web漏洞,难度各不相同。请注意,该软件中

WebStorm Mac版

WebStorm Mac版

好用的JavaScript开发工具

安全考试浏览器

安全考试浏览器

Safe Exam Browser是一个安全的浏览器环境,用于安全地进行在线考试。该软件将任何计算机变成一个安全的工作站。它控制对任何实用工具的访问,并防止学生使用未经授权的资源。