搜索
首页科技周边人工智能史上最大重建25km²!NeRF-XL:真正有效利用多卡联合训练!

原标题:NeRF-XL: Scaling NeRFs with Multiple GPUs

论文链接:https://research.nvidia.com/labs/toronto-ai/nerfxl/assets/nerfxl.pdf

项目链接:https://research.nvidia.com/labs/toronto-ai/nerfxl/

作者单位:NVIDIA 加州大学伯克利分校

史上最大重建25km²!NeRF-XL:真正有效利用多卡联合训练!

论文思路:

本文提出了NeRF-XL,这是一种原理性的方法,用于在多个图形处理器(GPUs)之间分配神经射线场(NeRFs),从而使得具有任意大容量的NeRF的训练和渲染成为可能。本文首先回顾了现有的几个GPU方法,这些方法将大型场景分解成多个独立训练的NeRFs [9, 15, 17],并确定了这些方法的几个基本问题,这些问题在使用额外的计算资源(GPUs)进行训练时阻碍了重建质量的提高。NeRF-XL解决了这些问题,并允许通过简单地使用更多的硬件来训练和渲染具有任意数量参数的NeRFs。本文方法的核心是一个新颖的分布式训练和渲染公式,这在数学上等同于经典的单GPU案例,并最小化了GPU之间的通信。通过解锁具有任意大参数数量的NeRFs,本文的方法是第一个揭示NeRFs GPU扩展规律(scaling laws)的方法,显示出随着参数数量的增加而提高的重建质量,以及随着更多的GPU的增加而提高的速度。本文在多种数据集上展示了NeRF-XL的有效性,包括包含约258K张图像、覆盖了25平方公里的城市区域的MatrixCity [5]。

论文设计:

近期在新视角合成的进步极大地提高了我们捕获神经辐射场(NeRFs)的能力,使得这一过程变得更加易于接近。这些进步使得我们能够重建更大的场景和场景内更精细的细节。无论是通过增加空间规模(例如,捕获数公里长的城市景观)还是提高细节水平(例如,扫描田野中的草叶),扩大捕获场景的范围都涉及到将更多的信息量纳入NeRF中,以实现准确的重建。因此,对于信息含量高的场景,重建所需的可训练参数数量可能会超过单个GPU的内存容量。

本文提出了NeRF-XL,这是一个原理性的算法,用于在多个GPU之间高效分配神经渐射场景(NeRFs)。本文的方法通过简单增加硬件资源,使得捕获高信息含量的场景(包括大规模和高细节特征的场景)成为可能。NeRF-XL的核心是在一组不相交的空间区域之间分配NeRF参数,并跨GPU联合训练它们。不同于传统的分布式训练流程在后向传播中同步梯度,本文的方法只需要在前向传播中同步信息。此外,通过仔细渲染方程程和分布式设置中相关的损失项,本文大幅减少了GPU之间所需的数据传输。这种新颖的重写提高了训练和渲染的效率。本文方法的灵活性和可扩展性使得本文能够够够多个GPU高效地优化和使用多个GPU高效性能优化。

本文的工作与最近采用了GPU算法来建模大规模场景的方法形成了对比,这些方法通过训练一组独立立体的NeRFs来实现[9, 15, 17]。虽然这些方法不需要GPU之间的通信,但每个NeRF都需要建模整个空间,包括背景区域。这导致随着GPU数量的增加,模型容量中的冗余度增加。此外,这些方法在渲染时需要混合NeRFs,这会降低视觉质量并在重叠区域引入伪影。因此,与NeRF-XL不同的是,这些方法在训练中使用更多的模型参数(相当于更多的GPU时),未能实现视觉质量的提升。

本文通过一系列多样化的捕获案例来展示本文方法的有效性,包括街道扫描、无人机飞越和以物体为中心的视频。这些案例的范围从小场景(10平方米)到整个城市(25平方公里)。本文的实验表明,随着本文将更多的计算资源分配给优化过程,NeRF-XL开始能够实现改善的视觉质量(通过PSNR测量)和渲染速度。因此,NeRF-XL使得在任何空间规模和细节的场景上训练工具有任意容量的NeRF成为可能。

史上最大重建25km²!NeRF-XL:真正有效利用多卡联合训练!

图 1:本文基于原理的多GPU分布式训练算法能够将NeRFs扩展到任意大的规模。

史上最大重建25km²!NeRF-XL:真正有效利用多卡联合训练!

图 2:独立训练与多GPU联合训练。独立地训练多个NeRFs[9,15,18]要求每个NeRF既要建模焦点区域也要建模其周围环境,这导致了模型容量的冗余。相比之下,本文的联合训练方法使用不重叠的NeRFs,因此没有任何冗余。

史上最大重建25km²!NeRF-XL:真正有效利用多卡联合训练!

图 3:独立训练需要在新视角合成时进行混合。无论是在2D[9, 15]还是3D[18]中进行混合,都会在渲染中引入模糊。

史上最大重建25km²!NeRF-XL:真正有效利用多卡联合训练!

图 4:独立训练导致不同的相机优化。在NeRF中,相机优化可以通过变换不准确的相机本身或所有其他相机以及底层3D场景来实现。因此,伴随相机优化独立训练多个NeRF可能导致相机校正和场景几何的不一致性,这给混合渲染带来了更多困难。

史上最大重建25km²!NeRF-XL:真正有效利用多卡联合训练!

图 5:3D混合可能造成的视觉伪影。左图展示了使用2个GPU训练的MegaNeRF结果。在0%重叠时,由于独立训练,边界出现了伪影;而在15%重叠时,由于3D混合,出现了严重的伪影。右图阐释了这种伪影的成因:虽然每个独立训练的NeRF渲染出正确的颜色,但混合后的NeRF并不保证正确的颜色渲染。

史上最大重建25km²!NeRF-XL:真正有效利用多卡联合训练!

图 6:本文的训练流程。本文的方法联合训练所有GPU上的多个NeRFs,每个NeRF覆盖一个不相交的空间区域。GPU之间的通信仅发生在前向传播中,而不发生在后向传播中(如灰色箭头所示)。(a) 本文可以通过评估每个NeRF以获得样本颜色和密度,然后将这些值广播到所有其他GPU以进行全局体渲染(见第4.2节)。(b) 通过重写体渲染方程,本文可以将数据传输量大幅减少到每条光线一个值,从而提高效率(见第4.3节)。

实验结果:

史上最大重建25km²!NeRF-XL:真正有效利用多卡联合训练!

图 7:定性比较。与先前的工作相比,本文的方法有效地利用多GPU配置,在所有类型的数据上提高了性能。

史上最大重建25km²!NeRF-XL:真正有效利用多卡联合训练!

图 8:定量比较。基于独立训练的先前工作未能随着额外GPU的增加而实现性能提升,而本文的方法随着训练资源的增加,享受到了渲染质量和速度的提升。

史上最大重建25km²!NeRF-XL:真正有效利用多卡联合训练!

图 9:本文方法的可扩展性。更多的GPU允许有更多的可学习参数,这导致了更大的模型容量和更好的质量。

史上最大重建25km²!NeRF-XL:真正有效利用多卡联合训练!

图 10:大规模捕获上的更多渲染结果。本文在更大的捕获数据集上使用更多的GPU测试了本文方法的鲁棒性。请参阅本文的网页,以获取这些数据的视频导览。

史上最大重建25km²!NeRF-XL:真正有效利用多卡联合训练!

图 11:在University4数据集上与PyTorch DDP的比较。PyTorch 分布式数据并行(Distributed Data Parallel,DDP)旨在通过跨GPU分布光线来加快渲染速度。相比之下,本文的方法是跨GPU分布参数,突破了集群中单个GPU的内存限制,并且能够扩大模型容量以获得更好的质量。

史上最大重建25km²!NeRF-XL:真正有效利用多卡联合训练!

图 12:University4上的同步成本。本文基于分区的体渲染(见第4.3节)允许 tile-based 通信,这比原始的基于样本的通信(见第4.2节)成本要低得多,因此能够实现更快的渲染。

总结:

总结来说,本文重新审视了将大规模场景分解为独立训练的NeRFs(神经辐射场)的现有方法,并发现了阻碍额外计算资源(GPUs)有效利用的重大问题,这与利用多GPU设置来提升大规模NeRF性能的核心目标相矛盾。因此,本文引入了NeRF-XL,这是一种原理性的算法,能够有效地利用多GPU设置,并通过联合训练多个非重叠的NeRFs来在任何规模上增强NeRF性能。重要的是,本文的方法不依赖于任何启发式规则,并且在多GPU设置中遵循NeRF的扩展规律(scaling laws),适用于各种类型的数据。

引用:

@misc{li2024nerfxl,title={NeRF-XL: Scaling NeRFs with Multiple GPUs}, author={Ruilong Li and Sanja Fidler and Angjoo Kanazawa and Francis Williams},year={2024},eprint={2404.16221},archivePrefix={arXiv},primaryClass={cs.CV}}

以上是史上最大重建25km²!NeRF-XL:真正有效利用多卡联合训练!的详细内容。更多信息请关注PHP中文网其他相关文章!

声明
本文转载于:51CTO.COM。如有侵权,请联系admin@php.cn删除
从VAE到扩散模型:一文解读以文生图新范式从VAE到扩散模型:一文解读以文生图新范式Apr 08, 2023 pm 08:41 PM

1 前言在发布DALL·E的15个月后,OpenAI在今年春天带了续作DALL·E 2,以其更加惊艳的效果和丰富的可玩性迅速占领了各大AI社区的头条。近年来,随着生成对抗网络(GAN)、变分自编码器(VAE)、扩散模型(Diffusion models)的出现,深度学习已向世人展现其强大的图像生成能力;加上GPT-3、BERT等NLP模型的成功,人类正逐步打破文本和图像的信息界限。在DALL·E 2中,只需输入简单的文本(prompt),它就可以生成多张1024*1024的高清图像。这些图像甚至

普林斯顿陈丹琦:如何让「大模型」变小普林斯顿陈丹琦:如何让「大模型」变小Apr 08, 2023 pm 04:01 PM

“Making large models smaller”这是很多语言模型研究人员的学术追求,针对大模型昂贵的环境和训练成本,陈丹琦在智源大会青源学术年会上做了题为“Making large models smaller”的特邀报告。报告中重点提及了基于记忆增强的TRIME算法和基于粗细粒度联合剪枝和逐层蒸馏的CofiPruning算法。前者能够在不改变模型结构的基础上兼顾语言模型困惑度和检索速度方面的优势;而后者可以在保证下游任务准确度的同时实现更快的处理速度,具有更小的模型结构。陈丹琦 普

找不到中文语音预训练模型?中文版 Wav2vec 2.0和HuBERT来了找不到中文语音预训练模型?中文版 Wav2vec 2.0和HuBERT来了Apr 08, 2023 pm 06:21 PM

Wav2vec 2.0 [1],HuBERT [2] 和 WavLM [3] 等语音预训练模型,通过在多达上万小时的无标注语音数据(如 Libri-light )上的自监督学习,显著提升了自动语音识别(Automatic Speech Recognition, ASR),语音合成(Text-to-speech, TTS)和语音转换(Voice Conversation,VC)等语音下游任务的性能。然而这些模型都没有公开的中文版本,不便于应用在中文语音研究场景。 WenetSpeech [4] 是

解锁CNN和Transformer正确结合方法,字节跳动提出有效的下一代视觉Transformer解锁CNN和Transformer正确结合方法,字节跳动提出有效的下一代视觉TransformerApr 09, 2023 pm 02:01 PM

由于复杂的注意力机制和模型设计,大多数现有的视觉 Transformer(ViT)在现实的工业部署场景中不能像卷积神经网络(CNN)那样高效地执行。这就带来了一个问题:视觉神经网络能否像 CNN 一样快速推断并像 ViT 一样强大?近期一些工作试图设计 CNN-Transformer 混合架构来解决这个问题,但这些工作的整体性能远不能令人满意。基于此,来自字节跳动的研究者提出了一种能在现实工业场景中有效部署的下一代视觉 Transformer——Next-ViT。从延迟 / 准确性权衡的角度看,

Stable Diffusion XL 现已推出—有什么新功能,你知道吗?Stable Diffusion XL 现已推出—有什么新功能,你知道吗?Apr 07, 2023 pm 11:21 PM

3月27号,Stability AI的创始人兼首席执行官Emad Mostaque在一条推文中宣布,Stable Diffusion XL 现已可用于公开测试。以下是一些事项:“XL”不是这个新的AI模型的官方名称。一旦发布稳定性AI公司的官方公告,名称将会更改。与先前版本相比,图像质量有所提高与先前版本相比,图像生成速度大大加快。示例图像让我们看看新旧AI模型在结果上的差异。Prompt: Luxury sports car with aerodynamic curves, shot in a

五年后AI所需算力超100万倍!十二家机构联合发表88页长文:「智能计算」是解药五年后AI所需算力超100万倍!十二家机构联合发表88页长文:「智能计算」是解药Apr 09, 2023 pm 07:01 PM

人工智能就是一个「拼财力」的行业,如果没有高性能计算设备,别说开发基础模型,就连微调模型都做不到。但如果只靠拼硬件,单靠当前计算性能的发展速度,迟早有一天无法满足日益膨胀的需求,所以还需要配套的软件来协调统筹计算能力,这时候就需要用到「智能计算」技术。最近,来自之江实验室、中国工程院、国防科技大学、浙江大学等多达十二个国内外研究机构共同发表了一篇论文,首次对智能计算领域进行了全面的调研,涵盖了理论基础、智能与计算的技术融合、重要应用、挑战和未来前景。论文链接:​https://spj.scien

​什么是Transformer机器学习模型?​什么是Transformer机器学习模型?Apr 08, 2023 pm 06:31 PM

译者 | 李睿审校 | 孙淑娟​近年来, Transformer 机器学习模型已经成为深度学习和深度神经网络技术进步的主要亮点之一。它主要用于自然语言处理中的高级应用。谷歌正在使用它来增强其搜索引擎结果。OpenAI 使用 Transformer 创建了著名的 GPT-2和 GPT-3模型。自从2017年首次亮相以来,Transformer 架构不断发展并扩展到多种不同的变体,从语言任务扩展到其他领域。它们已被用于时间序列预测。它们是 DeepMind 的蛋白质结构预测模型 AlphaFold

AI模型告诉你,为啥巴西最可能在今年夺冠!曾精准预测前两届冠军AI模型告诉你,为啥巴西最可能在今年夺冠!曾精准预测前两届冠军Apr 09, 2023 pm 01:51 PM

说起2010年南非世界杯的最大网红,一定非「章鱼保罗」莫属!这只位于德国海洋生物中心的神奇章鱼,不仅成功预测了德国队全部七场比赛的结果,还顺利地选出了最终的总冠军西班牙队。不幸的是,保罗已经永远地离开了我们,但它的「遗产」却在人们预测足球比赛结果的尝试中持续存在。在艾伦图灵研究所(The Alan Turing Institute),随着2022年卡塔尔世界杯的持续进行,三位研究员Nick Barlow、Jack Roberts和Ryan Chan决定用一种AI算法预测今年的冠军归属。预测模型图

See all articles

热AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover

AI Clothes Remover

用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool

Undress AI Tool

免费脱衣服图片

Clothoff.io

Clothoff.io

AI脱衣机

AI Hentai Generator

AI Hentai Generator

免费生成ai无尽的。

热门文章

R.E.P.O.能量晶体解释及其做什么(黄色晶体)
2 周前By尊渡假赌尊渡假赌尊渡假赌
仓库:如何复兴队友
4 周前By尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒险:如何获得巨型种子
4 周前By尊渡假赌尊渡假赌尊渡假赌

热工具

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )专业的PHP集成开发工具

Dreamweaver Mac版

Dreamweaver Mac版

视觉化网页开发工具

SecLists

SecLists

SecLists是最终安全测试人员的伙伴。它是一个包含各种类型列表的集合,这些列表在安全评估过程中经常使用,都在一个地方。SecLists通过方便地提供安全测试人员可能需要的所有列表,帮助提高安全测试的效率和生产力。列表类型包括用户名、密码、URL、模糊测试有效载荷、敏感数据模式、Web shell等等。测试人员只需将此存储库拉到新的测试机上,他就可以访问到所需的每种类型的列表。

DVWA

DVWA

Damn Vulnerable Web App (DVWA) 是一个PHP/MySQL的Web应用程序,非常容易受到攻击。它的主要目标是成为安全专业人员在合法环境中测试自己的技能和工具的辅助工具,帮助Web开发人员更好地理解保护Web应用程序的过程,并帮助教师/学生在课堂环境中教授/学习Web应用程序安全。DVWA的目标是通过简单直接的界面练习一些最常见的Web漏洞,难度各不相同。请注意,该软件中

MinGW - 适用于 Windows 的极简 GNU

MinGW - 适用于 Windows 的极简 GNU

这个项目正在迁移到osdn.net/projects/mingw的过程中,你可以继续在那里关注我们。MinGW:GNU编译器集合(GCC)的本地Windows移植版本,可自由分发的导入库和用于构建本地Windows应用程序的头文件;包括对MSVC运行时的扩展,以支持C99功能。MinGW的所有软件都可以在64位Windows平台上运行。