世界模型进入4D时代!单视角视频构建的自由视角4D世界来了

霞舞

霞舞

2024-12-16

989人浏览

原创

极佳科技、北京大学、理想汽车和中国科学院自动化研究所联合推出的recondreamer,实现了自动驾驶场景的自由视角重建与生成。该技术仅需单视角视频输入,即可构建逼真的4d世界模型,显著提升了渲染精度和可靠性,尤其在处理大范围视角变化(例如平移6米)时表现出色。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

图片

AIxiv专栏持续报道全球顶尖实验室的学术技术成果,促进学术交流。欢迎投稿或联系报道 (liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com)。

ReconDreamer突破了现有NeRF和3DGS等技术的局限性,这些技术在处理复杂驾驶操作和大幅视角变化时效果欠佳。ReconDreamer通过训练世界模型减少重建伪影,并采用渐进式修复策略,确保高质量渲染。

图片

技术方法

ReconDreamer的核心在于其世界模型DriveRestorer,该模型用于修复传统重建算法(如Street Gaussians)生成的视频中的伪影和缺陷。通过渐进式数据更新策略,从少量位移渲染开始,逐步扩展到大范围渲染,最终实现高质量重建。下图展示了ReconDreamer的整体框架,以及DriveRestorer的训练过程和渐进式修复策略。

图片图片图片

DriveRestorer修复效果展示:(请参考原文链接中的视频)

渐进式修复策略流程图:

度加AI
度加AI

度加AI官网入口,百度官方 AIGC 创作平台,支持 AI 成片、AI 生文、数字人、声音克隆、配音字幕与智能剪辑等在线创作能力。

下载

图片

实验结果与对比

实验结果表明,ReconDreamer在复杂场景下(例如平移6米)的渲染质量显著优于Street Gaussians和DriveDreamer4D,有效消除了伪影,提升了时空一致性。用户研究也表明,ReconDreamer的渲染效果更受用户青睐(超过95%的投票率)。

图片图片图片

(请参考原文链接中的视频)

团队介绍

极佳科技致力于发展空间智能技术,ReconDreamer是其在该领域的重要成果,为自动驾驶和虚拟现实等领域带来了新的可能性。

希望以上改写后的内容符合您的要求。 由于无法直接访问和显示原文链接中的视频,我只能用文字描述其内容。 请您自行访问原文链接查看视频效果。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

git

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
github中文官网入口 github中文版官网网页进入
github中文官网入口 github中文版官网网页进入

github中文官网入口https://docs.github.com/zh/get-started,GitHub 是一种基于云的平台,可在其中存储、共享并与他人一起编写代码。 通过将代码存储在GitHub 上的“存储库”中,你可以: “展示或共享”你的工作。 持续“跟踪和管理”对代码的更改。

2026.01.21

7595

27

GitHub官网入口版本汇总
GitHub官网入口版本汇总

本专题整合了GitHub入口版本地址汇总,阅读专题下面的文章了解更多详细内容。

2026.04.02

454

19

页面置换算法
页面置换算法

页面置换算法是操作系统中用来决定在内存中哪些页面应该被换出以便为新的页面提供空间的算法。本专题为大家提供页面置换算法的相关文章,大家可以免费体验。

2023.08.14

2443

4

http与https有哪些区别
http与https有哪些区别

http与https的区别:1、协议安全性;2、连接方式;3、证书管理;4、连接状态;5、端口号;6、资源消耗;7、兼容性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.08.16

4621

6

PHP 命令行脚本与自动化任务开发
PHP 命令行脚本与自动化任务开发

本专题系统讲解 PHP 在命令行环境(CLI)下的开发与应用,内容涵盖 PHP CLI 基础、参数解析、文件与目录操作、日志输出、异常处理,以及与 Linux 定时任务(Cron)的结合使用。通过实战示例,帮助开发者掌握使用 PHP 构建 自动化脚本、批处理工具与后台任务程序 的能力。

2025.12.13

300

14

Figma AI自动化智能数据填充与交互生成实战
Figma AI自动化智能数据填充与交互生成实战

告别机械重复,详细演示如何用 AI 填充业务真实数据,并自动为页面添加交互连线,将静态设计稿快速转变为动态原型。

2026.05.13

142

17

墨刀AI提示词教学
墨刀AI提示词教学

本合集由PHP中文网精心整理,为您提供全面的墨刀AI提示词教学。内容涵盖高质量原型撰写公式与实操窍门,助您轻松掌握AI设计工具。无论是零基础入门还是进阶技巧,都能让您快速上手,大幅提升产品设计与协作效率。

2026.08.04

10

21

墨刀AI完整入门
墨刀AI完整入门

PHP中文网为您倾力打造墨刀AI保姆级入门指南完整版!本合集从零基础讲起,涵盖AI生成原型、提示词优化、图片转原型及多轮对话等核心功能。无论您是新手还是进阶用户,都能轻松掌握产品设计全流程。快来PHP中文网,一键解锁高效设计技巧,让想法即刻成型!

2026.08.04

8

20

墨刀AI进阶技巧
墨刀AI进阶技巧

本合集由PHP中文网精心整理,为您提供墨刀AI核心进阶策略指南。内容涵盖高效提示词写作、原型智能生成与微调、结构化导图制作及行业分析报告输出等实战技巧。助您轻松掌握AI设计工具,大幅提升产品设计与团队协作效率。

2026.08.04

10

14

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
vscode手册
vscode手册

共0课时 | 0人学习

Git 教程
Git 教程

共21课时 | 7.4万人学习

Git版本控制工具
Git版本控制工具

共8课时 | 1.7万人学习