搜尋
首頁科技週邊人工智慧Stable Video 3D震撼登場:單圖生成無死角3D影片、模型權重開放

Stability AI 的大模型家族来了一位新成员。

昨日,Stability AI 继推出文生图 Stable Diffusion、文生视频 Stable Video Diffusion 之后,又为社区带来了 3D 视频生成大模型「Stable Video 3D」(简称 SV3D)。

该模型是基于 Stable Video Diffusion 构建的,其主要优势在于显著提升了3D生成的质量和多视角一致性。相较于之前的Stability AI推出的Stable Zero123以及联合开源的Zero123-XL,该模型的效果更为出色。

目前,Stable Video 3D 既支持商用,需要加入 Stability AI 会员(Membership);也支持非商用,用户在 Hugging Face 上下载模型权重即可。

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

Stability AI 提供了两个模型变体,分别是 SV3D_u 和 SV3D_p。SV3D_u 基于单个图像输入,无需进行相机调整即可生成轨道视频;而 SV3D_p 则进一步扩展了生成能力,通过适配单个图像和轨道视角,允许用户沿指定的相机路径创建 3D 视频。

目前,Stable Video 3D 的研究论文已经放出,核心作者有三位。

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放


  • 论文地址:https://stability.ai/s/SV3D_report.pdf
  • 博客地址:https://stability.ai/news/introducing-stable-video-3d
  • Huggingface 地址:https://huggingface.co/stabilityai/sv3d

技术概览

Stable Video 3D 在 3D 生成领域实现重大进步,尤其是在新颖视图生成(novel view synthesis,NVS)方面。

以往的方法通常倾向于解决有限视角和输入不一致的问题,而 Stable Video 3D 能够从任何给定角度提供连贯视图,并能够很好地泛化。因此,该模型不仅增加了姿势可控性,还能确保多个视图中对象外观的一致性,进一步改进了影响真实和准确 3D 生成的关键问题。

如下图所示,与 Stable Zero123、Zero-XL 相比,Stable Video 3D 能够生成细节更强、更忠实于输入图像和多视角更一致的新颖多视图。

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

此外,Stable Video 3D 利用其多视角一致性来优化 3D 神经辐射场(Neural Radiance Fields,NeRF),以提高直接从新视图生成 3D 网格的质量。

為此,Stability AI 設計了遮罩分數蒸餾取樣損失,進一步增強了預測視圖中未見過區域的 3D 品質。同時為了減輕烘焙照明問題,Stable Video 3D 採用了與 3D 形狀和紋理共同優化的解耦照明模型。

下圖為使用 Stable Video 3D 模型及其輸出時,透過 3D 最佳化改進後的 3D 網格產生範例。

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

下圖為使用 Stable Video 3D 產生的 3D 網格結果與 EscherNet、Stable Zero123 的產生結果比較。

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

#架構細節

#Stable Video 3D 模型的架構如下圖2所示,它是基於Stable Video Diffusion 架構建構而成,包含一個具有多個層的UNet,其中每一層又包含一個帶有Conv3D 層的殘差塊序列,以及兩個帶有註意力層(空間和時間)的transformer 區塊。

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

具體流程如下所示:

(i) 刪除「fps id」和「motion bucket id」的向量條件,原因是它們與Stable Video 3D 無關;

(ii) 條件圖像透過Stable Video Diffusion 的VAE 編碼器嵌入到潛在空間,然後在通往UNet 的雜訊時間步t 處連接到雜訊潛在狀態輸入zt;

(iii) 條件影像的CLIPembedding 矩陣被提供給每個transformer 區塊的交叉注意力層來充當鍵和值,而查詢成為對應層的特徵;

(iv) 相機軌跡沿著擴散雜訊時間步被饋入到殘差區塊中。相機姿勢角度ei 和ai 以及噪聲時間步t 首先被嵌入到正弦位置嵌入中,然後將相機姿勢嵌入連接在一起進行線性變換並添加到噪聲時間步嵌入中,最後被饋入到每個殘差塊並被加入到該區塊的輸入特徵中。

此外,Stability AI 設計了靜態軌道和動態軌道來研究相機姿勢調整的影響,如下圖 3 所示。

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

在靜態軌道上,相機採用與條件影像相同的仰角,以等距方位角圍繞物件旋轉。這樣做的缺點是基於調整的仰角,可能無法獲得關於物件頂部或底部的任何資訊。而在動態軌道上,方位角可以不等距,每個視圖的仰角也可以不同。

為了建立動態軌道,Stability AI 對靜態軌道取樣,向方位角添加小的隨機噪聲,並向其仰角添加不同頻率的正弦曲線的隨機加權組合。這樣做提供了時間平滑性,並確保相機軌跡沿著與條件影像相同的方位角和仰角循環結束。

實驗結果

Stability AI 在未見過的GSO 和OmniObject3D 資料集上,評估了靜態和動態軌道上的Stable Video 3D 合成多視圖效果。結果如下表 1 至表 4 所示,Stable Video 3D 在新穎多視圖合成方面實現了 SOTA 效果。

表1 和表3 顯示了Stable Video 3D 與其他模型在靜態軌道的結果,顯示了即使是無姿勢調整的模型SV3D_u,也比所有先前的方法表現得更好。

消融分析結果表明,SV3D_c 和 SV3D_p 在靜態軌道的生成方面優於 SV3D_u,儘管後者專門在靜態軌道上進行了訓練。

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

下表2 和表4 展示了動態軌道的產生結果,包括姿勢調整模型SV3D_c 和SV3D_p,後者在所有指標上實現了SOTA。

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

下圖6 中的視覺比較結果進一步表明,與以往工作相比,Stable Video 3D產生的影像細節更強、更忠於條件影像、多視角更加一致。

Stable Video 3D震撼登场:单图生成无死角3D视频、模型权重开放

更多技術細節和實驗結果請參考原始論文。

以上是Stable Video 3D震撼登場:單圖生成無死角3D影片、模型權重開放的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
解读CRISP-ML(Q):机器学习生命周期流程解读CRISP-ML(Q):机器学习生命周期流程Apr 08, 2023 pm 01:21 PM

译者 | 布加迪审校 | 孙淑娟目前,没有用于构建和管理机器学习(ML)应用程序的标准实践。机器学习项目组织得不好,缺乏可重复性,而且从长远来看容易彻底失败。因此,我们需要一套流程来帮助自己在整个机器学习生命周期中保持质量、可持续性、稳健性和成本管理。图1. 机器学习开发生命周期流程使用质量保证方法开发机器学习应用程序的跨行业标准流程(CRISP-ML(Q))是CRISP-DM的升级版,以确保机器学习产品的质量。CRISP-ML(Q)有六个单独的阶段:1. 业务和数据理解2. 数据准备3. 模型

人工智能的环境成本和承诺人工智能的环境成本和承诺Apr 08, 2023 pm 04:31 PM

人工智能(AI)在流行文化和政治分析中经常以两种极端的形式出现。它要么代表着人类智慧与科技实力相结合的未来主义乌托邦的关键,要么是迈向反乌托邦式机器崛起的第一步。学者、企业家、甚至活动家在应用人工智能应对气候变化时都采用了同样的二元思维。科技行业对人工智能在创建一个新的技术乌托邦中所扮演的角色的单一关注,掩盖了人工智能可能加剧环境退化的方式,通常是直接伤害边缘人群的方式。为了在应对气候变化的过程中充分利用人工智能技术,同时承认其大量消耗能源,引领人工智能潮流的科技公司需要探索人工智能对环境影响的

找不到中文语音预训练模型?中文版 Wav2vec 2.0和HuBERT来了找不到中文语音预训练模型?中文版 Wav2vec 2.0和HuBERT来了Apr 08, 2023 pm 06:21 PM

Wav2vec 2.0 [1],HuBERT [2] 和 WavLM [3] 等语音预训练模型,通过在多达上万小时的无标注语音数据(如 Libri-light )上的自监督学习,显著提升了自动语音识别(Automatic Speech Recognition, ASR),语音合成(Text-to-speech, TTS)和语音转换(Voice Conversation,VC)等语音下游任务的性能。然而这些模型都没有公开的中文版本,不便于应用在中文语音研究场景。 WenetSpeech [4] 是

条形统计图用什么呈现数据条形统计图用什么呈现数据Jan 20, 2021 pm 03:31 PM

条形统计图用“直条”呈现数据。条形统计图是用一个单位长度表示一定的数量,根据数量的多少画成长短不同的直条,然后把这些直条按一定的顺序排列起来;从条形统计图中很容易看出各种数量的多少。条形统计图分为:单式条形统计图和复式条形统计图,前者只表示1个项目的数据,后者可以同时表示多个项目的数据。

自动驾驶车道线检测分类的虚拟-真实域适应方法自动驾驶车道线检测分类的虚拟-真实域适应方法Apr 08, 2023 pm 02:31 PM

arXiv论文“Sim-to-Real Domain Adaptation for Lane Detection and Classification in Autonomous Driving“,2022年5月,加拿大滑铁卢大学的工作。虽然自主驾驶的监督检测和分类框架需要大型标注数据集,但光照真实模拟环境生成的合成数据推动的无监督域适应(UDA,Unsupervised Domain Adaptation)方法则是低成本、耗时更少的解决方案。本文提出对抗性鉴别和生成(adversarial d

数据通信中的信道传输速率单位是bps,它表示什么数据通信中的信道传输速率单位是bps,它表示什么Jan 18, 2021 pm 02:58 PM

数据通信中的信道传输速率单位是bps,它表示“位/秒”或“比特/秒”,即数据传输速率在数值上等于每秒钟传输构成数据代码的二进制比特数,也称“比特率”。比特率表示单位时间内传送比特的数目,用于衡量数字信息的传送速度;根据每帧图像存储时所占的比特数和传输比特率,可以计算数字图像信息传输的速度。

数据分析方法有哪几种数据分析方法有哪几种Dec 15, 2020 am 09:48 AM

数据分析方法有4种,分别是:1、趋势分析,趋势分析一般用于核心指标的长期跟踪;2、象限分析,可依据数据的不同,将各个比较主体划分到四个象限中;3、对比分析,分为横向对比和纵向对比;4、交叉分析,主要作用就是从多个维度细分数据。

聊一聊Python 实现数据的序列化操作聊一聊Python 实现数据的序列化操作Apr 12, 2023 am 09:31 AM

​在日常开发中,对数据进行序列化和反序列化是常见的数据操作,Python提供了两个模块方便开发者实现数据的序列化操作,即 json 模块和 pickle 模块。这两个模块主要区别如下:json 是一个文本序列化格式,而 pickle 是一个二进制序列化格式;json 是我们可以直观阅读的,而 pickle 不可以;json 是可互操作的,在 Python 系统之外广泛使用,而 pickle 则是 Python 专用的;默认情况下,json 只能表示 Python 内置类型的子集,不能表示自定义的

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
2 週前By尊渡假赌尊渡假赌尊渡假赌
倉庫:如何復興隊友
1 個月前By尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒險:如何獲得巨型種子
4 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

Dreamweaver Mac版

Dreamweaver Mac版

視覺化網頁開發工具

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

SublimeText3 英文版

SublimeText3 英文版

推薦:為Win版本,支援程式碼提示!

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強大的PHP整合開發環境