Stability AI 的大模型家族来了一位新成员。
昨日,Stability AI 继推出文生图 Stable Diffusion、文生视频 Stable Video Diffusion 之后,又为社区带来了 3D 视频生成大模型「Stable Video 3D」(简称 SV3D)。
该模型是基于 Stable Video Diffusion 构建的,其主要优势在于显著提升了3D生成的质量和多视角一致性。相较于之前的Stability AI推出的Stable Zero123以及联合开源的Zero123-XL,该模型的效果更为出色。
目前,Stable Video 3D 既支持商用,需要加入 Stability AI 会员(Membership);也支持非商用,用户在 Hugging Face 上下载模型权重即可。
Stability AI 提供了两个模型变体,分别是 SV3D_u 和 SV3D_p。SV3D_u 基于单个图像输入,无需进行相机调整即可生成轨道视频;而 SV3D_p 则进一步扩展了生成能力,通过适配单个图像和轨道视角,允许用户沿指定的相机路径创建 3D 视频。
目前,Stable Video 3D 的研究论文已经放出,核心作者有三位。
- 论文地址:https://stability.ai/s/SV3D_report.pdf
- 博客地址:https://stability.ai/news/introducing-stable-video-3d
- Huggingface 地址:https://huggingface.co/stabilityai/sv3d
技术概览
Stable Video 3D 在 3D 生成领域实现重大进步,尤其是在新颖视图生成(novel view synthesis,NVS)方面。
以往的方法通常倾向于解决有限视角和输入不一致的问题,而 Stable Video 3D 能够从任何给定角度提供连贯视图,并能够很好地泛化。因此,该模型不仅增加了姿势可控性,还能确保多个视图中对象外观的一致性,进一步改进了影响真实和准确 3D 生成的关键问题。
如下图所示,与 Stable Zero123、Zero-XL 相比,Stable Video 3D 能够生成细节更强、更忠实于输入图像和多视角更一致的新颖多视图。
此外,Stable Video 3D 利用其多视角一致性来优化 3D 神经辐射场(Neural Radiance Fields,NeRF),以提高直接从新视图生成 3D 网格的质量。
為此,Stability AI 設計了遮罩分數蒸餾取樣損失,進一步增強了預測視圖中未見過區域的 3D 品質。同時為了減輕烘焙照明問題,Stable Video 3D 採用了與 3D 形狀和紋理共同優化的解耦照明模型。
下圖為使用 Stable Video 3D 模型及其輸出時,透過 3D 最佳化改進後的 3D 網格產生範例。
下圖為使用 Stable Video 3D 產生的 3D 網格結果與 EscherNet、Stable Zero123 的產生結果比較。
#架構細節
#Stable Video 3D 模型的架構如下圖2所示,它是基於Stable Video Diffusion 架構建構而成,包含一個具有多個層的UNet,其中每一層又包含一個帶有Conv3D 層的殘差塊序列,以及兩個帶有註意力層(空間和時間)的transformer 區塊。
具體流程如下所示:
(i) 刪除「fps id」和「motion bucket id」的向量條件,原因是它們與Stable Video 3D 無關;
(ii) 條件圖像透過Stable Video Diffusion 的VAE 編碼器嵌入到潛在空間,然後在通往UNet 的雜訊時間步t 處連接到雜訊潛在狀態輸入zt;
(iii) 條件影像的CLIPembedding 矩陣被提供給每個transformer 區塊的交叉注意力層來充當鍵和值,而查詢成為對應層的特徵;
(iv) 相機軌跡沿著擴散雜訊時間步被饋入到殘差區塊中。相機姿勢角度ei 和ai 以及噪聲時間步t 首先被嵌入到正弦位置嵌入中,然後將相機姿勢嵌入連接在一起進行線性變換並添加到噪聲時間步嵌入中,最後被饋入到每個殘差塊並被加入到該區塊的輸入特徵中。
此外,Stability AI 設計了靜態軌道和動態軌道來研究相機姿勢調整的影響,如下圖 3 所示。
在靜態軌道上,相機採用與條件影像相同的仰角,以等距方位角圍繞物件旋轉。這樣做的缺點是基於調整的仰角,可能無法獲得關於物件頂部或底部的任何資訊。而在動態軌道上,方位角可以不等距,每個視圖的仰角也可以不同。
為了建立動態軌道,Stability AI 對靜態軌道取樣,向方位角添加小的隨機噪聲,並向其仰角添加不同頻率的正弦曲線的隨機加權組合。這樣做提供了時間平滑性,並確保相機軌跡沿著與條件影像相同的方位角和仰角循環結束。
實驗結果
Stability AI 在未見過的GSO 和OmniObject3D 資料集上,評估了靜態和動態軌道上的Stable Video 3D 合成多視圖效果。結果如下表 1 至表 4 所示,Stable Video 3D 在新穎多視圖合成方面實現了 SOTA 效果。
表1 和表3 顯示了Stable Video 3D 與其他模型在靜態軌道的結果,顯示了即使是無姿勢調整的模型SV3D_u,也比所有先前的方法表現得更好。
消融分析結果表明,SV3D_c 和 SV3D_p 在靜態軌道的生成方面優於 SV3D_u,儘管後者專門在靜態軌道上進行了訓練。
下表2 和表4 展示了動態軌道的產生結果,包括姿勢調整模型SV3D_c 和SV3D_p,後者在所有指標上實現了SOTA。
下圖6 中的視覺比較結果進一步表明,與以往工作相比,Stable Video 3D產生的影像細節更強、更忠於條件影像、多視角更加一致。
更多技術細節和實驗結果請參考原始論文。
以上是Stable Video 3D震撼登場:單圖生成無死角3D影片、模型權重開放的詳細內容。更多資訊請關注PHP中文網其他相關文章!

經常使用“ AI-Ready勞動力”一詞,但是在供應鏈行業中確實意味著什麼? 供應鏈管理協會(ASCM)首席執行官安倍·埃什肯納齊(Abe Eshkenazi)表示,它表示能夠評論家的專業人員

分散的AI革命正在悄悄地獲得動力。 本週五在德克薩斯州奧斯汀,Bittensor最終遊戲峰會標誌著一個關鍵時刻,將分散的AI(DEAI)從理論轉變為實際應用。 與閃閃發光的廣告不同

企業AI面臨數據集成挑戰 企業AI的應用面臨一項重大挑戰:構建能夠通過持續學習業務數據來保持準確性和實用性的系統。 NeMo微服務通過創建Nvidia所描述的“數據飛輪”來解決這個問題,允許AI系統通過持續接觸企業信息和用戶互動來保持相關性。 這個新推出的工具包包含五個關鍵微服務: NeMo Customizer 處理大型語言模型的微調,具有更高的訓練吞吐量。 NeMo Evaluator 提供針對自定義基準的AI模型簡化評估。 NeMo Guardrails 實施安全控制,以保持合規性和適當的

AI:藝術與設計的未來畫卷 人工智能(AI)正以前所未有的方式改變藝術與設計領域,其影響已不僅限於業餘愛好者,更深刻地波及專業人士。 AI生成的藝術作品和設計方案正在迅速取代傳統的素材圖片和許多交易性設計活動中的設計師,例如廣告、社交媒體圖片生成和網頁設計。 然而,專業藝術家和設計師也發現AI的實用價值。他們將AI作為輔助工具,探索新的美學可能性,融合不同的風格,創造新穎的視覺效果。 AI幫助藝術家和設計師自動化重複性任務,提出不同的設計元素並提供創意輸入。 AI支持風格遷移,即將一種圖像的風格應用

Zoom最初以其視頻會議平台而聞名,它通過創新使用Agentic AI來引領工作場所革命。 最近與Zoom的CTO XD黃的對話揭示了該公司雄心勃勃的願景。 定義代理AI 黃d

AI會徹底改變教育嗎? 這個問題是促使教育者和利益相關者的認真反思。 AI融入教育既提出了機遇和挑戰。 正如科技Edvocate的馬修·林奇(Matthew Lynch)所指出的那樣

美國科學研究和技術發展或將面臨挑戰,這或許是由於預算削減導致的。據《自然》雜誌報導,2025年1月至3月期間,美國科學家申請海外工作的數量比2024年同期增加了32%。此前一項民意調查顯示,75%的受訪研究人員正在考慮前往歐洲和加拿大尋找工作。 過去幾個月,數百項NIH和NSF的撥款被終止,NIH今年的新撥款減少了約23億美元,下降幅度接近三分之一。洩露的預算提案顯示,特朗普政府正在考慮大幅削減科學機構的預算,削減幅度可能高達50%。 基礎研究領域的動盪也影響了美國的一大優勢:吸引海外人才。 35

Openai推出了強大的GPT-4.1系列:一個專為現實世界應用設計的三種高級語言模型家族。 這種巨大的飛躍提供了更快的響應時間,增強的理解和大幅降低了成本


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

EditPlus 中文破解版
體積小,語法高亮,不支援程式碼提示功能

MantisBT
Mantis是一個易於部署的基於Web的缺陷追蹤工具,用於幫助產品缺陷追蹤。它需要PHP、MySQL和一個Web伺服器。請查看我們的演示和託管服務。

SAP NetWeaver Server Adapter for Eclipse
將Eclipse與SAP NetWeaver應用伺服器整合。

mPDF
mPDF是一個PHP庫,可以從UTF-8編碼的HTML產生PDF檔案。原作者Ian Back編寫mPDF以從他的網站上「即時」輸出PDF文件,並處理不同的語言。與原始腳本如HTML2FPDF相比,它的速度較慢,並且在使用Unicode字體時產生的檔案較大,但支援CSS樣式等,並進行了大量增強。支援幾乎所有語言,包括RTL(阿拉伯語和希伯來語)和CJK(中日韓)。支援嵌套的區塊級元素(如P、DIV),

MinGW - Minimalist GNU for Windows
這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。