首頁  >  文章  >  科技週邊  >  Stable Video Diffusion問世! 3D合成功能引關注,網友:進步太快

Stable Video Diffusion問世! 3D合成功能引關注,網友:進步太快

PHPz
PHPz轉載
2023-11-22 20:14:48659瀏覽

穩定擴散官方終於開始處理影片-

發布生成式影片模型Stable Video Diffusion(SVD)

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

Stability AI官方部落格顯示,全新SVD支援文字轉影片、圖片到影片產生:

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

##並且還支持物體從單一視角到多視角的轉化,也就是

3D合成

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

#根據外部評估,官方宣稱SVD甚至比runway和Pika的影片生成AI更受用戶歡迎。

儘管目前只發布了基礎模型,但官方透露「正計劃繼續擴展,建立類似於穩定擴散的生態系統」

目前論文程式碼權重已上線。

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

近期視訊生成領域不斷湧現新的玩法,如今輪到了Stable Diffusion的出現,以至於網友們紛紛感嘆“快”,這樣進步的速度太快了!

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

但僅從Demo效果來說,更多網友們表示並沒有感到很驚喜。

雖然我喜歡SD,而且這些Demo也很棒……但也存在一些缺陷,光影不對、而且整體不連貫

(視頻幀與幀之間閃爍)

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

總歸來說這是個開始,網友對SVD的3D合成功能還滿是看好:

我敢保證,很快就會有更好的東西問世,只需要簡單描述一下,就能夠呈現一個完整的3D場景

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

#SD視頻官方版來襲

除了以上所展示的,官方也發布了更多的演示,下面來先看一下:

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

#太空漫步也安排上:

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

保持背景靜止,只讓兩隻鳥移動也可以:

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

SVD的研究論文目前也已發布,據介紹SVD基於Stable Diffusion 2.1,用約6億個樣本的視訊資料集預先訓練了基礎模型。

可輕鬆適應各種下游任務,包括透過對多視圖資料集進行微調從單一影像進行多視圖合成。

經過微調後,官方公佈了兩種圖像到影片模型。這些模型可以根據使用者的需求,以每秒3到30幀的自訂幀速率生成14幀(SVD)和25幀(SVD-XT)的視訊

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

對多視角視訊生成模型進行了微調後,我們將其命名為SVD-MV

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

根據測試結果,在GSO資料集上,SVD-MV得分優於多視角生成模型Zero123、Zero123XL、SyncDreamer:

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

值得一提的是,Stability AI表示SVD目前僅限於研究,不適用於實際或商業應用。 SVD目前也不是所有人都可以使用,但已開放用戶候補名單註冊。

影片生成大爆發

近期,影片產生領域出現了一種「混戰」狀態

前有PikaLabs開發的文生影片AI:

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

後又有號稱「史上最強大的影片生成AIMoonvalley推出:

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

##最近Gen-2的

「運動筆刷」功能也正式上線,指哪畫哪:

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

這不現在SVD又出現了,又有要卷3D影片生成的可能。

但文字到3D生成方面好像還沒有太多進展,網友對這一現像也很是困惑。

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

有人認為數據是阻礙發展的瓶頸:

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

還有一些網友認為問題在於強化學習的能力還不夠強

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

家人們對這方面的最新進展有了解嗎?歡迎評論區分享~

論文連結:https://static1.squarespace.com/static/6213c340453c3f502425776e /t/655ce779b9d47d342a93c890/1700587395994/stable_video_diffusion.pdf 需要重新寫的內容是:

以上是Stable Video Diffusion問世! 3D合成功能引關注,網友:進步太快的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文轉載於:51cto.com。如有侵權,請聯絡admin@php.cn刪除