兩步驟產生25幀高品質動畫，計算為SVD的8% | 線上可玩

耗費的運算資源僅為傳統Stable Video Diffusion（SVD）模型的2/25！

AnimateLCM-SVD-xt發布，一改視訊擴散模型進行重複去噪，既耗時又需大量計算的問題。

先來看看一波生成的動畫效果。

賽博龐克風輕鬆駕馭，男孩頭戴耳機，站在霓虹閃爍的都市街道：

圖片

寫實風也可以，一對新婚夫婦依偎在一起，手捧精緻花束，在古老石牆下見證愛情：

圖片

##科幻風格，也有了外星人入侵地球的即視感：

圖片

AnimateLCM-SVD-xt由來自香港中文大學MMLab、Avolution AI、上海人工智慧實驗室、商湯研究院的研究人員共同提出。

圖片

2~8步驟就能產生

25幀解析度576x1024的高品質動畫，且無需分類器引導，4步驟產生的影片就能實現高保真，比傳統SVD更快、效率更高：

圖片

#目前，AnimateLCM程式碼即將開源，有線上demo可試玩。

上手試玩demo

在demo介面可以看到，AnimateLCM目前有三個版本，AnimateLCM-SVD-xt是通用圖像到視頻生成；AnimateLCM-t2v傾向個性化文本到視頻生成；AnimateLCM-i2v為個人化影像到影片生成。

圖片

下面是一個配置區域，可以選擇基礎的Dreambooth模型，也可以選擇LoRA模型，並透過滑動條調整LoRA alpha值等。

圖片

接下來可以輸入Prompt、負面prompt，指導產生的動畫內容和品質：

圖片

還有一些參數可以調整：

圖片

我們上手體驗了一把，提示字為“clouds in the sky”，參數設定如上圖，取樣步驟僅4步驟時，產生的效果是這樣嬸兒的：

圖片# #採樣步驟為25步驟時，提示詞“a boy holding a rabbit”，效果如下：

圖片再看看一波官方放出的展示效果。 2步驟、4步驟、8步驟效果比較如下：

圖片步驟越多，動畫品質越好，僅4步AnimateLCM就能做到高保真：

圖片各種風格都能實現：

##圖片

#

圖片

怎麼做到的？

要知道，雖然視訊擴散模型因能產生連貫且高保真度的影片而受到越來越多的關注，但難題之一是迭代去噪過程不僅耗時而且計算密集，這也就限制了它的應用範圍。

而在AnimateLCM這項工作中，研究人員受到一致性模型（CM）啟發，該模型簡化了預訓練的圖像擴散模型以減少採樣所需的步驟，並在條件影像生成上成功擴展了潛在一致性模型（LCM）。

圖片

具體來說，研究人員提出了一種解耦的一致性學習（Decoupled Consistency Learning）策略。

首先在高品質的影像-文字資料集上蒸餾穩定擴散模型為影像一致性模型，然後在視訊資料上進行一致性蒸餾以獲得視訊一致性模型。這種策略透過在空間和時間層面上分別訓練，提高了訓練效率。

圖片

此外，為了能夠在Stable Diffusion社群中實現即插即用適配器的各種功能（例如，用ControlNet實現可控生成），研究人員又提出了Teacher-Free自適應（Teacher-Free Adaptation）策略，使現有的控制適配器更符合一致性模型，實現更好的可控視訊生成。

圖片

定量和定性實驗都證明了方法的有效性。

在UCF-101資料集上的零樣本文字到影片產生任務中，AnimateLCM在FVD和CLIPSIM指標上均取得了最佳效能。

圖片

圖片

消融研究驗證了解耦一致性學習和特定初始化策略的有效：

圖片

專案連結：
[1]https://animatelcm.github.io/
[2]https://huggingface.co/wangfuyun/AnimateLCM-SVD-xt

以上是兩步驟產生25幀高品質動畫，計算為SVD的8% | 線上可玩的詳細內容。更多資訊請關注PHP中文網其他相關文章！