AI新風口？首個高品質「文生影片」模型Zeroscope引發開源大戰：最低8G顯存可跑

文生圖模型Stable Diffusion開源後，將「AI藝術」徹底平民化，只需一張消費級顯示卡即可製作出非常精美的圖片。

而文字轉視訊領域，目前品質較高的只有Runway前不久推出的商用Gen-2模型，開源界還沒有一個能打的模型。

最近，Huggingface上有作者發布了一個文生視訊模型Zeroscope_v2，基於17億參數量的ModelScope-text-to-video-synthesis模型進行二次開發。

圖片

模型連結：https://huggingface.co/cerspense/zeroscope_v2_576w

相比於原始版本，Zeroscope產生的影片沒有浮水印，並且流暢度和解析度都得到了提升，適配16:9的寬高比。

開發者cerspense表示，他的目標就是和Gen-2進行開源較量，也就是提高模型品質的同時，還能免費供大眾使用。

Zeroscope_v2包括兩個版本，其中Zeroscope_v2 567w可以快速生成576x320像素分辨率、幀率為30幀/秒的視頻，可用於視頻概念的快速驗證，只需要約7.9GB的顯存即可運作。

使用Zeroscope_v2 XL產生高清視頻，解析度為1024x576，佔用約15.3GB的記憶體。

Zeroscope還可以與音樂生成工具MusicGen一起使用，快速製作一個純原始短影片。

Zeroscope模型的訓練用到了9923個影片片段（clip）以及29769個標註幀，每個片段包括24幀。偏移雜訊包括視訊幀內物件的隨機移位、幀定時（frame timings）的輕微變化或微小失真。

訓練期間引入雜訊可以增強模型對資料分佈的理解，從而可以產生更多樣化的逼真視頻，並更有效地解釋文字描述中的變化。

使用方法

使用stable diffusion webui

在Huggingface上下載zs2_XL目錄下的權重文件，然後放到stable-diffusion-webui\models\ModelScope\t2v目錄下即可。

在產生影片時，建議的降噪強度值為0.66到0.85

使用Colab

#筆記連結：https://colab.research.google.com/drive/1TsZmatSu1-1lNBeOqz3_9Zq5P2c0xTTq?usp=sharing

先點選Step 1下的運行按鈕，等待安裝，大約需要3分鐘；

##圖片

#當按鈕旁邊出現綠色複選標記時，繼續下一步。

圖片

點擊想要安裝模型附近的運行按鈕，為了能夠在Colab中快速獲得3秒左右的剪輯視頻，更建議使用低解析度的ZeroScope模型（576或448）。

圖片

需要在執行更高解析度模型（如Potat 1或ZeroScope XL）時，權衡執行時間會更長。

再次等待複選標記出現，繼續下一步。

選擇在Step2中安裝並希望使用的模型型號，對於更高解析度的模型，推薦下面的配置參數，不需要太長的生成時間。

圖片

接下來，您可以輸入目標影片的提示詞來改變效果，也可以輸入否定提示字詞（negative prompts），然後點擊運行按鈕。 

等待一會後，產生的影片就會被放置在outputs目錄下。

圖片

###

“文生視頻”開源競賽

目前來說，文生視頻領域仍處於起步階段，即使是最好的工具也只能生成幾秒鐘的視頻，並且通常存在較大的視覺缺陷。

但其實文生圖模型最初也面臨類似的問題，但僅僅幾個月後就實現了照片級真實感。

不過與文生圖模型不同的是，影片領域在訓練和生成期間所需要的資源都要比影像更多。

雖然Google已經研發了Phenaki和Imagen Video模型，可以產生高解析度、更長、邏輯連貫的視訊片段，但公眾無法使用到這兩個模型；Meta的Make-a-Video模型也同樣沒有發布。

目前可用的工具仍然只有Runway的商用模型Gen-2，而這次Zeroscope的發布也標誌著文生視訊領域第一個高品質開源模型的出現。

以上是AI新風口？首個高品質「文生影片」模型Zeroscope引發開源大戰：最低8G顯存可跑的詳細內容。更多資訊請關注PHP中文網其他相關文章！