位元組新一代影片生成模型，讓綠巨人戴上VR眼鏡的效果更勝Gen-2！

一句話，就讓綠巨人戴上VR眼鏡。

4K畫質那種。

熊貓的奇幻漂流~

#這是位元組最新的AI視訊生成模型MagicVideo- V2，各種奇思妙想的想法都能實現。它不僅支援4K、8K超高解析度，輕鬆hold各種繪圖風格。

△由左往右：油畫風、賽博風、設計風

評估效果超過Gen-2、Pika以及現有AI視訊生成工具。

結果上線不到24小時就引發眾人圍觀，例如一則推文就有近20萬瀏覽量。

不少網友驚訝其效果，甚至直言：比runway和pika還要好。

「比runway和pika還要好」

研究人員也的確進行了實際的效果比較。選手分別為：MagicVideo-V2、StabilityAI的SVD-XT，新潛力玩家Pika1.0，以及Runway的Gen-2。

第一輪：光影效果。

夕陽西下，旅客獨自走在迷霧森林中。

（由左至右依序為：MagicVideo-V2、SVD-XT，右上Pika，右下Gen-2，下同）

可以看到，MagicVideo-V2、Gen-2和Pika都有明顯的光影。不過Pika看不出是為旅行者，MagicVideo-V2的色調更為豐富。

第二輪：情境劇情的表達。

1910 年代的情境喜劇，講述社會中的日常生活和瑣事

這一輪明顯也是MagicVideo -V2、Gen-2更勝一籌。 SVD-XT呈現的中景構圖，雖然年代體現出來了，但表達不夠。

第三輪：寫實。

小男孩在公園的小路上騎著腳踏車，車輪踩在碎石上發出嘎吱嘎吱的聲音.

這次對比就更為明顯了。 MagicVideo-V2和SVD-XT是完整體現句子意思的，不過MagicVideo-V2可以看到小孩明顯腳在動的細節。

除此之外，研究人員也將MagicVideo-V2與當下最早方法進行一對一的人類評估。

結果顯示，相較於其他方法，人們認為MagicVideo-V2的效果較好。

（綠色、灰色和粉紅色條分別代表MagicVideo-V2 被評價為更好、相當或較差的試驗效果。）

如何實現？

簡單來說，MagicVideo-V2是一條視訊生成流水線，整合了文字到圖像模型、視訊運動產生器、參考圖像嵌入模組、插值模組。

首先是有T2I模組先根據文字產生1024×1024影像，接著I2V模組對此靜態影像進行動畫處理，產生600×600×32的影格序列，然後再使用V2V模組增強，並完善視訊內容，最後再用插值模組將序列擴展到94個幀。

這樣一來，既保證了高保真，時間上也有連續性。

不過早在2022年11月位元組曾推出了MagicVideo V1版。

不過，當時更強調的是高效性，它能在單一GPU卡上產生256x256解析度的影片。

參考連結：
https://twitter.com/arankomatsuzaki/status/1744918551415443768?s=20
計畫連結：
https://magicvideov2.github.io/
#論文連結：
https://arxiv.org/abs/ 2401.04468
https://arxiv.org/abs/2211.11018

以上是位元組新一代影片生成模型，讓綠巨人戴上VR眼鏡的效果更勝Gen-2！的詳細內容。更多資訊請關注PHP中文網其他相關文章！