安定した動画拡散が実現！ 3D合成機能が注目、ネチズン：進歩が早すぎる

Stable Video Diffusion が正式にビデオの処理を開始しました -

生成ビデオ モデル Stable Video Diffusion (SVD) をリリースしました。

Stability AI 公式ブログでは、新しい SVD がテキストからビデオへの生成と画像からビデオへの生成をサポートしていることを示しています:

また、単一視点から複数視点へのオブジェクトの変換、つまり 3D 合成もサポートします:

外部評価によると、公式は SVD が Runway や Pika よりも優れていると主張しており、動画生成 AI はユーザーの間でより人気があります。

まだ基本モデルしかリリースされていないが、関係者は「今後も拡張を続け、安定普及と同様のエコシステムを確立していく予定」であることを明らかにした

紙のコードウェイトは現在オンライン。

最近、ビデオ生成の分野では新しいプレイ方法が登場していますが、今度は安定した拡散が登場する番で、ネチズンは「速い」と嘆いています。 、そのような進歩は早すぎます。

しかし、デモの効果だけから判断すると、あまり驚かなかったというネチズンの方が多かった。

私は SD が好きで、これらのデモは素晴らしいですが...しかし、いくつかの欠点もあります。照明と影が間違っており、全体的に一貫性がありません(フレーム間でビデオがちらつく)。

全体として、これは始まりです。ネチズンは SVD の 3D 合成機能について非常に楽観的です:

私は、間もなくさらに多くの機能が登場することを保証します。良いものが出てきたら、簡単な説明だけで完全な 3D シーンを表現できます

SD ビデオの正式版が登場します

これに加えて、はい、公式はさらに多くのデモンストレーションもリリースしています。まず見てみましょう:

# 宇宙遊泳も手配されています:

#背景を動かさず、2 羽の鳥だけを動かすこともできます:

SVD に関する研究論文も発表されています。報告によると、SVD は次のとおりです。 Stable Diffusion 2.1 に基づいており、基本モデルは 6 億サンプルのビデオ データ セットで事前トレーニングされています。

マルチビュー データセットを微調整することによる単一画像からのマルチビュー合成など、さまざまな下流タスクに簡単に適応できます。

微調整の後、2 つの画像からビデオへのモデルが正式に発表されました。これらのモデルは、ユーザーのニーズに応じて 1 秒あたり 3 ～ 30 フレームのカスタム フレーム レートで 14 フレーム (SVD) および 25 フレーム (SVD-XT) ビデオを生成できます。 # #マルチビュー ビデオ生成モデルを微調整した後、SVD-MV

#テスト結果によると、GSO データセットでは SVD-MV のスコアが向上しました。優れた マルチビュー生成モデル Zero123、Zero123XL、SyncDreamer の場合:

Stability AI が、SVD は現在研究に限定されており、実用的または商業的アプリケーションには適していないと述べたことは言及する価値があります。 SVD は現在誰でも利用できるわけではありませんが、ユーザーの待機リスト登録は受け付けられています。

ビデオ生成の爆発的増加

最近、ビデオ生成の分野では「混戦」状態が続いています

以前は ## によって開発された Vincent Video AI がありました。 #PikaLabs:

その後、いわゆる「史上最も強力な動画生成 AI

Moonvalley」がリリースされました:

最近、Gen-2 の

「モーション ブラシ」 機能も正式にリリースされ、好きな場所に描画できるようになりました。 # 現在、SVD が再び登場し、3D ビデオ生成の可能性があります。 .

一部の人々は、データが開発を妨げるボトルネックであると考えています:

一部のネチズンは、問題は次のとおりであると考えています。強化学習の能力が十分に強力ではないということ

この分野の最新の進歩をご存知ですか? コメント エリアで共有することを歓迎します~

紙のリンク: https://static1.squarespace.com/static/6213c340453c3f502425776e /t/655ce779b9d47d342a93c890/1700587395994/stable_video_diffusion.pdf 書き直す必要があるのは次のとおりです:

以上が安定した動画拡散が実現！ 3D合成機能が注目、ネチズン：進歩が早すぎるの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。