Sora の滑走路バージョンがリリース: 高忠実度、超一貫性、第 3 世代アルファ版がネチズンに衝撃を与えた

生成されたビデオはわずか約 10 秒ですが、明瞭さ、詳細、文字の一貫性などの点で、既存のすべてのビデオ生成モデルに匹敵するようです。

たった今、AIビデオ生成スタートアップRunwayは、新しいビデオ生成基本モデルGen-3 Alphaを発表しました。このモデルは、複雑なシーン変更、複数の映画スタイル、詳細なアートディレクションを備えた非常に詳細なビデオを作成できます。

滑走路によれば、第 3 世代アルファは今後の一連のモデルの最初のものです。シリーズ モデルは、大規模なマルチモーダル トレーニング用に構築された新しいインフラストラクチャでトレーニングされます。

Gen-3 Alpha は、Gen-2 と比較して忠実度、一貫性、動作が大幅に向上し、普遍的な世界モデルの構築に向けて重要な一歩を踏み出しました。

ランウェイはブログの中で、デモのすべてのビデオは何の修正も加えずに第 3 世代アルファを使用して生成されたことを強調しました。

多くのネチズンは、ランウェイが再び私たちに本当に衝撃を与えたと言いました：ランウェイが戻ってきました！

Pytorch のリーダー、Soumith Chintala は、ビルド品質の一部が Sora レベルに達すると信じています。

次に、ランウェイビデオによって生成される効果を鑑賞しましょう。

プロンプト: 日本の都市を超高速で移動する電車の窓に映る女性の微妙な反射 (プロンプト: 日本の都市を超高速で移動する電車の窓に映る女性の微妙な反射)。 ヒント: 宇宙飛行士がリオデジャネイロの路地を走っています。 (プロンプト: リオデジャネイロの路地を走る宇宙飛行士。)

デモからわかるように、Runway によって生成された 10 秒のビデオは、明瞭さ、細部、キャラクターの一貫性、忠実度において優れています。 。 「いつ使用できるのですか?」と尋ねてみましょう。

きめ細かいタイミング制御

Gen-3 Alpha は、高度に説明的で時間のかかる字幕向けにトレーニングされており、想像力豊かなシーンの移行を可能にします。

ヒント: 巣から這い出てくるアリの拡大図。カメラはズームアウトして、丘の後ろの近所を明らかにします。 (プロンプト: 巣から出てくるアリの極度のクローズアップショット。カメラが後退し、丘の向こうの近所が明らかになります。) プロンプト: FPV ドローンが崖の上の城の上を飛行します。 (プロンプト: FPV ドローンが崖の上の城を撃ち抜きました。)

よりリアルな人間キャラクターを生成

Gen-3 Alpha は、さまざまな動き、ジェスチャー、感情を備えた表情豊かな人間キャラクターの作成に優れています。

ヒント: これは、顔が光に照らされている男性の映画のような広角ポートレートです。 (プロンプト: テレビの光で顔が照らされている男性の映画的なワイドポートレート。) プロンプト: 巻き毛の冠とサングラスが突然落ちたため、悲しいハゲの中年の男性が突然幸せになります。彼の頭の上に。 (プロンプト: 巻き毛のかつらとサングラスが突然頭の上に落ちると、悲しいハゲの中年の男性が幸せになります。)

アートクリエーション

第 3 世代アルファは、研究科学者によって訓練され、学際的な人材です。エンジニアとアーティストのチームが協力して、Gen-3 Alpha がさまざまなアート スタイルや映画用語を理解して解釈できるようにしました。

ヒント: 夜、窓の外の巨大な奇妙な生き物が荒廃した街を歩いていて、街灯が薄暗く灯っています。 (プロンプト: 夜の荒廃した街を歩く巨大な奇妙な生き物の窓の外を眺めます。1 つの街灯がその地域を薄暗く照らしています。) プロンプト: タイムラプス撮影、光がちらつく廊下を歩く、銀色の布地廊下全体を飛び回ります。 (プロンプト: ハイパーラプスは、ライトが点滅する廊下を通して撮影されました。銀色の布地が廊下全体を飛び回ります。)

業界のカスタマイズ

滑走路は、Gen-3 シリーズ モデルのカスタマイズにより、より様式化されたスタイルを実現できると述べました。特定の芸術的および物語的要件などに合わせて最適化された、コントロールとより一貫性のあるキャラクター。

ヒント: 走って遠くのロケットを見ている女性の肩越しのショット。 (プロンプト: 走って遠くのロケットを見ている女性の肩越しのショット。) プロンプト: 女性のプロフィール写真。後ろの遠くに花火が咲いています。 (プロンプト: 遠くで花火が爆発する女性の横顔のショット。) Sora のリリースから過去数か月で、最近リリースされた Kuaishou Keling など、ますます多くのビデオ生成モデルが登場しました。 、Luma、そして今日のGen-3。しかし、残念ながら多くの製品を直接体験することはできません。

テキストラージモデルと同様に、動画生成モデルもどんどん増えて、自由に試せるようになるのではないかと思います。

^{ブログリンク: https://runwayml.com/blog/introducing-gen-3-alpha/}

以上がSora の滑走路バージョンがリリース: 高忠実度、超一貫性、第 3 世代アルファ版がネチズンに衝撃を与えたの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。