狂ったように殺します！ Google はビデオを音声に変換し、リアルな音響効果により AI ビデオが沈黙に別れを告げます。

急成長する AI 業界は誰もが驚いています。

最近、海の向こうの人々が熱狂しています！

Luma の興奮はまだ去っていません。昨夜、Runway はキングボム、Gen-3 Alpha をリリースしました。 (詳細については、こちらをご覧ください: Sora の滑走路バージョンがリリース: 高忠実度、超一貫性、Gen-3 Alpha がネチズンに衝撃を与えた)

さらに、目が覚めたとき、Google DeepMind がそれを期待していなかった新しいニュースとして、Video-to-Speech (V2A) テクノロジーの進歩が静かに発表されました。

この機能はまだ一般公開されていませんが、公式ビデオデモを見る限り、効果は非常にスムーズです。同時に、Google DeepMind は、すべてのサンプルが V2A テクノロジーと最先端の生成ビデオ モデル Veo によって共同作成されたことを強調しました。

音声プロンプト: スリリングなホラー映画のサウンドトラック、コンクリートに響く足音。 (映画、スリラー、ホラー映画、音楽、緊張感、雰囲気、コンクリートの足音)

ブラックライトが照らされた廃倉庫で、黒い服を着た男が幽霊のようにゆっくりと歩き、奇妙な音楽と足音、雰囲気と相まって恐ろしいレーマンです。

音声プロンプト: オオカミが月明かりの中で遠吠えします。 (月に吠えるオオカミ)

ビデオデモが公開されるとすぐに、Qing Yishui がコメント欄でこう尋ねました。いつ公開されますか?

一部のネチズンは、オープンソース コミュニティがサイバー菩薩となって Google のテクノロジーをコピーすることを望んでいます。

実際、Google DeepMindが正式に発表されてから間もなく、AIオーディオ分野の「リーダー」であるイレブンラボが介入し、適切なサウンドエフェクトを生成できるアップロードされたビデオの自動吹き替えプロジェクトをオープンソース化しました。ビデオ用。

リンク:

https://elevenlabs.io/docs/api-reference/how-to-use-text-to-sound-Effects

今、AIにおける競争大手メーカーと中小企業間の競争は激化しており、これらのテクノロジーが成熟すると、AI ビデオの分野には無限の可能性が生まれるでしょう。

AI ビデオ 無声映画に別れを告げましょう

ご存知のとおり、ビデオ生成モデルは驚くべき速度で開発されています。しかし、年初に世界を驚かせた『Sora』にせよ、最近の『Keling』や『Luma』、『Gen-3 Alpha』にせよ、それらは例外なく「無声映画」である。

そして、Google DeepMind のビデオオーディオ (V2A) テクノロジーにより、同期オーディオビジュアル生成が可能になります。ビデオ ピクセルと自然言語テキスト キューを組み合わせて、画面上のアクションに対する豊富なナレーションを生成できます。

技術的な応用の観点からは、V2A テクノロジーを Veo などのビデオ生成モデルと組み合わせて、ドラマチックなサウンドトラック、リアルな音響効果、またはビデオのキャラクターとスタイルの一致を備えた対話ショットを作成できます。

アーカイブ素材、サイレント映画、その他の伝統的な画像のオーディオ トラックを生成することもでき、創造的な可能性を広げます。

音声プロンプト: 卵の殻が割れる音とともに、かわいい赤ちゃん恐竜がジャングルで鳴きます。 (かわいい赤ちゃん恐竜の鳴き声、ジャングルの雰囲気、卵を割る音) オーディオプロンプト: 車の横滑り音、エンジンの轟音、天使のような電子音楽が伴います。 (車の横滑り、車のエンジンのスロットル、天使のような電子音楽) 音声プロンプト: 夕暮れ時、草原にメロディアスなハーモニカが響きます。 (太陽が大草原に沈むにつれて、ゆっくりとした芳醇なハーモニカが鳴り響きます)

V2A テクノロジーは、あらゆるビデオ入力に対して無制限の数のオーディオ トラックを生成できます。ユーザーは、目的のサウンドの生成をガイドする「ポジティブ キュー」を定義するか、望ましくないサウンドを回避する「ネガティブ キュー」を定義するかを選択できます。

この柔軟性により、ユーザーはオーディオ出力をより詳細に制御できるようになり、さまざまなオーディオ出力をすばやく試して、最適なものを選択できるようになります。

音声プロンプト: 宇宙船が広大な宇宙を疾走し、星がその周りを飛び回り、高速で飛行しており、SF 感に満ちています。 (宇宙船が広大な宇宙を疾走し、星が横を通り過ぎていく、高速、SF) 音声プロンプト: 優美なチェロの雰囲気 (優美なチェロの雰囲気) 音声プロンプト: 広大な空間の中を宇宙船が通過します宇宙を高速で移動し、星がその周りを素早く通過し、SF のような雰囲気を与えます。 (宇宙船が広大な宇宙を疾走し、星がその横を通り過ぎていく、高速、SF)

の背後にある動作原理 研究チームは、最も多くのことを発見するために自己回帰法と拡散法を試みました。スケーラブルな AI アーキテクチャ。拡散方法は、ビデオとオーディオ情報を同期するためのオーディオ生成において、最も現実的で魅力的な結果をもたらします。

V2A システムは、まずビデオ入力を圧縮表現にエンコードし、次に拡散モデルによってランダム ノイズからオーディオを反復的に調整します。このプロセスは、視覚的な入力と与えられた自然言語の合図によって導かれ、合図と厳密に一致した同期されたリアルなオーディオを生成します。最後に、オーディオ出力はオーディオ波形にデコードされ、ビデオ データと結合されます。

より高品質のオーディオを生成し、特定の音を生成するようにモデルをガイドするために、研究チームはトレーニング プロセス中に、音やダイアログ テキストの詳細を示す AI 生成の注釈など、より多くの情報を追加しました。

ビデオ、オーディオ、および追加の注釈に関するトレーニングにより、このテクノロジーは、注釈またはテキストで提供される情報に応答しながら、特定の音声イベントをさまざまな視覚的シーンに関連付けることを学習します。

Googleは、自社のテクノロジーは生のピクセルを理解し、テキストヒントの追加はオプションであるため、既存のビデオオーディオソリューションとは異なることを強調しています。さらに、このシステムでは生成されたサウンドとビデオを手動で調整する必要がなく、クリエイティブなプロセスが大幅に簡素化されます。

しかし、Google のテクノロジーは完璧ではなく、いくつかのバグを解決するためにまだ懸命に取り組んでいます。たとえば、ビデオ入力の品質はオーディオ出力の品質に直接影響し、ビデオ内のアーチファクトや歪みによってオーディオ品質が低下する可能性があります。

同時に、リップシンク機能の最適化も行っています。

V2A テクノロジーは、入力テキストから音声を生成し、キャラクターの口の動きと同期させようとします。ただし、ビデオ モデルがテキストの内容に応じて調整されていない場合、口の形状と音声がずれる可能性があります。同期します。彼らはリップシンクをより自然にするためにこの技術を改良しています。

音声プロンプト: 音楽、トランスクリプト「この七面鳥は素晴らしく見えます、とてもお腹が空いています」 (音楽、トランスクリプト:「この七面鳥は素晴らしく見えます、とてもお腹が空いています」)

おそらくディープ フォージェリ テクノロジーによって引き起こされる多くの社会問題に対し、Google DeepMind は生存への欲求に満ちており、一般に公開される前に、責任を持って AI テクノロジーを開発および展開することを約束し続けています。

さらに、SynthID ツールキットを V2A 研究に統合し、AI が生成したすべてのコンテンツに透かしを追加して、テクノロジーの悪用を防止しました。

^{参考リンク：}

^{https://deepmind.google/discover/blog/generated-audio-for-video/}

^{https://x.com/ GoogleDeepMind/ステータス/1802733643992850760}

以上が狂ったように殺します！ Google はビデオを音声に変換し、リアルな音響効果により AI ビデオが沈黙に別れを告げます。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。