Pika が新しいオーディオとビデオの同期機能をリリースした翌日、ロールオーバー ビデオがここに登場しました

ピカの新しい効果音機能「サウンドエフェクト」には、大きな驚きと小さな「怖さ」が詰まっています。

Sora の登場により、Vincent ビデオ モデルとアプリケーションが人気を博しました。ただし、そのようなモデルによって生成されるビデオのほとんどは無音です。そこで人々は、AI が生成したビデオの「ダビング」を検討し始めました。

この分野の代表例としては、AI 音声クローンのスタートアップ イレブンラボが挙げられますが、同社は以前ソラのデモビデオの吹き替えを生成していましたが、効果音とビデオ画像はほとんど互換性がありませんでした。

かつて AI 界を爆発させたビデオ生成スタートアップの Pika が、ついに新たな動きを見せました。サウンドエフェクトをシームレスに追加できる Sound Effects の発売です。 Pika によって生成されたビデオへ。

Pika には効果音を生成する 2 つの方法があります: 1 つは聞きたい音を説明するプロンプトを表示する方法、もう 1 つは音に直接基づいて自動的に音を生成する方法です。ビデオコンテンツ。

音響効果がビデオコンテンツとどの程度一致しているかについては?まずは見てみましょう。

ただし、Pika のサウンド エフェクト機能は、スーパー コラボレーターとプロ ユーザーのみがテストできます。一般ユーザーはこれ以上待つしかありません。

現在、Pika は多くのデモを正式にリリースしています。

体験アドレス：https://pika.art/

たとえば、ジュージューと焼けるバーベキューの音はぼんやりと見えますが、その煙は時折立ち上がり、高精細な映像と臨場感あふれる音響効果で、サクサク、しょっぱい、スパイシーな感覚が舌先に押し寄せます。声を変更したい場合は、問題ありません。ビデオの下にある [やり直し] ボタンをクリックし、表示されるダイアログ ボックスに必要な音声説明を入力します:

横たわる小さなカエル蓮の上で 葉がギシギシ鳴いて、よく耳を澄ますと遠くで蝉の鳴き声も聞こえます（ただし、生成されたビデオには非常に欠陥があるように見えます。たとえば、蓮の葉は赤く、カエルには足が生えています）腹部):

空に花火が咲き、開花の瞬間に大きな爆竹の音が鳴り響きます。クリックは非常に正確です:

上記は単なる公式の例です。生成された音声の効果は何ですか? 私たちはまだ、第一波のユーザーの本当の気持ちを確認する必要があります。

トライアル体験の最初のバッチがリリースされました: 驚きと失望があります

Pikaでは効果音機能の提供開始後、すでに第1期トライアルユーザーが効果音を追加したAI動画を投稿しています。

たとえば、ユーザー @TomLikesRobots が作成した雨の中の人々のビデオでは、音響効果がビデオに非常によく一致しているようで、多くの効果音が追加されていると述べました。雰囲気。

#たとえば、ユーザー @RetropunkAI が生成した効果音は非常に興味深いものです。

たとえば、ユーザー @AiFreak_tool は、生成されたビデオにさまざまな音響効果を追加しました。

#もちろん、Sound Effects によって生成される効果音は、以下の例のように、ビデオのテーマや画像に必ずしも適合するとは限りません。

# 出典: @TomLikesRobots

@DavidmComfort というユーザーもいて、生成される効果音が時々間違っていると言っていますが、所詮はベータ段階なので、それは許されます。

覆されることは時々ありますが、依然として多くの人が Pika が API を迅速にオープンすることを期待しています。

以上がPika が新しいオーディオとビデオの同期機能をリリースした翌日、ロールオーバー ビデオがここに登場しましたの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。