ホームページ >テクノロジー周辺機器 >AI >Douyin ダンスでは、実際の人間がカメラに映る必要はなく、写真だけで高品質のビデオを生成できます。偉そうなCTOもByteの新技術を体験している

Douyin ダンスでは、実際の人間がカメラに映る必要はなく、写真だけで高品質のビデオを生成できます。偉そうなCTOもByteの新技術を体験している

WBOY
WBOY転載
2023-12-14 23:05:291233ブラウズ

###見て!今、あなたの目の前では 4 人の若い女性が熱いダンスを披露しています。

Douyin ダンスでは、実際の人間がカメラに映る必要はなく、写真だけで高品質のビデオを生成できます。偉そうなCTOもByteの新技術を体験している

#これはショートビデオ プラットフォームで一部のアンカーによってリリースされた作品だと思いましたか? ######ダメダメダメ。

本当の答えは、偽物であり、生成されたものであり、

画像

にのみ依存しています。

実際の開始方法は次のとおりです: Douyin ダンスでは、実際の人間がカメラに映る必要はなく、写真だけで高品質のビデオを生成できます。偉そうなCTOもByteの新技術を体験している

これはシンガポール国立大学と ByteDance からの最新情報ですDouyin ダンスでは、実際の人間がカメラに映る必要はなく、写真だけで高品質のビデオを生成できます。偉そうなCTOもByteの新技術を体験しているMagicAnimate

という研究。

その機能は、違反の意味を持たずに、単純な式で要約できます: 写真

アクション のセット = ビデオ . .

このテクノロジーの発表により、テクノロジー界は大騒ぎになり、多くのテクノロジー巨人やオタクが次々と参加しましたDouyin ダンスでは、実際の人間がカメラに映る必要はなく、写真だけで高品質のビデオを生成できます。偉そうなCTOもByteの新技術を体験している

さえ

HuggingFace CTO

彼らは全員、自分のアバターでそれを試しました:

ちなみに、彼らはユーモラスな方法でジョークも言いました: Douyin ダンスでは、実際の人間がカメラに映る必要はなく、写真だけで高品質のビデオを生成できます。偉そうなCTOもByteの新技術を体験している

これはフィットネスとみなされますか?今週はジムを休んでもいいです。

新しくリリースされた

GTA6

(グランド セフト オート 6) のトレーラーのキャラクターで遊んでいる、時代に敏感なネチズンもいます。 一握り:

絵文字さえもネチズンの選択の対象になっています...Douyin ダンスでは、実際の人間がカメラに映る必要はなく、写真だけで高品質のビデオを生成できます。偉そうなCTOもByteの新技術を体験している

# #MagicAnimateテクノロジー界の注目をそれ自体に集中させたと言えるので、一部のネチズンは「Douyin ダンスでは、実際の人間がカメラに映る必要はなく、写真だけで高品質のビデオを生成できます。偉そうなCTOもByteの新技術を体験している

OpenAI は休んでもいい」と冗談を言いました。

#火事、本当に火事。 Douyin ダンスでは、実際の人間がカメラに映る必要はなく、写真だけで高品質のビデオを生成できます。偉そうなCTOもByteの新技術を体験している

1 枚の写真からダンスを生成できます

MagicAnimate はとても人気がありますが、どのように使用すればよいでしょうか?

早速、段階的に体験してみましょう。

現在、私たちのプロジェクト チームは HuggingFace にオンライン体験ページをオープンしました

#操作は非常に簡単で、必要な手順は 3 つのステップだけです:Douyin ダンスでは、実際の人間がカメラに映る必要はなく、写真だけで高品質のビデオを生成できます。偉そうなCTOもByteの新技術を体験している

  1. キャラクターの静止写真をアップロードします
  2. 生成したいアクション デモ ビデオをアップロードします
  3. #パラメータを調整して「アニメーション」をクリックします
# # たとえば、以下は私の写真と、最近世界中で人気になっている「Subject Three」のダンスクリップです:

Douyin ダンスでは、実際の人間がカメラに映る必要はなく、写真だけで高品質のビデオを生成できます。偉そうなCTOもByteの新技術を体験している
△ビデオソース: Douyin (ID: QC0217)

ページの下部にあるテンプレートを選択して体験することもできます:

Douyin ダンスでは、実際の人間がカメラに映る必要はなく、写真だけで高品質のビデオを生成できます。偉そうなCTOもByteの新技術を体験している

ただし、MagicAnimate は現在人気が高すぎるため、生成処理中に「」が表示される場合があります。 「ダウンタイム」状況:

Douyin ダンスでは、実際の人間がカメラに映る必要はなく、写真だけで高品質のビデオを生成できます。偉そうなCTOもByteの新技術を体験している

「食べる」ことに成功した場合でも、列に並ぶ必要がある場合があります

......Douyin ダンスでは、実際の人間がカメラに映る必要はなく、写真だけで高品質のビデオを生成できます。偉そうなCTOもByteの新技術を体験している

Douyin ダンスでは、実際の人間がカメラに映る必要はなく、写真だけで高品質のビデオを生成できます。偉そうなCTOもByteの新技術を体験している

(その通りです!記事執筆時点では、まだ結果を待っていません!)

さらに、MagicAnimate は GitHub でローカル体験メソッドも提供しています。興味のある友人はぜひ試してみてください~

Douyin ダンスでは、実際の人間がカメラに映る必要はなく、写真だけで高品質のビデオを生成できます。偉そうなCTOもByteの新技術を体験している

#次の質問は次のとおりです:

## #どうやってするの?

全体として、MagicAnimate は

拡散モデル

(拡散) に基づくフレームワークを採用しています。その目的は、時間的一貫性を強化し、参照画像の信頼性を維持することです。アニメーションの忠実度。

Douyin ダンスでは、実際の人間がカメラに映る必要はなく、写真だけで高品質のビデオを生成できます。偉そうなCTOもByteの新技術を体験しているこの目的を達成するために、チームはまず、時間情報をエンコードするための

ビデオ拡散モデル

(時間的一貫性モデリング) を開発しました。 このモデルは、アニメーション内のフレーム間の時間的一貫性を確保するために、時間的注意モジュールを拡散ネットワークに追加することによって時間的情報をエンコードします。

第 2 に、フレーム間の外観の一貫性を維持するために、チームは新しい

Appearance Encoder

(Appearance Encoder) を導入し、参照画像の複雑な詳細を保存しました。 このエンコーダは、CLIP エンコーディングを使用する以前の方法とは異なります。アニメーション制作をガイドするためにより高密度の視覚的特徴を抽出できるため、アイデンティティ、背景、服装などの情報をより適切に保存できます。

Basedこれら 2 つの革新的なテクノロジーに加えて、チームはさらに、長いビデオ アニメーションのスムーズな移行を促進するために、シンプルなビデオ フュージョン テクノロジー

(ビデオ フュージョン テクニック)

を採用しました。 最後に、2 つのベンチマーク実験による検証の結果、MagicAnimate が以前の方法よりもはるかに効果的であることが結果からわかりました。

特に困難な TikTok ダンス データセットでは、MagicAnimate はビデオ保存において優れたパフォーマンスを発揮します。精度は最も強力なベースラインよりも 38% 以上高くなっています。

以下はチームによる定性的な比較です:

Douyin ダンスでは、実際の人間がカメラに映る必要はなく、写真だけで高品質のビデオを生成できます。偉そうなCTOもByteの新技術を体験しているそして、クロス ID の最先端のベースライン モデルと比較すると、結果は次のとおりです:

Douyin ダンスでは、実際の人間がカメラに映る必要はなく、写真だけで高品質のビデオを生成できます。偉そうなCTOもByteの新技術を体験している

One More Thing

MagicAnimate のようなプロジェクトは最近非常に人気があると言わざるを得ません

いいえ、その「デビュー」後は少し前です、Ali チームは、AnimateEveryone というプロジェクトもリリースしました。これも「画像」と「必要なアクション」のみが必要です:

Douyin ダンスでは、実際の人間がカメラに映る必要はなく、写真だけで高品質のビデオを生成できます。偉そうなCTOもByteの新技術を体験している

その結果、一部のネチズンも疑問を提起しました:

これは MagicAnimate と AnimateAnyone の間の戦争のようです。 誰が優れていますか? #####################どう思いますか?

論文を表示するには、次のリンクをクリックしてください: https://arxiv.org/abs/2311.16498

Douyin ダンスでは、実際の人間がカメラに映る必要はなく、写真だけで高品質のビデオを生成できます。偉そうなCTOもByteの新技術を体験している

以上がDouyin ダンスでは、実際の人間がカメラに映る必要はなく、写真だけで高品質のビデオを生成できます。偉そうなCTOもByteの新技術を体験しているの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明:
この記事は51cto.comで複製されています。侵害がある場合は、admin@php.cn までご連絡ください。