ホームページ > 記事 > テクノロジー周辺機器 > 清華に拠点を置く新興企業は、ワンクリックで実際のシーンをアニメーションに変換し、パーソナライズされたキャラクターを生成できる世界初の 4D スケルタル アニメーション フレームワークをリリースしました。
Apple は最近、同社初の仮想ヘッドマウント ディスプレイ デバイスである Vision Pro を 2 月 2 日に発売すると発表しました。この XR デバイスは、次世代端末の急速な開発をリードすると期待されています。仮想表示装置の普及により、デジタルインタラクションは二次元から三次元へ移行し、将来的には三次元モデルや三次元アニメーションが主流のコンテンツ形態となるでしょう。仮想と現実の統合のトレンドの下では、多次元の没入型インタラクションもトレンドになるでしょう。
しかし、データ規模の観点から見ると、現段階のコンテンツ産業におけるデータ蓄積は依然として2D画像や平面動画が中心であり、3Dモデルや4Dアニメーションなどのデータ基盤は相対的に脆弱である。 。中でも 4D アニメーションは、従来の 3D モデル、つまり時間とともに変化する 3D モデルに基づいて時系列を導入し、ダイナミックな 3 次元効果を表現することができ、ゲームアニメーション、映画の特殊効果、仮想現実などで広く使用されています。他の分野もそうですが、現在、コンテンツ生態学的開発において最も困難なリンクでもあります。
したがって、今後の多次元没入型体験においては、3次元デジタルコンテンツの構築が重要な基礎作業となるでしょう。
この最先端の分野に直面して、清華大学の起業家チーム Shengshu Technology は一連の研究と製品開発を実施し、最近、清華大学と共同で「骨格アニメーション」に基づく世界初の 4D を開始しました。大学、同済大学、その他の大学 アニメーション生成フレームワーク「AnimatableDreamer」は、2D ビデオ素材をワンクリックで直接動的 3 次元モデル (つまり 4D アニメーション) に変換することができ、骨格の動きの自動抽出、ワンクリック変換をサポートしていますアニメーション効果の追加、およびテキスト入力によるパーソナライズされたキャラクター生成。
3Dアニメーション開発プロセスの破壊
過去の業界 3次元アニメーションの制作には、3Dモデリング、テクスチャレンダリング、ボーンバインディング、アニメーション制作などの複雑なプロセスが必要であり、モデラーやアニメーターなどの専門家の参加が必要であり、効率が低く、コストが高くなります。 。統計によると、単一の静的 3D モデルの制作サイクルは数時間から数日で、コストは数千ドルに達する可能性があり、動的処理のコストはさらに高くなります。
公式デモビデオからわかるように、リスの 2D 実写ビデオをアップロードし、「赤いセーターを着たリス」というテキスト説明を入力すると、本物のリスを 1 枚で作成できます。 「アニメーションスタイルに変換」をクリックすると、アクションの姿勢を完全に保持します。同期により、360 度の視点から 3 次元の動的モデルを生成することもできます。テキストの説明を切り替えることで、キャラクターをカスタマイズし、リスを別の漫画の画像に切り替えることができます。キツネとゼニガメ。。
「AnimatableDreamer」は、動画内の対象オブジェクト(キャラクターや動物など)の骨格の動きを自動抽出し、テキスト記述により任意の骨格アニメーションモデルに変換することができます。プロセス全体はテンプレートによって制限されず、あらゆるビデオの長さとあらゆるタイプのアクションをサポートし、高度な時間的一貫性とマルチビューの一貫性を備え、エクスポートされた動的 3 次元モデルはあらゆる 3D 環境でレンダリングできます。
映画、テレビ、アニメーションなどのポストプロダクションでは、通常、アニメーションにさらなる編集が必要となりますが、「AnimatableDreamer」ではボーンバインディングが完了したモデルのアニメーションファイルの差し替えや編集にも対応しており、より自由度が高くなります。今後、関連技術が段階的に導入されていくと、ゲーム開発や映画・テレビアニメーションなどの3Dモデリングやアニメーション制作プロセスの効率化が期待されます。
未来に向けて新たなコンテンツエコロジーの形成が期待されている
実装原理に関しては、研究はチームが革新的に提案した
正準スコア蒸留 (CSD)は、時間の経過とともに変化するカメラ空間で、さまざまなフレームとさまざまな視点の 3D モデルをレンダリングしてノイズを除去し、勾配を異なるものに均一に返します。蒸留は、共有された正規空間で実行されます。つまり、4D 生成問題は 3D 空間での生成に単純化されます。 「AnimatableDreamer」は、動画から関節の動きを直接抽出することができ、オブジェクトのモデルと動きを分離することで、生成されたモデルは時間的一貫性と幾何学的合理性が高く、動画の長さに制限されず、効率的に関節の動きを抽出することができます。形状の崩れ、ちらつき、マルチビューの不一致などの問題を最小限に抑えます。
以上が清華に拠点を置く新興企業は、ワンクリックで実際のシーンをアニメーションに変換し、パーソナライズされたキャラクターを生成できる世界初の 4D スケルタル アニメーション フレームワークをリリースしました。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。