Marvel 3D デジタル ヒューマンを 5 分で生成します!アメリカのスパイダーマンもジョーカーもそれが可能で、顔の細部は高解像度で復元されます。
コンピュータ グラフィックスの発展に伴い、3D 生成テクノロジが徐々に研究のホットスポットになりつつあります。ただし、テキストや画像から 3D モデルを生成するには、まだ多くの課題があります。
最近、Google、NVIDIA、Microsoft などの企業が神経放射場 (NeRF) に基づく 3D 生成手法を発表しましたが、これらの手法は従来の 3D レンダリング ソフトウェア (Unity、Unreal Engine、Maya など) と互換性があります。 、など)性的な問題により、実際の応用での幅広い適用が制限されます。
この目的を達成するために、Yingmo Technology と Shanghai Tech University の研究開発チームは、これらの問題を解決するために設計されたテキストガイドによるプログレッシブ 3D 生成フレームワークを提案しました。
テキストの説明に基づいて 3D アセットを生成する
研究チームが提案したテキストガイドによるプログレッシブ 3D 生成フレームワーク (略して DreamFace) は、視覚言語モデル、暗黙的拡散モデル、物理ベースを組み合わせたものです。マテリアル拡散技術により、コンピュータ グラフィックスの制作基準に準拠した 3D アセットが生成されます。
このフレームワークの革新性は、ジオメトリ生成、物理ベースのマテリアル拡散生成、およびアニメーション機能生成の 3 つのモジュールにあります。
この作品はトップジャーナルの Transactions on Graphics に受理され、トップの国際コンピューター グラフィックス会議である SIGGRAPH 2023 で発表されます。
# プロジェクトの Web サイト: https://sites.google.com/view/dreamface
プレプリントペーパー: https://arxiv.org/abs/2304.03117
ウェブデモ: https://hyperhuman.top
HuggingFace Space: https :/ /huggingface.co/spaces/DEEMOSTECH/ChatAvatar
- は、最近の視覚言語モデルとアニメーション化可能および物理的に実体化可能な顔を組み合わせた新しい生成スキームである DreamFace を提案します アセットは個別のジオメトリに結合されます、漸進的な学習を通じて、外観とアニメーションの機能を向上させます。
- 潜在空間と画像空間で 2 段階の最適化を実行しながら、新しいマテリアル拡散モデルと事前トレーニング済みモデルを組み合わせたデュアルチャネル外観生成の設計を紹介します。
- BlendShape または生成されたパーソナライズされた BlendShape を使用した顔アセットはアニメーション化され、自然なキャラクター デザインのための DreamFace の使用をさらに実証します。
ジオメトリ生成: このモジュールは、CLIP (Contrastive Language-Image Pre-Training) 選択フレームワークを介したテキスト プロンプトに基づいて、ジオメトリ モデルを生成します。
最初に顔の幾何学的パラメータ空間から候補をランダムにサンプリングし、次にテキスト プロンプトに基づいて最も高い一致スコアを持つ大まかな幾何学的モデルを選択します。 次に、陰的拡散モデル (LDM) とスコア付き蒸留サンプリング (SDS) 処理を使用して、顔の詳細と詳細な法線マップを粗いジオメトリ モデルに追加し、高精度のジオメトリを生成します。物理ベースのマテリアル拡散生成: このモジュールは、予測されたジオメトリとテキスト ヒントを対象としています。顔のテクスチャを生成します。まず、LDM を微調整して 2 つの拡散モデルを取得します。
その後、2 つのモデルは共同トレーニング スキームを通じて調整され、1 つは U テクスチャ マップの直接ノイズ除去用、もう 1 つは画像の教師ありレンダリング用です。さらに、生成される拡散マップの品質を保証するために、ヒント学習戦略と顔以外の領域のマスキングが採用されています。 最後に、超解像度モジュールを適用して、高品質のレンダリングのための 4K 物理ベースのテクスチャを生成します。: DreamFace によって生成されたモデルにはアニメーション機能があります。従来の BlendShapes ベースのメソッドとは異なり、このフレームワークは、固有の変形を予測することでニュートラル モデルをアニメーション化し、パーソナライズされたアニメーションを生成します。 ジオメトリック ジェネレーターは最初に表現潜在空間を学習するようにトレーニングされ、次に表現エンコーダーが RGB 画像から表現特徴を抽出するようにトレーニングされます。最後に、単眼の RGB 画像を使用してパーソナライズされたアニメーションが生成されます。
指定した 3D アセットを 5 分で生成
DreamFace フレームワークは、有名人生成や説明文生成キャラクターなどのタスクで好成績を収め、ユーザー評価においても前作を上回る成果を上げています。
以上がMarvel 3D デジタル ヒューマンを 5 分で生成します!アメリカのスパイダーマンもジョーカーもそれが可能で、顔の細部は高解像度で復元されます。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ジェマの範囲で言語モデルの内部の仕組みを探る AI言語モデルの複雑さを理解することは、重要な課題です。 包括的なツールキットであるGemma ScopeのGoogleのリリースは、研究者に掘り下げる強力な方法を提供します

ビジネスの成功のロック解除:ビジネスインテリジェンスアナリストになるためのガイド 生データを組織の成長を促進する実用的な洞察に変換することを想像してください。 これはビジネスインテリジェンス(BI)アナリストの力です - GUにおける重要な役割

SQLの変更テーブルステートメント:データベースに列を動的に追加する データ管理では、SQLの適応性が重要です。 その場でデータベース構造を調整する必要がありますか? Alter Tableステートメントはあなたの解決策です。このガイドの詳細は、コルを追加します

導入 2人の専門家が重要なプロジェクトで協力している賑やかなオフィスを想像してください。 ビジネスアナリストは、会社の目標に焦点を当て、改善の分野を特定し、市場動向との戦略的整合を確保しています。 シム

Excelデータカウントと分析:カウントとカウントの機能の詳細な説明 特に大規模なデータセットを使用する場合、Excelでは、正確なデータカウントと分析が重要です。 Excelは、これを達成するためにさまざまな機能を提供し、CountおよびCounta関数は、さまざまな条件下でセルの数をカウントするための重要なツールです。両方の機能はセルをカウントするために使用されますが、設計ターゲットは異なるデータ型をターゲットにしています。 CountおよびCounta機能の特定の詳細を掘り下げ、独自の機能と違いを強調し、データ分析に適用する方法を学びましょう。 キーポイントの概要 カウントとcouを理解します

Google Chrome'sAI Revolution:パーソナライズされた効率的なブラウジングエクスペリエンス 人工知能(AI)は私たちの日常生活を急速に変換しており、Google ChromeはWebブラウジングアリーナで料金をリードしています。 この記事では、興奮を探ります

インパクトの再考:四重材のボトムライン 長い間、会話はAIの影響の狭い見方に支配されており、主に利益の最終ラインに焦点を当てています。ただし、より全体的なアプローチは、BUの相互接続性を認識しています

物事はその点に向かって着実に動いています。量子サービスプロバイダーとスタートアップに投資する投資は、業界がその重要性を理解していることを示しています。そして、その価値を示すために、現実世界のユースケースの数が増えています


ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

MinGW - Minimalist GNU for Windows
このプロジェクトは osdn.net/projects/mingw に移行中です。引き続きそこでフォローしていただけます。 MinGW: GNU Compiler Collection (GCC) のネイティブ Windows ポートであり、ネイティブ Windows アプリケーションを構築するための自由に配布可能なインポート ライブラリとヘッダー ファイルであり、C99 機能をサポートする MSVC ランタイムの拡張機能が含まれています。すべての MinGW ソフトウェアは 64 ビット Windows プラットフォームで実行できます。

EditPlus 中国語クラック版
サイズが小さく、構文の強調表示、コード プロンプト機能はサポートされていません

SublimeText3 中国語版
中国語版、とても使いやすい

SublimeText3 Linux 新バージョン
SublimeText3 Linux 最新バージョン

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境
