検索
ホームページテクノロジー周辺機器AIMarvel 3D デジタル ヒューマンを 5 分で生成します!アメリカのスパイダーマンもジョーカーもそれが可能で、顔の細部は高解像度で復元されます。

コンピュータ グラフィックスの発展に伴い、3D 生成テクノロジが徐々に研究のホットスポットになりつつあります。ただし、テキストや画像から 3D モデルを生成するには、まだ多くの課題があります。

最近、Google、NVIDIA、Microsoft などの企業が神経放射場 (NeRF) に基づく 3D 生成手法を発表しましたが、これらの手法は従来の 3D レンダリング ソフトウェア (Unity、Unreal Engine、Maya など) と互換性があります。 、など)性的な問題により、実際の応用での幅広い適用が制限されます。

この目的を達成するために、Yingmo Technology と Shanghai Tech University の研究開発チームは、これらの問題を解決するために設計されたテキストガイドによるプログレッシブ 3D 生成フレームワークを提案しました。

テキストの説明に基づいて 3D アセットを生成する

研究チームが提案したテキストガイドによるプログレッシブ 3D 生成フレームワーク (略して DreamFace) は、視覚言語モデル、暗黙的拡散モデル、物理ベースを組み合わせたものです。マテリアル拡散技術により、コンピュータ グラフィックスの制作基準に準拠した 3D アセットが生成されます。

このフレームワークの革新性は、ジオメトリ生成、物理ベースのマテリアル拡散生成、およびアニメーション機能生成の 3 つのモジュールにあります。

この作品はトップジャーナルの Transactions on Graphics に受理され、トップの国際コンピューター グラフィックス会議である SIGGRAPH 2023 で発表されます。

Marvel 3D デジタル ヒューマンを 5 分で生成します!アメリカのスパイダーマンもジョーカーもそれが可能で、顔の細部は高解像度で復元されます。

# プロジェクトの Web サイト: https://sites.google.com/view/dreamface
プレプリントペーパー: https://arxiv.org/abs/2304.03117
ウェブデモ: https://hyperhuman.top
HuggingFace Space: https :/ /huggingface.co/spaces/DEEMOSTECH/ChatAvatar

DreamFace の 3 つの主要な機能の実装方法

DreamFace には主に、ジオメトリ生成と物理ベースのマテリアルという 3 つのモジュールが含まれています拡散機能とアニメーション機能が生成されます。以前の 3D 生成作業と比較した場合、この作業の主な貢献は次のとおりです。

    は、最近の視覚言語モデルとアニメーション化可能および物理的に実体化可能な顔を組み合わせた新しい生成スキームである DreamFace を提案します アセットは個別のジオメトリに結合されます、漸進的な学習を通じて、外観とアニメーションの機能を向上させます。
  1. 潜在空間と画像空間で 2 段階の最適化を実行しながら、新しいマテリアル拡散モデルと事前トレーニング済みモデルを組み合わせたデュアルチャネル外観生成の設計を紹介します。
  2. BlendShape または生成されたパーソナライズされた BlendShape を使用した顔アセットはアニメーション化され、自然なキャラクター デザインのための DreamFace の使用をさらに実証します。

ジオメトリ生成: このモジュールは、CLIP (Contrastive Language-Image Pre-Training) 選択フレームワークを介したテキスト プロンプトに基づいて、ジオメトリ モデルを生成します。

最初に顔の幾何学的パラメータ空間から候補をランダムにサンプリングし、次にテキスト プロンプトに基づいて最も高い一致スコアを持つ大まかな幾何学的モデルを選択します。

次に、陰的拡散モデル (LDM) とスコア付き蒸留サンプリング (SDS) 処理を使用して、顔の詳細と詳細な法線マップを粗いジオメトリ モデルに追加し、高精度のジオメトリを生成します。

Marvel 3D デジタル ヒューマンを 5 分で生成します!アメリカのスパイダーマンもジョーカーもそれが可能で、顔の細部は高解像度で復元されます。

Marvel 3D デジタル ヒューマンを 5 分で生成します!アメリカのスパイダーマンもジョーカーもそれが可能で、顔の細部は高解像度で復元されます。

物理ベースのマテリアル拡散生成: このモジュールは、予測されたジオメトリとテキスト ヒントを対象としています。顔のテクスチャを生成します。まず、LDM を微調整して 2 つの拡散モデルを取得します。

その後、2 つのモデルは共同トレーニング スキームを通じて調整され、1 つは U テクスチャ マップの直接ノイズ除去用、もう 1 つは画像の教師ありレンダリング用です。さらに、生成される拡散マップの品質を保証するために、ヒント学習戦略と顔以外の領域のマスキングが採用されています。

最後に、超解像度モジュールを適用して、高品質のレンダリングのための 4K 物理ベースのテクスチャを生成します。

Marvel 3D デジタル ヒューマンを 5 分で生成します!アメリカのスパイダーマンもジョーカーもそれが可能で、顔の細部は高解像度で復元されます。

#アニメーション機能の生成

: DreamFace によって生成されたモデルにはアニメーション機能があります。従来の BlendShapes ベースのメソッドとは異なり、このフレームワークは、固有の変形を予測することでニュートラル モデルをアニメーション化し、パーソナライズされたアニメーションを生成します。 ジオメトリック ジェネレーターは最初に表現潜在空間を学習するようにトレーニングされ、次に表現エンコーダーが RGB 画像から表現特徴を抽出するようにトレーニングされます。最後に、単眼の RGB 画像を使用してパーソナライズされたアニメーションが生成されます。

指定した 3D アセットを 5 分で生成

DreamFace フレームワークは、有名人生成や説明文生成キャラクターなどのタスクで好成績を収め、ユーザー評価においても前作を上回る成果を上げています。

Marvel 3D デジタル ヒューマンを 5 分で生成します!アメリカのスパイダーマンもジョーカーもそれが可能で、顔の細部は高解像度で復元されます。

Marvel 3D デジタル ヒューマンを 5 分で生成します!アメリカのスパイダーマンもジョーカーもそれが可能で、顔の細部は高解像度で復元されます。

#同時に、既存の方法と比較して、実行時間の点で明らかな利点があります。

Marvel 3D デジタル ヒューマンを 5 分で生成します!アメリカのスパイダーマンもジョーカーもそれが可能で、顔の細部は高解像度で復元されます。

さらに、DreamFace は、ヒントとスケッチを使用したテクスチャ編集をサポートし、グローバル編集効果 (エイジング、メイクアップなど) とローカル編集効果 (など) を実現します。入れ墨として)、ひげ、あざ)。

Marvel 3D デジタル ヒューマンを 5 分で生成します!アメリカのスパイダーマンもジョーカーもそれが可能で、顔の細部は高解像度で復元されます。

映画、テレビ、ゲーム、その他の業界で使用可能

テキストガイドによるプログレッシブ 3D 生成フレームワークとして、DreamFace視覚的言語モデル、暗黙的拡散モデル、物理ベースの材料拡散技術を組み合わせて、高精度、高効率、優れた互換性で 3D 生成を実現します。

このフレームワークは、複雑な 3D 生成タスクを解決するための効果的なソリューションを提供し、同様の研究と技術開発をさらに促進することが期待されます。

さらに、物理ベースのマテリアル拡散生成とアニメーション機能生成により、映画やテレビの制作、ゲーム開発、その他の関連産業における 3D 生成テクノロジーの応用が促進されます。

以上がMarvel 3D デジタル ヒューマンを 5 分で生成します!アメリカのスパイダーマンもジョーカーもそれが可能で、顔の細部は高解像度で復元されます。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事は51CTO.COMで複製されています。侵害がある場合は、admin@php.cn までご連絡ください。
Gemma Scope:AI'の思考プロセスを覗くためのGoogle'の顕微鏡Gemma Scope:AI'の思考プロセスを覗くためのGoogle'の顕微鏡Apr 17, 2025 am 11:55 AM

ジェマの範囲で言語モデルの内部の仕組みを探る AI言語モデルの複雑さを理解することは、重要な課題です。 包括的なツールキットであるGemma ScopeのGoogleのリリースは、研究者に掘り下げる強力な方法を提供します

ビジネスインテリジェンスアナリストは誰で、どのようになるか?ビジネスインテリジェンスアナリストは誰で、どのようになるか?Apr 17, 2025 am 11:44 AM

ビジネスの成功のロック解除:ビジネスインテリジェンスアナリストになるためのガイド 生データを組織の成長を促進する実用的な洞察に変換することを想像してください。 これはビジネスインテリジェンス(BI)アナリストの力です - GUにおける重要な役割

SQLに列を追加する方法は? - 分析VidhyaSQLに列を追加する方法は? - 分析VidhyaApr 17, 2025 am 11:43 AM

SQLの変更テーブルステートメント:データベースに列を動的に追加する データ管理では、SQLの適応性が重要です。 その場でデータベース構造を調整する必要がありますか? Alter Tableステートメントはあなたの解決策です。このガイドの詳細は、コルを追加します

ビジネスアナリストとデータアナリストビジネスアナリストとデータアナリストApr 17, 2025 am 11:38 AM

導入 2人の専門家が重要なプロジェクトで協力している賑やかなオフィスを想像してください。 ビジネスアナリストは、会社の目標に焦点を当て、改善の分野を特定し、市場動向との戦略的整合を確保しています。 シム

ExcelのCountとCountaとは何ですか? - 分析VidhyaExcelのCountとCountaとは何ですか? - 分析VidhyaApr 17, 2025 am 11:34 AM

Excelデータカウントと分析:カウントとカウントの機能の詳細な説明 特に大規模なデータセットを使用する場合、Excelでは、正確なデータカウントと分析が重要です。 Excelは、これを達成するためにさまざまな機能を提供し、CountおよびCounta関数は、さまざまな条件下でセルの数をカウントするための重要なツールです。両方の機能はセルをカウントするために使用されますが、設計ターゲットは異なるデータ型をターゲットにしています。 CountおよびCounta機能の特定の詳細を掘り下げ、独自の機能と違いを強調し、データ分析に適用する方法を学びましょう。 キーポイントの概要 カウントとcouを理解します

ChromeはAIと一緒にここにいます:毎日何か新しいことを体験してください!!ChromeはAIと一緒にここにいます:毎日何か新しいことを体験してください!!Apr 17, 2025 am 11:29 AM

Google Chrome'sAI Revolution:パーソナライズされた効率的なブラウジングエクスペリエンス 人工知能(AI)は私たちの日常生活を急速に変換しており、Google ChromeはWebブラウジングアリーナで料金をリードしています。 この記事では、興奮を探ります

ai' s Human Side:Wellbeing and the Quadruple bottuntai' s Human Side:Wellbeing and the Quadruple bottuntApr 17, 2025 am 11:28 AM

インパクトの再考:四重材のボトムライン 長い間、会話はAIの影響の狭い見方に支配されており、主に利益の最終ラインに焦点を当てています。ただし、より全体的なアプローチは、BUの相互接続性を認識しています

5ゲームを変える量子コンピューティングの使用ケースあなたが知っておくべきである5ゲームを変える量子コンピューティングの使用ケースあなたが知っておくべきであるApr 17, 2025 am 11:24 AM

物事はその点に向かって着実に動いています。量子サービスプロバイダーとスタートアップに投資する投資は、業界がその重要性を理解していることを示しています。そして、その価値を示すために、現実世界のユースケースの数が増えています

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

このプロジェクトは osdn.net/projects/mingw に移行中です。引き続きそこでフォローしていただけます。 MinGW: GNU Compiler Collection (GCC) のネイティブ Windows ポートであり、ネイティブ Windows アプリケーションを構築するための自由に配布可能なインポート ライブラリとヘッダー ファイルであり、C99 機能をサポートする MSVC ランタイムの拡張機能が含まれています。すべての MinGW ソフトウェアは 64 ビット Windows プラットフォームで実行できます。

EditPlus 中国語クラック版

EditPlus 中国語クラック版

サイズが小さく、構文の強調表示、コード プロンプト機能はサポートされていません

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

SublimeText3 Linux 新バージョン

SublimeText3 Linux 新バージョン

SublimeText3 Linux 最新バージョン

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境