検索
ホームページテクノロジー周辺機器AIMarvel 3D デジタル ヒューマンを 5 分で生成します!アメリカのスパイダーマンもジョーカーもそれが可能で、顔の細部は高解像度で復元されます。

コンピュータ グラフィックスの発展に伴い、3D 生成テクノロジが徐々に研究のホットスポットになりつつあります。ただし、テキストや画像から 3D モデルを生成するには、まだ多くの課題があります。

最近、Google、NVIDIA、Microsoft などの企業が神経放射場 (NeRF) に基づく 3D 生成手法を発表しましたが、これらの手法は従来の 3D レンダリング ソフトウェア (Unity、Unreal Engine、Maya など) と互換性があります。 、など)性的な問題により、実際の応用での幅広い適用が制限されます。

この目的を達成するために、Yingmo Technology と Shanghai Tech University の研究開発チームは、これらの問題を解決するために設計されたテキストガイドによるプログレッシブ 3D 生成フレームワークを提案しました。

テキストの説明に基づいて 3D アセットを生成する

研究チームが提案したテキストガイドによるプログレッシブ 3D 生成フレームワーク (略して DreamFace) は、視覚言語モデル、暗黙的拡散モデル、物理ベースを組み合わせたものです。マテリアル拡散技術により、コンピュータ グラフィックスの制作基準に準拠した 3D アセットが生成されます。

このフレームワークの革新性は、ジオメトリ生成、物理ベースのマテリアル拡散生成、およびアニメーション機能生成の 3 つのモジュールにあります。

この作品はトップジャーナルの Transactions on Graphics に受理され、トップの国際コンピューター グラフィックス会議である SIGGRAPH 2023 で発表されます。

Marvel 3D デジタル ヒューマンを 5 分で生成します!アメリカのスパイダーマンもジョーカーもそれが可能で、顔の細部は高解像度で復元されます。

# プロジェクトの Web サイト: https://sites.google.com/view/dreamface
プレプリントペーパー: https://arxiv.org/abs/2304.03117
ウェブデモ: https://hyperhuman.top
HuggingFace Space: https :/ /huggingface.co/spaces/DEEMOSTECH/ChatAvatar

DreamFace の 3 つの主要な機能の実装方法

DreamFace には主に、ジオメトリ生成と物理ベースのマテリアルという 3 つのモジュールが含まれています拡散機能とアニメーション機能が生成されます。以前の 3D 生成作業と比較した場合、この作業の主な貢献は次のとおりです。

    は、最近の視覚言語モデルとアニメーション化可能および物理的に実体化可能な顔を組み合わせた新しい生成スキームである DreamFace を提案します アセットは個別のジオメトリに結合されます、漸進的な学習を通じて、外観とアニメーションの機能を向上させます。
  1. 潜在空間と画像空間で 2 段階の最適化を実行しながら、新しいマテリアル拡散モデルと事前トレーニング済みモデルを組み合わせたデュアルチャネル外観生成の設計を紹介します。
  2. BlendShape または生成されたパーソナライズされた BlendShape を使用した顔アセットはアニメーション化され、自然なキャラクター デザインのための DreamFace の使用をさらに実証します。

ジオメトリ生成: このモジュールは、CLIP (Contrastive Language-Image Pre-Training) 選択フレームワークを介したテキスト プロンプトに基づいて、ジオメトリ モデルを生成します。

最初に顔の幾何学的パラメータ空間から候補をランダムにサンプリングし、次にテキスト プロンプトに基づいて最も高い一致スコアを持つ大まかな幾何学的モデルを選択します。

次に、陰的拡散モデル (LDM) とスコア付き蒸留サンプリング (SDS) 処理を使用して、顔の詳細と詳細な法線マップを粗いジオメトリ モデルに追加し、高精度のジオメトリを生成します。

Marvel 3D デジタル ヒューマンを 5 分で生成します!アメリカのスパイダーマンもジョーカーもそれが可能で、顔の細部は高解像度で復元されます。

Marvel 3D デジタル ヒューマンを 5 分で生成します!アメリカのスパイダーマンもジョーカーもそれが可能で、顔の細部は高解像度で復元されます。

物理ベースのマテリアル拡散生成: このモジュールは、予測されたジオメトリとテキスト ヒントを対象としています。顔のテクスチャを生成します。まず、LDM を微調整して 2 つの拡散モデルを取得します。

その後、2 つのモデルは共同トレーニング スキームを通じて調整され、1 つは U テクスチャ マップの直接ノイズ除去用、もう 1 つは画像の教師ありレンダリング用です。さらに、生成される拡散マップの品質を保証するために、ヒント学習戦略と顔以外の領域のマスキングが採用されています。

最後に、超解像度モジュールを適用して、高品質のレンダリングのための 4K 物理ベースのテクスチャを生成します。

Marvel 3D デジタル ヒューマンを 5 分で生成します!アメリカのスパイダーマンもジョーカーもそれが可能で、顔の細部は高解像度で復元されます。

#アニメーション機能の生成

: DreamFace によって生成されたモデルにはアニメーション機能があります。従来の BlendShapes ベースのメソッドとは異なり、このフレームワークは、固有の変形を予測することでニュートラル モデルをアニメーション化し、パーソナライズされたアニメーションを生成します。 ジオメトリック ジェネレーターは最初に表現潜在空間を学習するようにトレーニングされ、次に表現エンコーダーが RGB 画像から表現特徴を抽出するようにトレーニングされます。最後に、単眼の RGB 画像を使用してパーソナライズされたアニメーションが生成されます。

指定した 3D アセットを 5 分で生成

DreamFace フレームワークは、有名人生成や説明文生成キャラクターなどのタスクで好成績を収め、ユーザー評価においても前作を上回る成果を上げています。

Marvel 3D デジタル ヒューマンを 5 分で生成します!アメリカのスパイダーマンもジョーカーもそれが可能で、顔の細部は高解像度で復元されます。

Marvel 3D デジタル ヒューマンを 5 分で生成します!アメリカのスパイダーマンもジョーカーもそれが可能で、顔の細部は高解像度で復元されます。

#同時に、既存の方法と比較して、実行時間の点で明らかな利点があります。

Marvel 3D デジタル ヒューマンを 5 分で生成します!アメリカのスパイダーマンもジョーカーもそれが可能で、顔の細部は高解像度で復元されます。

さらに、DreamFace は、ヒントとスケッチを使用したテクスチャ編集をサポートし、グローバル編集効果 (エイジング、メイクアップなど) とローカル編集効果 (など) を実現します。入れ墨として)、ひげ、あざ)。

Marvel 3D デジタル ヒューマンを 5 分で生成します!アメリカのスパイダーマンもジョーカーもそれが可能で、顔の細部は高解像度で復元されます。

映画、テレビ、ゲーム、その他の業界で使用可能

テキストガイドによるプログレッシブ 3D 生成フレームワークとして、DreamFace視覚的言語モデル、暗黙的拡散モデル、物理ベースの材料拡散技術を組み合わせて、高精度、高効率、優れた互換性で 3D 生成を実現します。

このフレームワークは、複雑な 3D 生成タスクを解決するための効果的なソリューションを提供し、同様の研究と技術開発をさらに促進することが期待されます。

さらに、物理ベースのマテリアル拡散生成とアニメーション機能生成により、映画やテレビの制作、ゲーム開発、その他の関連産業における 3D 生成テクノロジーの応用が促進されます。

以上がMarvel 3D デジタル ヒューマンを 5 分で生成します!アメリカのスパイダーマンもジョーカーもそれが可能で、顔の細部は高解像度で復元されます。の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事は51CTO.COMで複製されています。侵害がある場合は、admin@php.cn までご連絡ください。
Huggingface smollmであなたの個人的なAIアシスタントを構築する方法Huggingface smollmであなたの個人的なAIアシスタントを構築する方法Apr 18, 2025 am 11:52 AM

オンデバイスAIの力を活用:個人的なチャットボットCLIの構築 最近では、個人的なAIアシスタントの概念はサイエンスフィクションのように見えました。 ハイテク愛好家のアレックスを想像して、賢くて地元のAI仲間を夢見ています。

メンタルヘルスのためのAIは、スタンフォード大学でのエキサイティングな新しいイニシアチブによって注意深く分析されますメンタルヘルスのためのAIは、スタンフォード大学でのエキサイティングな新しいイニシアチブによって注意深く分析されますApr 18, 2025 am 11:49 AM

AI4MHの最初の発売は2025年4月15日に開催され、有名な精神科医および神経科学者であるLuminary Dr. Tom Insel博士がキックオフスピーカーを務めました。 Insel博士は、メンタルヘルス研究とテクノでの彼の傑出した仕事で有名です

2025年のWNBAドラフトクラスは、成長し、オンラインハラスメントの成長と戦いに参加します2025年のWNBAドラフトクラスは、成長し、オンラインハラスメントの成長と戦いに参加しますApr 18, 2025 am 11:44 AM

「私たちは、WNBAが、すべての人、プレイヤー、ファン、企業パートナーが安全であり、大切になり、力を与えられたスペースであることを保証したいと考えています」とエンゲルバートは述べ、女性のスポーツの最も有害な課題の1つになったものに取り組んでいます。 アノ

Pythonビルトインデータ構造の包括的なガイド-AnalyticsVidhyaPythonビルトインデータ構造の包括的なガイド-AnalyticsVidhyaApr 18, 2025 am 11:43 AM

導入 Pythonは、特にデータサイエンスと生成AIにおいて、プログラミング言語として優れています。 大規模なデータセットを処理する場合、効率的なデータ操作(ストレージ、管理、アクセス)が重要です。 以前に数字とstをカバーしてきました

Openaiの新しいモデルからの代替案からの第一印象Openaiの新しいモデルからの代替案からの第一印象Apr 18, 2025 am 11:41 AM

潜る前に、重要な注意事項:AIパフォーマンスは非決定論的であり、非常にユースケース固有です。簡単に言えば、走行距離は異なる場合があります。この(または他の)記事を最終的な単語として撮影しないでください。これらのモデルを独自のシナリオでテストしないでください

AIポートフォリオ| AIキャリアのためにポートフォリオを構築する方法は?AIポートフォリオ| AIキャリアのためにポートフォリオを構築する方法は?Apr 18, 2025 am 11:40 AM

傑出したAI/MLポートフォリオの構築:初心者と専門家向けガイド 説得力のあるポートフォリオを作成することは、人工知能(AI)と機械学習(ML)で役割を確保するために重要です。 このガイドは、ポートフォリオを構築するためのアドバイスを提供します

エージェントAIがセキュリティ運用にとって何を意味するのかエージェントAIがセキュリティ運用にとって何を意味するのかApr 18, 2025 am 11:36 AM

結果?燃え尽き症候群、非効率性、および検出とアクションの間の隙間が拡大します。これは、サイバーセキュリティで働く人にとってはショックとしてはありません。 しかし、エージェントAIの約束は潜在的なターニングポイントとして浮上しています。この新しいクラス

Google対Openai:学生のためのAIの戦いGoogle対Openai:学生のためのAIの戦いApr 18, 2025 am 11:31 AM

即時の影響と長期パートナーシップ? 2週間前、Openaiは強力な短期オファーで前進し、2025年5月末までに米国およびカナダの大学生にChatGpt Plusに無料でアクセスできます。このツールにはGPT ‑ 4o、Aが含まれます。

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

SecLists

SecLists

SecLists は、セキュリティ テスターの究極の相棒です。これは、セキュリティ評価中に頻繁に使用されるさまざまな種類のリストを 1 か所にまとめたものです。 SecLists は、セキュリティ テスターが必要とする可能性のあるすべてのリストを便利に提供することで、セキュリティ テストをより効率的かつ生産的にするのに役立ちます。リストの種類には、ユーザー名、パスワード、URL、ファジング ペイロード、機密データ パターン、Web シェルなどが含まれます。テスターはこのリポジトリを新しいテスト マシンにプルするだけで、必要なあらゆる種類のリストにアクセスできるようになります。

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

AtomエディタMac版ダウンロード

AtomエディタMac版ダウンロード

最も人気のあるオープンソースエディター

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

このプロジェクトは osdn.net/projects/mingw に移行中です。引き続きそこでフォローしていただけます。 MinGW: GNU Compiler Collection (GCC) のネイティブ Windows ポートであり、ネイティブ Windows アプリケーションを構築するための自由に配布可能なインポート ライブラリとヘッダー ファイルであり、C99 機能をサポートする MSVC ランタイムの拡張機能が含まれています。すべての MinGW ソフトウェアは 64 ビット Windows プラットフォームで実行できます。