検索
ホームページテクノロジー周辺機器AIDreamFace: 一文で 3D デジタル ヒューマンを生成しますか?

現在、科学技術の急速な発展に伴い、生成型人工知能やコンピュータグラフィックス分野の研究がますます注目を集めており、映画やテレビの制作、ゲーム開発などの業界は大きな課題とチャンスに直面しています。この記事では、3D 生成分野の研究について紹介します。DreamFace は、プロダクション対応の 3D アセット生成をサポートする初のテキストガイドによるプログレッシブ 3D 生成フレームワークで、テキスト生成主導の 3D 超現実的なデジタル ピープルを可能にします。

この作品は、コンピュータ グラフィックス分野のトップ国際ジャーナルである Transactions on Graphics に受理され、コンピュータ グラフィックスに関するトップの国際会議である SIGGRAPH 2023 で発表される予定です。

DreamFace:一句话生成 3D 数字人?

#プロジェクトのウェブサイト: https://sites.google.com/view/dreamface

論文のプレプリント版: https://arxiv.org/abs/2304.03117

Webデモ: https://hyperhuman.top

##HuggingFace Space:https://huggingface.co/spaces/DEEMOSTECH/ChatAvatar #はじめに

テキストと画像の生成技術における大きな進歩以来、3D 生成技術は徐々に科学研究と産業界の注目を集めるようになりました。しかし、現在市場にある 3D 生成テクノロジーは、CG パイプラインの互換性の問題、精度の問題、実行速度の問題など、依然として多くの課題に直面しています。

これらの問題を解決するために、Yingmo Technology と上海科技大学の研究開発チームは、テキストガイドによるプログレッシブ 3D 生成フレームワークである DreamFace を提案しました。このフレームワークは、CG 制作標準に準拠した 3D アセットを、より高い精度、より高速な実行速度、より優れた CG パイプライン互換性で直接生成できます。この記事では、DreamFace の主な機能を詳細に紹介し、映画やテレビの制作、ゲーム開発、その他の業界での応用の可能性を探ります。

DreamFace フレームワークの概要

DreamFace:一句话生成 3D 数字人?##DreamFace フレームワークには、主に 3 つのモジュールが含まれています: ジオメトリ生成、物理ベースのマテリアル拡散生成とアニメーション機能生成。これら 3 つのモジュールは相互に補完し、効率的で信頼性の高い 3D 生成テクノロジーを実現します。

#ジオメトリの生成

##ジオメトリ生成モジュール中心的なタスクは、テキスト プロンプトと一致する幾何学的モデルを生成することです。 DreamFace は、CLIP (Contrastive Language-Image Pre-Training) に基づく選択フレームワークを採用しています。これは、最初に顔の幾何学的パラメータ空間内でランダムにサンプリングされた候補から最適な大まかな幾何学モデルを選択し、次にそれを暗黙的拡散モデル (LDM) 幾何学的モデルを通じて彫刻します。頭部モデルとテキスト キューの一貫性を高めるための詳細。さらに、このフレームワークは、テキスト プロンプトに基づいたヘア スタイルと色の生成をサポートします。

DreamFace:一句话生成 3D 数字人?

#物理ベースの材料拡散生成

DreamFace:一句话生成 3D 数字人?

物理ベースのマテリアル拡散生成モジュールは、予測されたジオメトリやテキストの手がかりと一致する顔のテクスチャを予測するように設計されています。 DreamFace はまず、収集された大規模な UV マテリアル データセットで事前トレーニングされた LDM を微調整し、2 つの LDM 拡散モデルを取得しました。次に、共同トレーニング スキームを使用して 2 つの拡散プロセスを調整します。1 つは UV テクスチャ マップの直接ノイズ除去用で、もう 1 つは教師付きレンダリング イメージ用です。

DreamFace:一句话生成 3D 数字人?

作成されたテクスチャ マップに望ましくない特徴や照明状況が含まれないようにしながら、多様性を維持するために、キュー学習戦略が設計されました。チームは、高品質の拡散マップを生成するために 2 つの方法を使用しています: (1) プロンプト チューニング。手作りのドメイン固有のテキスト キューとは異なり、DreamFace は 2 つのドメイン固有の連続テキスト キュー Cd および Cu を対応するテキスト キューと組み合わせます。これらは U-Net デノイザー トレーニング中に最適化され、不安定性や時間のかかるプロンプトの手動作成を回避します。 (2) 顔以外の部分をマスキングします。 LDM ノイズ除去プロセスは、結果として得られる拡散マップに不要な要素が含まれないようにするために、非顔領域マスクによってさらに制約されます。

最後に、高品質のレンダリングのために超解像度モジュールを介して 4K 物理ベースのテクスチャが生成されます。

DreamFace:一句话生成 3D 数字人?


DreamFace:一句话生成 3D 数字人?

DreamFace:一句话生成 3D 数字人?

##アニメーション アビリティの生成

DreamFace:一句话生成 3D 数字人?

##DreamFace生成されたモデルにはアニメーション機能があります。固有の変形を予測し、結果のニュートラル モデルをアニメーション化することで、パーソナライズされたアニメーションを生成します。 DreamFace のニューラル フェイシャル アニメーション アプローチは、表情制御に一般的な BlendShape を使用するアプローチと比較して、より細かい表情の詳細を提供し、パフォーマンスを詳細にキャプチャします。

アプリケーションと Outlook

DreamFace:一句话生成 3D 数字人?

DreamFace フレームワークは、有名人の生成とキャラクターの生成において、次のような成果を上げています。素晴らしい結果が得られました。さらに、キューやスケッチを使用したテクスチャ編集は、エイジングやメイクアップなどのグローバル編集エフェクトに対してサポートされています。さらにマスクやスケッチを組み合わせることで、タトゥーやヒゲ、あざなどさまざまな効果を生み出すことができます。

DreamFace:一句话生成 3D 数字人?

DreamFace のプログレッシブ生成フレームワークは、複雑な 3D 生成タスクに対する効果的なソリューションを提供し、同様の研究と技術をさらに促進することが期待されています。発達。また、物理ベースのマテリアル拡散生成やアニメーション機能生成により、映画やテレビ制作、ゲーム開発などの関連業界への3D生成技術の応用が促進され、今後の発展と応用に注目していきたいと思います。

以上がDreamFace: 一文で 3D デジタル ヒューマンを生成しますか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事は51CTO.COMで複製されています。侵害がある場合は、admin@php.cn までご連絡ください。
AIインデックス2025を読む:AIはあなたの友人、敵、または副操縦士ですか?AIインデックス2025を読む:AIはあなたの友人、敵、または副操縦士ですか?Apr 11, 2025 pm 12:13 PM

スタンフォード大学ヒト指向の人工知能研究所によってリリースされた2025年の人工知能インデックスレポートは、進行中の人工知能革命の良い概要を提供します。 4つの単純な概念で解釈しましょう:認知(何が起こっているのかを理解する)、感謝(利益を見る)、受け入れ(顔の課題)、責任(責任を見つける)。 認知:人工知能はどこにでもあり、急速に発展しています 私たちは、人工知能がどれほど速く発展し、広がっているかを強く認識する必要があります。人工知能システムは絶えず改善されており、数学と複雑な思考テストで優れた結果を達成しており、わずか1年前にこれらのテストで惨めに失敗しました。 2023年以来、複雑なコーディングの問題や大学院レベルの科学的問題を解決することを想像してみてください

Meta Llama 3.2を始めましょう - 分析VidhyaMeta Llama 3.2を始めましょう - 分析VidhyaApr 11, 2025 pm 12:04 PM

メタのラマ3.2:マルチモーダルとモバイルAIの前進 メタは最近、ラマ3.2を発表しました。これは、モバイルデバイス向けに最適化された強力なビジョン機能と軽量テキストモデルを特徴とするAIの大幅な進歩です。 成功に基づいてo

AVバイト:Meta' s llama 3.2、GoogleのGemini 1.5などAVバイト:Meta' s llama 3.2、GoogleのGemini 1.5などApr 11, 2025 pm 12:01 PM

今週のAIの風景:進歩、倫理的考慮、規制の議論の旋風。 Openai、Google、Meta、Microsoftのような主要なプレーヤーは、画期的な新しいモデルからLEの重要な変化まで、アップデートの急流を解き放ちました

マシンと話すための人的費用:チャットボットは本当に気にすることができますか?マシンと話すための人的費用:チャットボットは本当に気にすることができますか?Apr 11, 2025 pm 12:00 PM

つながりの慰めの幻想:私たちはAIとの関係において本当に繁栄していますか? この質問は、MIT Media Labの「AI(AHA)で人間を進める」シンポジウムの楽観的なトーンに挑戦しました。イベントではCondedgを紹介している間

PythonのScipy Libraryの理解PythonのScipy Libraryの理解Apr 11, 2025 am 11:57 AM

導入 あなたが科学者またはエンジニアで複雑な問題に取り組んでいると想像してください - 微分方程式、最適化の課題、またはフーリエ分析。 Pythonの使いやすさとグラフィックスの機能は魅力的ですが、これらのタスクは強力なツールを必要とします

ラマ3.2を実行する3つの方法-Analytics Vidhyaラマ3.2を実行する3つの方法-Analytics VidhyaApr 11, 2025 am 11:56 AM

メタのラマ3.2:マルチモーダルAIパワーハウス Metaの最新のマルチモーダルモデルであるLlama 3.2は、AIの大幅な進歩を表しており、言語理解の向上、精度の向上、および優れたテキスト生成機能を誇っています。 その能力t

Dagsterでデータ品質チェックを自動化しますDagsterでデータ品質チェックを自動化しますApr 11, 2025 am 11:44 AM

データ品質保証:ダグスターと大きな期待でチェックを自動化する データ駆動型のビジネスにとって、高いデータ品質を維持することが重要です。 データの量とソースが増加するにつれて、手動の品質管理は非効率的でエラーが発生しやすくなります。

メインフレームはAI時代に役割を果たしていますか?メインフレームはAI時代に役割を果たしていますか?Apr 11, 2025 am 11:42 AM

MainFrames:AI革命のUnsung Heroes サーバーは汎用アプリケーションで優れており、複数のクライアントの処理を行いますが、メインフレームは大量のミッションクリティカルなタスク用に構築されています。 これらの強力なシステムは、頻繁にヘビルで見られます

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

このプロジェクトは osdn.net/projects/mingw に移行中です。引き続きそこでフォローしていただけます。 MinGW: GNU Compiler Collection (GCC) のネイティブ Windows ポートであり、ネイティブ Windows アプリケーションを構築するための自由に配布可能なインポート ライブラリとヘッダー ファイルであり、C99 機能をサポートする MSVC ランタイムの拡張機能が含まれています。すべての MinGW ソフトウェアは 64 ビット Windows プラットフォームで実行できます。

PhpStorm Mac バージョン

PhpStorm Mac バージョン

最新(2018.2.1)のプロフェッショナル向けPHP統合開発ツール

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

SublimeText3 英語版

SublimeText3 英語版

推奨: Win バージョン、コードプロンプトをサポート!

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境