現在、科学技術の急速な発展に伴い、生成型人工知能やコンピュータグラフィックス分野の研究がますます注目を集めており、映画やテレビの制作、ゲーム開発などの業界は大きな課題とチャンスに直面しています。この記事では、3D 生成分野の研究について紹介します。DreamFace は、プロダクション対応の 3D アセット生成をサポートする初のテキストガイドによるプログレッシブ 3D 生成フレームワークで、テキスト生成主導の 3D 超現実的なデジタル ピープルを可能にします。
この作品は、コンピュータ グラフィックス分野のトップ国際ジャーナルである Transactions on Graphics に受理され、コンピュータ グラフィックスに関するトップの国際会議である SIGGRAPH 2023 で発表される予定です。
#プロジェクトのウェブサイト: https://sites.google.com/view/dreamface
論文のプレプリント版: https://arxiv.org/abs/2304.03117
Webデモ: https://hyperhuman.top
##HuggingFace Space:https://huggingface.co/spaces/DEEMOSTECH/ChatAvatar #はじめに
テキストと画像の生成技術における大きな進歩以来、3D 生成技術は徐々に科学研究と産業界の注目を集めるようになりました。しかし、現在市場にある 3D 生成テクノロジーは、CG パイプラインの互換性の問題、精度の問題、実行速度の問題など、依然として多くの課題に直面しています。
これらの問題を解決するために、Yingmo Technology と上海科技大学の研究開発チームは、テキストガイドによるプログレッシブ 3D 生成フレームワークである DreamFace を提案しました。このフレームワークは、CG 制作標準に準拠した 3D アセットを、より高い精度、より高速な実行速度、より優れた CG パイプライン互換性で直接生成できます。この記事では、DreamFace の主な機能を詳細に紹介し、映画やテレビの制作、ゲーム開発、その他の業界での応用の可能性を探ります。
DreamFace フレームワークの概要
##DreamFace フレームワークには、主に 3 つのモジュールが含まれています: ジオメトリ生成、物理ベースのマテリアル拡散生成とアニメーション機能生成。これら 3 つのモジュールは相互に補完し、効率的で信頼性の高い 3D 生成テクノロジーを実現します。
#ジオメトリの生成
##ジオメトリ生成モジュール中心的なタスクは、テキスト プロンプトと一致する幾何学的モデルを生成することです。 DreamFace は、CLIP (Contrastive Language-Image Pre-Training) に基づく選択フレームワークを採用しています。これは、最初に顔の幾何学的パラメータ空間内でランダムにサンプリングされた候補から最適な大まかな幾何学モデルを選択し、次にそれを暗黙的拡散モデル (LDM) 幾何学的モデルを通じて彫刻します。頭部モデルとテキスト キューの一貫性を高めるための詳細。さらに、このフレームワークは、テキスト プロンプトに基づいたヘア スタイルと色の生成をサポートします。
#物理ベースの材料拡散生成
物理ベースのマテリアル拡散生成モジュールは、予測されたジオメトリやテキストの手がかりと一致する顔のテクスチャを予測するように設計されています。 DreamFace はまず、収集された大規模な UV マテリアル データセットで事前トレーニングされた LDM を微調整し、2 つの LDM 拡散モデルを取得しました。次に、共同トレーニング スキームを使用して 2 つの拡散プロセスを調整します。1 つは UV テクスチャ マップの直接ノイズ除去用で、もう 1 つは教師付きレンダリング イメージ用です。
作成されたテクスチャ マップに望ましくない特徴や照明状況が含まれないようにしながら、多様性を維持するために、キュー学習戦略が設計されました。チームは、高品質の拡散マップを生成するために 2 つの方法を使用しています: (1) プロンプト チューニング。手作りのドメイン固有のテキスト キューとは異なり、DreamFace は 2 つのドメイン固有の連続テキスト キュー Cd および Cu を対応するテキスト キューと組み合わせます。これらは U-Net デノイザー トレーニング中に最適化され、不安定性や時間のかかるプロンプトの手動作成を回避します。 (2) 顔以外の部分をマスキングします。 LDM ノイズ除去プロセスは、結果として得られる拡散マップに不要な要素が含まれないようにするために、非顔領域マスクによってさらに制約されます。 最後に、高品質のレンダリングのために超解像度モジュールを介して 4K 物理ベースのテクスチャが生成されます。
##アニメーション アビリティの生成
アプリケーションと Outlook
以上がDreamFace: 一文で 3D デジタル ヒューマンを生成しますか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

スタンフォード大学ヒト指向の人工知能研究所によってリリースされた2025年の人工知能インデックスレポートは、進行中の人工知能革命の良い概要を提供します。 4つの単純な概念で解釈しましょう:認知(何が起こっているのかを理解する)、感謝(利益を見る)、受け入れ(顔の課題)、責任(責任を見つける)。 認知:人工知能はどこにでもあり、急速に発展しています 私たちは、人工知能がどれほど速く発展し、広がっているかを強く認識する必要があります。人工知能システムは絶えず改善されており、数学と複雑な思考テストで優れた結果を達成しており、わずか1年前にこれらのテストで惨めに失敗しました。 2023年以来、複雑なコーディングの問題や大学院レベルの科学的問題を解決することを想像してみてください

メタのラマ3.2:マルチモーダルとモバイルAIの前進 メタは最近、ラマ3.2を発表しました。これは、モバイルデバイス向けに最適化された強力なビジョン機能と軽量テキストモデルを特徴とするAIの大幅な進歩です。 成功に基づいてo

今週のAIの風景:進歩、倫理的考慮、規制の議論の旋風。 Openai、Google、Meta、Microsoftのような主要なプレーヤーは、画期的な新しいモデルからLEの重要な変化まで、アップデートの急流を解き放ちました

つながりの慰めの幻想:私たちはAIとの関係において本当に繁栄していますか? この質問は、MIT Media Labの「AI(AHA)で人間を進める」シンポジウムの楽観的なトーンに挑戦しました。イベントではCondedgを紹介している間

導入 あなたが科学者またはエンジニアで複雑な問題に取り組んでいると想像してください - 微分方程式、最適化の課題、またはフーリエ分析。 Pythonの使いやすさとグラフィックスの機能は魅力的ですが、これらのタスクは強力なツールを必要とします

メタのラマ3.2:マルチモーダルAIパワーハウス Metaの最新のマルチモーダルモデルであるLlama 3.2は、AIの大幅な進歩を表しており、言語理解の向上、精度の向上、および優れたテキスト生成機能を誇っています。 その能力t

データ品質保証:ダグスターと大きな期待でチェックを自動化する データ駆動型のビジネスにとって、高いデータ品質を維持することが重要です。 データの量とソースが増加するにつれて、手動の品質管理は非効率的でエラーが発生しやすくなります。

MainFrames:AI革命のUnsung Heroes サーバーは汎用アプリケーションで優れており、複数のクライアントの処理を行いますが、メインフレームは大量のミッションクリティカルなタスク用に構築されています。 これらの強力なシステムは、頻繁にヘビルで見られます


ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

MinGW - Minimalist GNU for Windows
このプロジェクトは osdn.net/projects/mingw に移行中です。引き続きそこでフォローしていただけます。 MinGW: GNU Compiler Collection (GCC) のネイティブ Windows ポートであり、ネイティブ Windows アプリケーションを構築するための自由に配布可能なインポート ライブラリとヘッダー ファイルであり、C99 機能をサポートする MSVC ランタイムの拡張機能が含まれています。すべての MinGW ソフトウェアは 64 ビット Windows プラットフォームで実行できます。

PhpStorm Mac バージョン
最新(2018.2.1)のプロフェッショナル向けPHP統合開発ツール

SublimeText3 中国語版
中国語版、とても使いやすい

SublimeText3 英語版
推奨: Win バージョン、コードプロンプトをサポート!

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境
