現在、科学技術の急速な発展に伴い、生成型人工知能やコンピュータグラフィックス分野の研究がますます注目を集めており、映画やテレビの制作、ゲーム開発などの業界は大きな課題とチャンスに直面しています。この記事では、3D 生成分野の研究について紹介します。DreamFace は、プロダクション対応の 3D アセット生成をサポートする初のテキストガイドによるプログレッシブ 3D 生成フレームワークで、テキスト生成主導の 3D 超現実的なデジタル ピープルを可能にします。
この作品は、コンピュータ グラフィックス分野のトップ国際ジャーナルである Transactions on Graphics に受理され、コンピュータ グラフィックスに関するトップの国際会議である SIGGRAPH 2023 で発表される予定です。
#プロジェクトのウェブサイト: https://sites.google.com/view/dreamface
論文のプレプリント版: https://arxiv.org/abs/2304.03117
Webデモ: https://hyperhuman.top
##HuggingFace Space:https://huggingface.co/spaces/DEEMOSTECH/ChatAvatar #はじめに
テキストと画像の生成技術における大きな進歩以来、3D 生成技術は徐々に科学研究と産業界の注目を集めるようになりました。しかし、現在市場にある 3D 生成テクノロジーは、CG パイプラインの互換性の問題、精度の問題、実行速度の問題など、依然として多くの課題に直面しています。
これらの問題を解決するために、Yingmo Technology と上海科技大学の研究開発チームは、テキストガイドによるプログレッシブ 3D 生成フレームワークである DreamFace を提案しました。このフレームワークは、CG 制作標準に準拠した 3D アセットを、より高い精度、より高速な実行速度、より優れた CG パイプライン互換性で直接生成できます。この記事では、DreamFace の主な機能を詳細に紹介し、映画やテレビの制作、ゲーム開発、その他の業界での応用の可能性を探ります。
DreamFace フレームワークの概要
##DreamFace フレームワークには、主に 3 つのモジュールが含まれています: ジオメトリ生成、物理ベースのマテリアル拡散生成とアニメーション機能生成。これら 3 つのモジュールは相互に補完し、効率的で信頼性の高い 3D 生成テクノロジーを実現します。
#ジオメトリの生成
##ジオメトリ生成モジュール中心的なタスクは、テキスト プロンプトと一致する幾何学的モデルを生成することです。 DreamFace は、CLIP (Contrastive Language-Image Pre-Training) に基づく選択フレームワークを採用しています。これは、最初に顔の幾何学的パラメータ空間内でランダムにサンプリングされた候補から最適な大まかな幾何学モデルを選択し、次にそれを暗黙的拡散モデル (LDM) 幾何学的モデルを通じて彫刻します。頭部モデルとテキスト キューの一貫性を高めるための詳細。さらに、このフレームワークは、テキスト プロンプトに基づいたヘア スタイルと色の生成をサポートします。
#物理ベースの材料拡散生成
物理ベースのマテリアル拡散生成モジュールは、予測されたジオメトリやテキストの手がかりと一致する顔のテクスチャを予測するように設計されています。 DreamFace はまず、収集された大規模な UV マテリアル データセットで事前トレーニングされた LDM を微調整し、2 つの LDM 拡散モデルを取得しました。次に、共同トレーニング スキームを使用して 2 つの拡散プロセスを調整します。1 つは UV テクスチャ マップの直接ノイズ除去用で、もう 1 つは教師付きレンダリング イメージ用です。
作成されたテクスチャ マップに望ましくない特徴や照明状況が含まれないようにしながら、多様性を維持するために、キュー学習戦略が設計されました。チームは、高品質の拡散マップを生成するために 2 つの方法を使用しています: (1) プロンプト チューニング。手作りのドメイン固有のテキスト キューとは異なり、DreamFace は 2 つのドメイン固有の連続テキスト キュー Cd および Cu を対応するテキスト キューと組み合わせます。これらは U-Net デノイザー トレーニング中に最適化され、不安定性や時間のかかるプロンプトの手動作成を回避します。 (2) 顔以外の部分をマスキングします。 LDM ノイズ除去プロセスは、結果として得られる拡散マップに不要な要素が含まれないようにするために、非顔領域マスクによってさらに制約されます。 最後に、高品質のレンダリングのために超解像度モジュールを介して 4K 物理ベースのテクスチャが生成されます。
##アニメーション アビリティの生成
アプリケーションと Outlook
以上がDreamFace: 一文で 3D デジタル ヒューマンを生成しますか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

「AI-Ready労働力」という用語は頻繁に使用されますが、サプライチェーン業界ではどういう意味ですか? サプライチェーン管理協会(ASCM)のCEOであるAbe Eshkenaziによると、批評家ができる専門家を意味します

分散型AI革命は静かに勢いを増しています。 今週の金曜日、テキサス州オースティンでは、ビテンサーのエンドゲームサミットは極めて重要な瞬間を示し、理論から実用的な応用に分散したAI(DEAI)を移行します。 派手なコマーシャルとは異なり

エンタープライズAIはデータ統合の課題に直面しています エンタープライズAIの適用は、ビジネスデータを継続的に学習することで正確性と実用性を維持できるシステムを構築する大きな課題に直面しています。 NEMOマイクロサービスは、NVIDIAが「データフライホイール」と呼んでいるものを作成することにより、この問題を解決し、AIシステムがエンタープライズ情報とユーザーインタラクションへの継続的な露出を通じて関連性を維持できるようにします。 この新しく発売されたツールキットには、5つの重要なマイクロサービスが含まれています。 NEMOカスタマイザーは、より高いトレーニングスループットを備えた大規模な言語モデルの微調整を処理します。 NEMO評価者は、カスタムベンチマークのAIモデルの簡素化された評価を提供します。 Nemo Guardrailsは、コンプライアンスと適切性を維持するためにセキュリティ管理を実装しています

AI:芸術とデザインの未来 人工知能(AI)は、前例のない方法で芸術とデザインの分野を変えており、その影響はもはやアマチュアに限定されませんが、より深く影響を与えています。 AIによって生成されたアートワークとデザインスキームは、広告、ソーシャルメディアの画像生成、Webデザインなど、多くのトランザクションデザインアクティビティで従来の素材画像とデザイナーに迅速に置き換えられています。 ただし、プロのアーティストやデザイナーもAIの実用的な価値を見つけています。 AIを補助ツールとして使用して、新しい美的可能性を探求し、さまざまなスタイルをブレンドし、新しい視覚効果を作成します。 AIは、アーティストやデザイナーが繰り返しタスクを自動化し、さまざまなデザイン要素を提案し、創造的な入力を提供するのを支援します。 AIはスタイル転送をサポートします。これは、画像のスタイルを適用することです

最初はビデオ会議プラットフォームで知られていたZoomは、エージェントAIの革新的な使用で職場革命をリードしています。 ZoomのCTOであるXD Huangとの最近の会話は、同社の野心的なビジョンを明らかにしました。 エージェントAIの定義 huang d

AIは教育に革命をもたらしますか? この質問は、教育者と利害関係者の間で深刻な反省を促しています。 AIの教育への統合は、機会と課題の両方をもたらします。 Tech Edvocate NotesのMatthew Lynch、Universitとして

米国における科学的研究と技術の開発は、おそらく予算削減のために課題に直面する可能性があります。 Natureによると、海外の雇用を申請するアメリカの科学者の数は、2024年の同じ期間と比較して、2025年1月から3月まで32%増加しました。以前の世論調査では、調査した研究者の75%がヨーロッパとカナダでの仕事の検索を検討していることが示されました。 NIHとNSFの助成金は過去数か月で終了し、NIHの新しい助成金は今年約23億ドル減少し、3分の1近く減少しました。リークされた予算の提案は、トランプ政権が科学機関の予算を急激に削減していることを検討しており、最大50%の削減の可能性があることを示しています。 基礎研究の分野での混乱は、米国の主要な利点の1つである海外の才能を引き付けることにも影響を与えています。 35

Openaiは、強力なGPT-4.1シリーズを発表しました。実際のアプリケーション向けに設計された3つの高度な言語モデルのファミリー。 この大幅な飛躍は、より速い応答時間、理解の強化、およびTと比較した大幅に削減されたコストを提供します


ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

Video Face Swap
完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。

人気の記事

ホットツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

MinGW - Minimalist GNU for Windows
このプロジェクトは osdn.net/projects/mingw に移行中です。引き続きそこでフォローしていただけます。 MinGW: GNU Compiler Collection (GCC) のネイティブ Windows ポートであり、ネイティブ Windows アプリケーションを構築するための自由に配布可能なインポート ライブラリとヘッダー ファイルであり、C99 機能をサポートする MSVC ランタイムの拡張機能が含まれています。すべての MinGW ソフトウェアは 64 ビット Windows プラットフォームで実行できます。

PhpStorm Mac バージョン
最新(2018.2.1)のプロフェッショナル向けPHP統合開発ツール

SublimeText3 中国語版
中国語版、とても使いやすい

メモ帳++7.3.1
使いやすく無料のコードエディター

ホットトピック









