DreamFace：一句話生成 3D 數位人？

在科技快速發展的今天，生成式人工智慧和電腦圖形學領域的研究日益引人注目，影視製作、遊戲開發等行業正面臨著巨大的挑戰和機會。本文將為您介紹一項 3D 生成領域的研究 ——DreamFace，它是首個支援 Production-Ready 3D 資產生成的文本指導漸進式 3D 生成框架，能夠實現文本生成可驅動的 3D 超寫實數位人。

這項工作已經被電腦圖形領域國際頂級期刊 Transactions on Graphics 接收，並將在國際電腦圖形頂級會議 SIGGRAPH 2023 上展示。

計畫網站：https://sites.google.com/view/dreamface

#預印論文：https://arxiv.org/abs/2304.03117

Web Demo : https://hyperhuman.top

HuggingFace Space:https://huggingface.co/spaces/DEEMOSTECH/ChatAvatar

#引言

自從文字和影像生成技術取得巨大突破以來，3D 生成技術逐漸成為了科學研究和產業界的焦點。然而，目前市面上的 3D 生成技術仍面臨許多挑戰，包括 CG 管線相容性問題、準確性問題以及運行速度問題。

為了解決這些問題，來自影眸科技與上海科技大學的研發團隊提出了一種文本指導的漸進式 3D 生成框架 ——DreamFace。該框架能夠直接產生符合 CG 製作標準的 3D 資產，具有更高的準確性、更快的運行速度和較好的 CG 管線相容性。本文將對 DreamFace 的主要功能進行詳細介紹，並探討其在影視製作、遊戲開發等產業的應用前景。

DreamFace 框架概述

DreamFace 框架主要包含三個模組：幾何體生成、基於物理的材質擴散生成和動畫能力生成。這三個模組相輔相成，共同實現了一種高效且可靠的 3D 生成技術。

幾何體產生

幾何產生模組的核心任務是根據文字提示產生與之一致的幾何模型。 DreamFace 採用了基於CLIP（Contrastive Language-Image Pre-Training）的選擇框架，首先從人臉幾何參數空間內隨機採樣的候選項中選擇最佳的粗略幾何模型，然後透過隱式擴散模型（LDM）雕刻幾何細節，使頭部模型更符合文字提示。此外，該框架還支援基於文字提示的髮型和顏色生成。

基於物理的材質擴散產生

基於物理的材質擴散產生模組旨在預測與預測幾何體和文字提示一致的臉部紋理。 DreamFace 首先將預先訓練的 LDM 在收集的大規模 UV 材質資料集上微調，得到兩個 LDM 擴散模型。然後，採用聯合訓練方案協調兩個擴散過程，一個用於直接去噪 UV 紋理貼圖，另一個用於監督渲染影像。

為了確保所創建的紋理地圖不含有不良特徵或照明情況，同時仍保持多樣性，設計了一種提示學習策略。團隊利用兩種方法產生高品質的漫反射貼圖：（1）Prompt Tuning。與手工製作的特定領域文字提示不同，DreamFace 將兩個特定領域的連續文字提示 Cd 和Cu 與相應的文字提示結合起來，這將在U-Net 去噪器訓練期間進行最佳化，以避免不穩定和耗時的手作提示。 （2）非臉部區域遮罩。 LDM 去噪過程將額外受到非臉部區域遮罩的限制，以確保產生的漫反射貼圖不含有任何不必要的元素。

最後，透過超解析度模組產生 4K 基於物理的紋理，以進行高品質渲染。

動畫能力產生

#DreamFace 產生的模型具備動畫能力。透過預測獨特的變形，為生成的靜止（Neutral）模型賦予動畫效果，從而產生個人化的動畫。與使用通用 BlendShapes 進行表情控制的方法相比，DreamFace 的神經面部動畫方法能夠提供更細緻的表情細節，並且能夠精細地捕捉表演。

應用程式與展望

#DreamFace 框架在名人生成、根據描述生成角色等方面取得了優異的成績。此外，還支援使用提示和草圖進行紋理編輯，實現全局的編輯效果，如老化和化妝。透過進一步結合遮罩或草圖，可以創造各種效果，如紋身、鬍鬚和胎記。

###DreamFace 的漸進式產生框架為解決複雜的3D 生成任務提供了有效的解決方案，有望推動更多類似的研究和技術發展。此外，基於物理的材質擴散生成和動畫能力生成將推動 3D 生成技術在影視製作、遊戲開發和其他相關產業的應用，讓我們拭目以待它在未來的發展和應用。 ######

以上是DreamFace：一句話生成 3D 數位人？的詳細內容。更多資訊請關注PHP中文網其他相關文章！