人臉神經輻射場的遮罩編輯方法NeRFFaceEditing，不會三維建模也能編輯立體人臉

想要個人化設計高真實感的立體人臉，卻發現自己並不熟悉專業的設計軟體？三維人臉編輯方法 NeRFFaceEditing 提供了新的解決方案，即使不會三維建模，也能自由編輯高真實感的立體人臉，建模元宇宙中的個人化數位肖像！ 

NeRFFaceEditing 由中科院計算所和香港城市大學的研究人員合作完成，相關技術論文在電腦圖形學頂級會議 ACM SIGGRAPH Asia 2022 上發表。

專案首頁：http://geometrylearning.com/NeRFFaceEditing/

NeRFFaceEditing 將二維的語意遮罩作為三維幾何編輯的橋樑，使用者在一個視角下進行的語意編輯可以傳播到整個三維人臉的幾何，並保持材質不變。進一步，給定表示參考風格的圖像，使用者可以輕鬆的更改整個三維人臉的材質風格，並保持幾何不變。

基於此方法的三維人臉編輯系統，即使使用者不熟悉專業的三維設計，也可以輕鬆進行個人化的人臉設計，自訂人臉形狀和外觀。先來看兩個使用 NeRFFaceEditing 的驚人效果！

圖1 幾何編輯效果：二維語意遮罩上的編輯傳播到整個三維幾何空間

#圖2 風格遷移效果：將給定風格作用到整個人臉三維空間而保持幾何不變

Part I 背景

#近年來，隨著神經輻射場[1] 與對抗式生成網路[2 ] 的結合，各種高品質、快速渲染的三維人臉生成網絡被提出，其中包括EG3D [3]。

圖3 EG3D 的不同視角的產生效果與幾何表示

此方法的三平面表示結合了傳統的二維生成對抗網路和最新的三維隱式表徵，因此繼承了StyleGAN [4] 的強大生成能力和神經輻射場的表徵能力。但是，這些生成模型並不能對人臉的幾何和材質進行解耦控制，而解耦控制幾何和材質是三維角色設計等應用不可或缺的功能。

已有工作，如 DeepFaceDrawing [5]、DeepFaceEditing [6] 可以實現基於線稿的幾何和材質的解耦控制及二維人臉圖像的生成與編輯。 DeepFaceVideoEditing [7] 則將線稿編輯應用到人臉視頻，能在時序上產生豐富的編輯效果。

但是，影像的解耦與編輯方法，很難直接套用到三維空間。而現有的三維人臉的幾何和材質解耦方法往往需要重新訓練網路參數，而且使用的空間表示方法有較大的局限性，缺少三平面表示的良好性質。為了解決上述的問題，NeRFFaceEditing 在三平面表示的三維生成對抗網絡的預訓練模型參數的基礎上，利用任意視角的二維語義掩碼作為媒介，實現對三維人臉進行幾何編輯和對材質的解耦控制。

Part 2 NeRFFaceEditing 的演算法原理

在三平面生成器產生出三平面之後，啟發自AdaIN [8]，即對於二維的特徵圖（Feature Map），它的統計數據可以表示它的風格，NeRFFaceEditing 將三平面分解為表達空間上不變的高層次材質特徵的均值和標準差(a)，以及表達空間上變化的幾何特徵的標準化的三平面。結合標準化的三平面與分解出的材質特徵 (a) 可以還原出原本的三平面。因此，如果給定不同的材質特徵，即可賦予同一幾何不同的材質。

更進一步，為了實現幾何和材質的解耦控制，NeRFFaceEditing 將原始的單一解碼器分解為了幾何解碼器和材質解碼器。幾何解碼器輸入從標準化三平面採樣得到的特徵，預測密度和語義標籤，用於表達三維人臉的幾何和語義遮罩（Volume）。而幾何特性與材質特性 (a) 透過可控制的材質模組（CAM）模組組合後，再從中取樣特徵輸入材質解碼器預測顏色。最後透過體渲染，得到某一視角下的人臉影像與對應的語意遮罩。而在給定一個不同的材質特徵 (b) 的情況下，幾何特徵與材質特徵 (b) 透過 CAM 模組和體渲染可以得到另一張幾何不變而材質改變的人臉影像。整體網路架構如下圖所示：

#圖4 NeRFFaceEditing 的網路架構

#除此之外，為了約束擁有相同材質特徵，但幾何不同的樣本渲染結果在材質上相似，NeRFFaceEditing 利用生成好的語意掩碼，使用直方圖特徵來分別表示這些材質特徵相同，幾何不同的樣本不同臉部組成部分，如頭髮、皮膚等，在顏色上的分佈。然後優化這些樣本在各個組成部分上顏色分佈的距離和。如下圖所示：

#圖5 材質相似約束訓練策略

#Part 3 效果顯示與實驗比較

使用NeRFFaceEditing，可以藉助二維的語意遮罩對三維人臉空間進行幾何編輯：

#圖6 三維人臉幾何編輯

除此之外，還可以基於參考圖片，進行三維一致的三維空間內材質風格遷移：

圖7 三維人臉風格遷移

在此基礎上，可以實現解耦的人臉插值變形應用，如下圖以左上角和右下角作為起止點，對相機、幾何、材質進行線性內插：

圖8 解耦人臉變形效果顯示

圖8 解耦人臉變形效果顯示########## ########借助PTI [9] 將真實影像反投影到NeRFFaceEditing 的隱空間，也可以實現對於真實影像的編輯和風格遷移。藉此，NeRFFaceEditing 也與其他可以控制視角的對人臉進行編輯的開源方法，即 SofGAN [10] 進行了比較，證明了方法的優越性。 ######

圖 9 真實影像三維幾何編輯的範例。可以看到 NeRFFaceEditing 的真實性優於 SofGAN，而且 SofGAN 在其他視角上對於身分有一定的改變。

#圖 10 真實影像風格遷移的範例。可以看到 SofGAN 有一定的瑕疵，而且在身分上有一定變化。

Part 4 結語與致謝

數位內容生成在工業製作和數位媒體領域有著廣泛的應用，尤其是虛擬數位人的生成與編輯，在近期受到了廣泛的關注，而三維人臉幾何與材質的解耦編輯就是在個性化塑造真實的虛擬形像上一種可能的解決手段。

NeRFFaceEditing 系統，透過對三維人臉產生網路進行解耦設計，可以將使用者在二維視角上對語意掩碼的修改，轉變為整個三維空間的幾何修改，並且保證材質不改變。除此之外，借助風格遷移效果強化的訓練策略，可以實現有效的立體空間內材質風格遷移。 NeRFFaceEditing 的論文已經被電腦圖形學頂級會議 ACM SIGGRAPH ASIA 2022 錄用。

該計畫研究團隊包括中科院計算所精英班本科生同學蔣楷文（第一作者），高林副研究員（本文通訊作者）、陳姝宇博士和香港城市大學傅紅波教授等，有關論文的更多細節，請瀏覽專案首頁：

#http://geometrylearning.com/NeRFFaceEditing/

#

以上是人臉神經輻射場的遮罩編輯方法NeRFFaceEditing，不會三維建模也能編輯立體人臉的詳細內容。更多資訊請關注PHP中文網其他相關文章！