NeRFFaceEditing, eine Maskenbearbeitungsmethode für neuronale Strahlungsfelder im Gesicht, kann dreidimensionale Gesichter ohne 3D-Modellierung bearbeiten.

Möchten Sie ein äußerst realistisches dreidimensionales Gesicht personalisieren und entwerfen, sind aber mit professioneller Designsoftware nicht vertraut? Die 3D-Gesichtsbearbeitungsmethode NeRFFaceEditing bietet eine neue Lösung. Auch wenn Sie sich mit 3D-Modellierung nicht auskennen, können Sie im Metaversum hochrealistische dreidimensionale Gesichter frei bearbeiten und personalisierte digitale Porträts modellieren!

NeRFFaceEditing wurde von Forschern des Institute of Computing Technology, der Chinesischen Akademie der Wissenschaften und der City University of Hong Kong durchgeführt. Das entsprechende Fachpapier wurde auf der ACM SIGGRAPH Asia 2022 veröffentlicht , die Top-Konferenz zum Thema Computergrafik.

Projekthomepage: http://geometrylearning.com/NeRFFaceEditing/# 🎜🎜#

NeRFFaceEditing verwendet zweidimensionale semantische Masken als Brücke für die dreidimensionale Geometriebearbeitung. Die von Benutzern in einer Perspektive durchgeführte semantische Bearbeitung kann auf die gesamte Dreidimensionalität übertragen werden Gesichtsgeometrie und Behalten Sie das Material unverändert bei. Darüber hinaus kann der Benutzer bei einem Bild, das einen Referenzstil darstellt, problemlos den Materialstil der gesamten 3D-Fläche ändern und dabei die Geometrie unverändert lassen.

Basierend auf dem 3D-Gesichtsbearbeitungssystem, das auf dieser Methode basiert, kann der Benutzer, auch wenn er mit professionellem 3D-Design nicht vertraut ist, problemlos ein personalisiertes Gesichtsdesign durchführen und anpassen die Gesichtsform und das Aussehen. Schauen wir uns zunächst zwei erstaunliche Effekte mit NeRFFaceEditing an!

​Abbildung 1 Geometriebearbeitungseffekt: 2D-Semantikmaske Änderungen werden auf die übertragen gesamter dreidimensionaler geometrischer Raum #Abbildung 2 Stilübertragungseffekt: Wenden Sie einen bestimmten Stil auf den gesamten dreidimensionalen Raum des Gesichts an, während die Geometrie unverändert bleibt

Teil I Hintergrund#🎜🎜 #

In den letzten Jahren sind durch die Kombination von neuronalen Strahlungsfeldern [1] und kontradiktorischen Erzeugungsnetzwerken [2] verschiedene hochwertige, schnell rendernde 3D-Gesichtserzeugungsnetzwerke entstanden vorgeschlagen, einschließlich EG3D[3].

Abbildung 3 Generationseffekte und geometrische Darstellung verschiedener Perspektiven von EG3D#🎜 🎜#

Die Dreiebenendarstellung der Methode kombiniert traditionelle zweidimensionale generative gegnerische Netzwerke und die neueste dreidimensionale implizite Darstellung und erbt daher StyleGAN [ 4] verfügt über eine starke Erzeugungsfähigkeit und Darstellungsfähigkeit neuronaler Strahlungsfelder. Allerdings können diese generativen Modelle keine entkoppelte Kontrolle über die Geometrie und das Material des menschlichen Gesichts bieten, was für Anwendungen wie das 3D-Charakterdesign ein unverzichtbares Merkmal ist.

Bestehende Arbeiten wie DeepFaceDrawing [5] und DeepFaceEditing [6] können die Entkopplungssteuerung von Geometrie und Material basierend auf Strichzeichnungen und die Entkopplung von zwei- realisieren. dimensionale Gesichtsbilder erstellen und bearbeiten. DeepFaceVideoEditing [7] wendet die Strichzeichnungsbearbeitung auf Gesichtsvideos an, wodurch umfangreiche Bearbeitungseffekte in Zeitreihen erzeugt werden können.

Methoden zur Bildentkopplung und -bearbeitung lassen sich jedoch nur schwer direkt auf den dreidimensionalen Raum anwenden. Bestehende geometrische und materielle Entkopplungsmethoden für dreidimensionale Gesichter erfordern jedoch häufig eine Neuschulung der Netzwerkparameter, und die verwendete räumliche Darstellungsmethode weist größere Einschränkungen auf und weist nicht die guten Eigenschaften der Dreiebenendarstellung auf. Um die oben genannten Probleme zu lösen, basiert NeRFFaceEditing auf den vorab trainierten Modellparametern des dreidimensionalen generativen gegnerischen Netzwerks, das durch die drei Ebenen dargestellt wird, und verwendet die zweidimensionale semantische Maske aus jeder Perspektive als Medium zur Realisierung der geometrischen Bearbeitung der dreidimensionalen Fläche und der Lösung der Materialkopplung.

Teil 2 Das Algorithmusprinzip von NeRFFaceEditing

Nachdem der Drei-Ebenen-Generator die Drei-Ebenen-Generierung generiert hat, wird er von AdaIN [8] inspiriert, also für die beiden -dimensionale Merkmalskarte (Feature Map), ihre Statistiken können ihren Stil darstellen. NeRFFaceEditing zerlegt die drei Ebenen in den Mittelwert und die Standardabweichung (a), die räumlich invariante Materialmerkmale auf hoher Ebene ausdrücken, und die standardisierten drei Ebenen, die räumlich variierende geometrische Merkmale ausdrücken Merkmale. . Durch die Kombination der standardisierten Dreiebenen und der zerlegten Materialeigenschaften (a) kann die ursprüngliche Dreiebene wiederhergestellt werden. Daher kann bei unterschiedlichen Materialeigenschaften die gleiche Geometrie mit unterschiedlichen Materialien versehen werden.

Um eine entkoppelte Steuerung von Geometrie und Materialien zu erreichen, zerlegt NeRFFaceEditing außerdem den ursprünglichen Einzeldecoder in einen Geometriedecoder und einen Materialdecoder. Der Geometriedecoder gibt Merkmale, vorhergesagte Dichten und semantische Beschriftungen ein, die aus normalisierter Drei-Ebenen-Abtastung erhalten wurden, und wird verwendet, um das geometrische und semantische Maskenvolumen (Volumen) des 3D-Gesichts auszudrücken. Die geometrischen Merkmale und Materialmerkmale (a) werden durch das steuerbare Materialmodul (CAM) kombiniert, und dann werden die abgetasteten Merkmale in den Materialdecoder eingegeben, um die Farbe vorherzusagen. Schließlich werden durch Volumenrendering das Gesichtsbild und die entsprechende semantische Maske aus einer bestimmten Perspektive erhalten. Bei einem anderen Materialmerkmal (b) können das geometrische Merkmal und das Materialmerkmal (b) verwendet werden, um über das CAM-Modul und Volumenrendering ein weiteres Gesichtsbild mit unveränderter Geometrie und verändertem Material zu erhalten. Die gesamte Netzwerkstruktur ist in der folgenden Abbildung dargestellt:

Abbildung 4 Netzwerk Architektur von NeRFFaceEditing

Darüber hinaus, um die Rendering-Ergebnisse von Proben mit den gleichen Materialeigenschaften, aber unterschiedlicher Geometrie so einzuschränken, dass sie ähnlich sind Im Material verwendet NeRFFaceEditing die generierte semantische Maske mithilfe von Histogrammmerkmalen, um die Farbverteilung verschiedener Gesichtskomponenten wie Haare, Haut usw. von Proben mit denselben Materialmerkmalen und unterschiedlicher Geometrie darzustellen. Anschließend wird die Abstandssumme der Farbverteilung dieser Proben über die einzelnen Komponenten optimiert. Wie in der folgenden Abbildung gezeigt:

Abbildung 5 Trainingsstrategie für Materialähnlichkeitsbeschränkungen #🎜 🎜#

Teil 3 Effektdarstellung und experimenteller Vergleich

Mit NeRFFaceEditing können Sie zweidimensionale semantische Masken verwenden um dreidimensionale Bilder zu bearbeiten. Geometrische Bearbeitung im Gesichtsraum:

Abbildung 6 Dreidimensionale Gesichtsgeometriebearbeitung

Darüber hinaus können Sie auch eine konsistente dreidimensionale Materialstilmigration im dreidimensionalen Raum durchführen auf Referenzbildern:

Abbildung 7 Dreidimensionale Gesichtsstilübertragung ## 🎜🎜#Auf dieser Grundlage können entkoppelte Flächeninterpolations- und Verformungsanwendungen implementiert werden. Wie in der Abbildung unten gezeigt, werden die obere linke Ecke und die untere rechte Ecke als Start- und Endpunkte für die Ausführung verwendet lineare Interpolation auf Kamera, Geometrie und Material:

Abbildung 8 Entkopplung der Gesichtsverformungseffektanzeige

Verwenden Sie PTI [9], um reale Bilder in den latenten Raum von NeRFFace zurückzuprojizierenBearbeiten, Bearbeiten und Stylen Auch die Übertragung realer Bilder ist möglich. Dabei wurde NeRFFaceEditing auch mit anderen Open-Source-Methoden zur Gesichtsbearbeitung verglichen, die den Betrachtungswinkel steuern können, nämlich SofGAN [10], was die Überlegenheit der Methode beweist.

Abbildung 9 Beispiel für die dreidimensionale Geometriebearbeitung eines echten Bildes. Es ist ersichtlich, dass die Authentizität von NeRFFaceEditing besser ist als die von SofGAN und SofGAN aus anderen Perspektiven bestimmte Identitätsänderungen aufweist. Abbildung 10 Beispiel für die Migration eines realen Bildstils. Es ist ersichtlich, dass SofGAN bestimmte Mängel aufweist und es bestimmte Identitätsänderungen gibt.

Teil 4 Fazit und Danksagungen

Die Generierung digitaler Inhalte hat ein breites Anwendungsspektrum in den Bereichen Industrielle Produktion und digitale Medienanwendungen, insbesondere die Generierung und Bearbeitung virtueller digitaler Menschen, haben in letzter Zeit große Aufmerksamkeit erhalten, und die entkoppelte Bearbeitung dreidimensionaler Gesichtsgeometrie und -materialien ist eine mögliche Lösung für die personalisierte Gestaltung realer virtueller Bilder. Das NeRFFaceEditing-System kann durch die Entkopplung des Designs des dreidimensionalen Gesichtsgenerierungsnetzwerks die Änderung der semantischen Maske durch den Benutzer aus der zweidimensionalen Perspektive in das Ganze umwandeln Geometriemodifikation im dreidimensionalen Raum ohne Veränderung des Materials. Darüber hinaus kann mit Hilfe von Trainingsstrategien, die den Stiltransfereffekt verstärken, ein effektiver materieller Stiltransfer im dreidimensionalen Raum erreicht werden. Der Beitrag von NeRFFaceEditing wurde von ACM SIGGRAPH ASIA 2022, einer führenden Konferenz für Computergrafik, angenommen.

Zum Forschungsteam des Projekts gehören Jiang Kaiwen (Erstautor), ein Student der Eliteklasse des Instituts für Computertechnologie der Chinesischen Akademie der Wissenschaften und Associate Researcher Gao Lin (korrespondierender Autor dieses Artikels) und Dr. Chen Shuyu und Professor Fu Hongbo von der City University of Hong Kong. Weitere Informationen zum Artikel finden Sie auf der Projekthomepage:

​http://geometrylearning.com/NeRFFaceEditing/​#🎜 🎜#

Das obige ist der detaillierte Inhalt vonNeRFFaceEditing, eine Maskenbearbeitungsmethode für neuronale Strahlungsfelder im Gesicht, kann dreidimensionale Gesichter ohne 3D-Modellierung bearbeiten.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!