Tencent Hunyuan schließt sich mit der Hong Kong University of Science and Technology und der Tsinghua University zusammen, um „Follow Your Emoji“ zu starten und Fotos mit einem Klick in Emoticons umzuwandeln

Tusheng Video bietet eine neue Art der Wiedergabe.

Tencent Hunyuan, die Hong Kong University of Science and Technology und die Tsinghua University haben gemeinsam das Framework zur Generierung von Porträtanimationen „Follow Your Emoji“ auf den Markt gebracht, das anhand von Gesichtsskelettinformationen jeden Stil von Gesichtsanimationen generieren kann. Basierend auf Algorithmusinnovationen und Datenakkumulation kann „Follow Your Emoji“ eine verfeinerte Steuerung des Gesichts unterstützen, einschließlich Augenbrauen, Augen, Augenrollen und anderen Details, die ebenfalls leicht „manipuliert“ werden können.

Follow Your Emoji unterstützt nicht nur die Erstellung mehrerer Porträts mit einem einzigen Gesichtsausdruck, sondern auch die Erzeugung mehrerer Gesichtsausdrücke aus einem einzigen Porträt.

In den letzten Jahren haben Diffusionsmodelle bessere generative Fähigkeiten gezeigt als ältere kontradiktorische generative Netzwerke (GANs). Einige Methoden nutzen leistungsstarke grundlegende Diffusionsmodelle für die Erzeugung hochwertiger Videos und Bilder. Diese grundlegenden Modelle können jedoch die Identitätsmerkmale des Referenzporträts während des Animationsprozesses nicht direkt bewahren, was dazu führt, dass die Videoergebnisse Verzerrungen und unrealistische Artefakte aufweisen. Dies ist eine der größten Herausforderungen bei Porträtanimationsaufgaben.

Abbildung: Das Gesamtflussdiagramm des Papiers, die obere Hälfte ist der Trainingsprozess und die untere Hälfte ist der Testprozess

In dieser Studie schlug der Forscher ein neuartiges Porträtanimations-Framework Follow-Your-Emoji vor basierend auf dem Diffusionsmodell. Es gibt zwei wesentliche Neuerungen im Algorithmus.

Dieses Ausdruckssteuersignal kann die Animationserstellung effektiv steuern. Forscher lokalisieren Informationen anhand von Porträt-(Gesichts-)3D-Schlüsselpunkten. Da 3D-Schlüsselpunkte inhärente kanonische Eigenschaften haben, können sie Zielaktionen effektiv an Referenzporträts ausrichten und Verzerrungen vermeiden, die zu einer Gesichtsverformung im generierten Video führen würden. Diese Technologie hat ein breites Anwendungsspektrum und kann zur Produktion von Gesichts-Morphing-Videos verwendet werden.

Zweitens schlägt die Studie auch eine feinkörnige Verlustfunktion für Gesichter vor, um dem Modell zu helfen, sich auf die Erfassung subtiler Ausdrucksänderungen und das detaillierte Erscheinungsbild des Porträts im Referenzfoto zu konzentrieren. Insbesondere verwendet der Autor zunächst die Gesichtsmaske und die Ausdrucksmaske sowie das Ausdruckswahrnehmungssignal des Autors und berechnet dann den räumlichen Abstand zwischen dem Grundwahrheitswert und dem Vorhersageergebnis in diesen Maskenbereichen, um einen hohen Grad an Wiederherstellung des ursprünglichen Porträts zu erreichen das Emoticon-Paket.

Um das Modell zu trainieren, wurde in dieser Studie auch ein hochwertiger Ausdruckstrainingsdatensatz erstellt, der 18 übertriebene Ausdrücke und 20 Minuten reale Videos von 115 Probanden enthält. Gleichzeitig verfolgt die Studie eine progressive Generierungsstrategie, die es ermöglicht, die Methode auf eine langfristige Animationssynthese mit hoher Wiedergabetreue und Stabilität auszudehnen.

Abbildung: Die quantitativen Versuchsergebnisse und qualitativen Versuchsergebnisse des Papiers zeigen, dass Follow-Your-Emoji im Vergleich zur vorherigen Methode bessere Ergebnisse erzielen kann

Um schließlich das Problem fehlender Benchmark-Tests zu lösen Im Bereich der Porträtanimation führt die Studie außerdem einen umfassenden Benchmark namens EmojiBench ein, der 410 Porträtanimationsvideos in verschiedenen Stilen umfasst und eine breite Palette von Gesichtsausdrücken und Kopfhaltungen zeigt. Eine umfassende Evaluierung von Follow-YourEmoji mit EmojiBench zeigt, dass die Methode beim Umgang mit Porträts und Aktionen außerhalb des Trainingsbereichs gut funktioniert und sowohl quantitativ als auch qualitativ besser abschneidet als bestehende Basismethoden. Nun, sie bietet eine hervorragende visuelle Wiedergabetreue der Identitätsdarstellung und eine präzise Bewegungswiedergabe .

Website: Follow-Your-Emoji: Freestyle-Portrait-Animation

Papier: [2406.01900] Follow-Your-Emoji: Fein steuerbare und ausdrucksstarke Freestyle-Portrait-Animation

Das obige ist der detaillierte Inhalt vonTencent Hunyuan schließt sich mit der Hong Kong University of Science and Technology und der Tsinghua University zusammen, um „Follow Your Emoji“ zu starten und Fotos mit einem Klick in Emoticons umzuwandeln. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!