- 代码地址：https://github.com/KwaiVGI/LivePortrait
- 论文链接：https://arxiv.org/abs/2407.03168
- 项目主页：https://liveportrait.github.io/
- HuggingFace Space一键在线体验：https://huggingface.co/spaces/KwaiVGI/LivePortrait
LivePortrait到底用了什么样的技术，能够在全网快速"走红"呢？和当前主流基于扩散模型的方法不同，LivePortrait探索并拓展了基于隐式关键点框架的潜力，从而平衡了模型计算效率和可控性。LivePortrait聚焦于更好的泛化性，可控性和实用的效率。为了提升生成能力和可控性，LivePortrait采用69M高质量训练帧，视频-图片混合训练策略，升级网络结构，并设计了更好的动作建模和优化方式。此外，LivePortrait将隐式关键点看成一种面部混合变形 (Blendshape) 的有效隐式表示，并基于此精心提出了贴合 (stitching) 和重定向 (retargeting) 模块。这两个模块为轻量MLP网络，因此在提升可控性的同时，计算成本可以忽略。即使是和一些已有的基于扩散模型的方法比较，LivePortrait依旧很能打。同时，在RTX4090 GPU上，LivePortrait的单帧生成速度能够达到12.8ms，若经过进一步优化，如TensorRT，预计能达10ms以内！LivePortrait的模型训练分为两阶段。第一阶段为基础模型训练，第二阶段为贴合和重定向模块训练。
模 Die erste Phase des grundlegenden Modelltrainings
In der ersten Phase des Modelltrainings hat LivePortrait eine Reihe von Verbesserungen am auf versteckten Punkten basierenden Framework vorgenommen, z. B. Face vid2vid [1], darunter:
Hochwertige Trainingsdatenerfassung: LivePortrait übernimmt den öffentlichen Videodatensatz Voxceleb[2], MEAD[3], RAVDESS[4] und den stilisierten Bilddatensatz AAHQ[5]. Darüber hinaus werden großformatige Porträtvideos mit 4K-Auflösung verwendet, darunter verschiedene Gesichtsausdrücke und Körperhaltungen, mehr als 200 Stunden sprechende Porträtvideos, ein privater Datensatz LightStage [6] sowie einige stilisierte Videos und Bilder. LivePortrait teilt lange Videos in Segmente von weniger als 30 Sekunden auf und stellt sicher, dass jedes Segment nur eine Person enthält. Um die Qualität der Trainingsdaten sicherzustellen, verwendet LivePortrait Kuaishous selbst entwickeltes KVQ [7] (Kuaishous selbst entwickelte Methode zur Bewertung der Videoqualität, mit der Qualität, Inhalt, Szene, Ästhetik, Kodierung, Audio und andere Merkmale umfassend wahrgenommen werden können das Video, um eine mehrdimensionale Auswertung durchzuführen), um Videoclips mit geringer Qualität zu filtern. Die gesamten Trainingsdaten umfassen 69 Millionen Videos, darunter 18,9.000 Identitäten und 60.000 statische stilisierte Porträts.
Video-Bild-Hybrid-Training: Modelle, die nur mit Videos von echten Menschen trainiert wurden, schneiden bei echten Menschen gut ab, verfügen jedoch nicht über eine unzureichende Verallgemeinerungsfähigkeit für stilisierte Menschen (z. B. Anime). Stilisierte Porträtvideos sind seltener, wobei LivePortrait nur etwa 1,3.000 Videoclips von weniger als 100 Identitäten sammelt. Im Gegensatz dazu sind qualitativ hochwertige stilisierte Porträtbilder häufiger anzutreffen. LivePortrait hat etwa 60.000 Bilder mit unterschiedlichen Identitäten gesammelt und bietet vielfältige Identitätsinformationen. Um beide Datentypen zu nutzen, behandelt LivePortrait jedes Bild als Videoclip und trainiert das Modell gleichzeitig für Videos und Bilder. Dieses Hybridtraining verbessert die Generalisierungsfähigkeit des Modells.
Verbesserte Netzwerkstruktur: LivePortrait vereint das kanonische Netzwerk zur Schätzung impliziter Schlüsselpunkte (L), das Netzwerk zur Schätzung der Kopfhaltung (H) und das Netzwerk zur Schätzung der Ausdrucksverformung (Δ) in einem einzigen Modell (M). verwendet ConvNeXt-V2-Tiny [8] als Struktur, um die kanonischen impliziten Schlüsselpunkte, die Kopfhaltung und die Ausdrucksverformung des Eingabebildes direkt abzuschätzen. Darüber hinaus verwendet LivePortrait, inspiriert von der verwandten Arbeit von face vid2vid, den effektiveren Decoder von SPADE [9] als Generator (G). Die latenten Merkmale (fs) werden nach der Verformung fein in den SPADE-Decoder eingespeist, wo jeder Kanal der latenten Merkmale als semantische Karte zur Erzeugung des gesteuerten Bildes verwendet wird. Um die Effizienz zu verbessern, fügt LivePortrait außerdem die Ebene PixelShuffle[10] als letzte Ebene von (G) ein und erhöht so die Auflösung von 256 auf 512.
Flexiblere Aktionstransformationsmodellierung: Die Berechnungs- und Modellierungsmethode der ursprünglichen impliziten Schlüsselpunkte ignoriert den Skalierungskoeffizienten, was dazu führt, dass die Skalierung leicht in den Ausdruckskoeffizienten gelernt werden kann, was das Training schwieriger macht. Um dieses Problem zu lösen, führt LivePortrait Skalierungsfaktoren in die Modellierung ein. LivePortrait hat herausgefunden, dass die Skalierung regelmäßiger Projektionen zu übermäßig flexiblen erlernbaren Ausdruckskoeffizienten führen kann, was bei der Steuerung über Identitäten hinweg zu Texturanhaftungen führt. Daher ist die von LivePortrait übernommene Transformation ein Kompromiss zwischen Flexibilität und Fahrbarkeit.
Schlüsselpunktgesteuerte implizite Schlüsselpunktoptimierung: Dem ursprünglichen impliziten Punktrahmen scheint die Fähigkeit zu fehlen, Gesichtsausdrücke wie Augenzwinkern und Augenbewegungen anschaulich zu steuern. Insbesondere neigen die Augapfelrichtung und die Kopfausrichtung des Porträts in den Fahrergebnissen dazu, parallel zu bleiben. LivePortrait führt diese Einschränkungen auf die Schwierigkeit zurück, subtile Gesichtsausdrücke unbeaufsichtigt zu erlernen. Um dieses Problem zu lösen, führt LivePortrait 2D-Schlüsselpunkte zur Erfassung von Mikroausdrücken ein und verwendet dabei den schlüsselpunktgesteuerten Verlust (Lguide) als Leitfaden für die implizite Schlüsselpunktoptimierung. : LivePortrait verwendet den impliziten Schlüsselpunktinvariantenverlust (LE), den Schlüsselpunktpriorverlust (LL), den Kopfhaltungsverlust (LH) und den Deformationspriorverlust (LΔ) von Face vid2vid. Um die Texturqualität weiter zu verbessern, verwendet LivePortrait Wahrnehmungs- und GAN-Verluste, die nicht nur auf die globale Domäne des Eingabebildes angewendet werden, sondern auch auf die lokale Domäne von Gesicht und Mund, aufgezeichnet als Kaskaden-Wahrnehmungsverlust (LP, Kaskade) und Kaskaden-GAN-Verlust (LG, Kaskade). Die Gesichts- und Mundbereiche werden durch semantische 2D-Schlüsselpunkte definiert. LivePortrait nutzt außerdem den Verlust der Gesichtsidentität (Lfaceid), um die Identität des Referenzbildes zu bewahren. Alle Module in der ersten Stufe werden von Grund auf trainiert, und die gesamte Trainingsoptimierungsfunktion (Lbase) ist die gewichtete Summe der oben genannten Verlustterme.
Anpassungs- und Umleitungsmodulschulung der zweiten StufeLivePortrait kann implizite Schlüsselpunkte als implizite Mischdeformation betrachten und hat festgestellt, dass diese Kombination nur die Hilfe eines leichten MLP erfordert. Es kann besser gelernt werden und Der Rechenaufwand ist vernachlässigbar. Unter Berücksichtigung der tatsächlichen Bedürfnisse hat LivePortrait ein Anpassungsmodul, ein Augenumleitungsmodul und ein Mundumleitungsmodul entwickelt.Wenn das Referenzporträt zugeschnitten wird, wird das gesteuerte Porträt aus dem Zuschneidebereich wieder in den ursprünglichen Bildbereich eingefügt. Das Anpassungsmodul wird hinzugefügt, um eine Pixelfehlausrichtung während des Einfügevorgangs zu vermeiden, z. B. im Schulterbereich. Dadurch kann LivePortrait für größere Bildformate oder Gruppenfotos aktionsgesteuert sein. Das Eye-Retargeting-Modul soll das Problem des unvollständigen Augenschlusses beim Überqueren von Identitäten lösen, insbesondere wenn ein Porträt mit kleinen Augen ein Porträt mit großen Augen antreibt. Die Designidee des Mundumleitungsmoduls ähnelt der des Augenumleitungsmoduls, das die Eingabe normalisiert, indem es den Mund des Referenzbilds zur besseren Steuerung in einen geschlossenen Zustand versetzt. Die zweite Phase des Modelltrainings: Anpassen und Umleiten des Modultrainings 
Folgen Sie dem Modul : Während des Trainingsprozesses ist die Eingabe des Moduls/der Module das Referenzdiagramm implizite Schlüsselpunkte (xd) eines anderen identitätsgesteuerten Rahmens und schätzen Sie die Ausdrucksänderung (Δst), die die impliziten Schlüsselpunkte (xd) antreibt. Es ist ersichtlich, dass LivePortrait im Gegensatz zur ersten Stufe identitätsübergreifende Aktionen verwendet, um identitätsübergreifende Aktionen zu ersetzen, um die Schwierigkeit des Trainings zu erhöhen und eine bessere Generalisierung des Anpassungsmoduls zu erreichen. Als nächstes wird der implizite Treiberschlüsselpunkt (xd) aktualisiert und die entsprechende Treiberausgabe ist (Ip,st). LivePortrait gibt in dieser Phase auch selbst rekonstruierte Bilder (Ip,recon) aus. Schließlich berechnet die Verlustfunktion (Lst) des Anpassungsmoduls den pixelkonsistenten Verlust des Schulterbereichs beider Schultern und den Regularisierungsverlust der Anpassungsvariation. Augen- und Mundumleitungsmodul: Die Eingabe des Augenumleitungsmoduls (Reyes) ist der implizite Schlüsselpunkt (xs) des Referenzbilds, das Referenzbild-Augenöffnungsbedingungstupel und ein zufälliger treibender Augenöffnungskoeffizient Wird verwendet, um die Verformungsänderung (Δeyes) des Antriebsschlüsselpunkts abzuschätzen. Das Tupel der Augenöffnungsbedingung stellt das Augenöffnungsverhältnis dar. Je größer es ist, desto größer ist der Grad der Augenöffnung. In ähnlicher Weise sind die Eingaben des Mundumleitungsmoduls (Rlip) die impliziten Schlüsselpunkte (xs) des Referenzbilds, der Mundöffnungsbedingungskoeffizient des Referenzbilds und ein zufälliger steuernder Mundöffnungskoeffizient, und die steuernden Schlüsselpunkte werden daraus geschätzt Dies ist der Betrag der Änderung (Δlip). Als nächstes werden die Antriebsschlüsselpunkte (xd) durch die Verformungsänderungen aktualisiert, die den Augen bzw. dem Mund entsprechen, und die entsprechenden Antriebsausgaben sind (Ip, Augen) und (Ip, Lippe). Schließlich sind die Zielfunktionen der Augen- und Mund-Retargeting-Module (Leyes) bzw. (Llip), die den Pixelkonsistenzverlust der Augen- und Mundbereiche, den Regularisierungsverlust der Augen- und Mundvariation und den Zufallsverlust berechnen. Der Verlust zwischen dem Antriebskoeffizienten und dem Öffnungszustandskoeffizienten des Antriebsausgangs. Die Augen- und Mundänderungen (Δeyes) und (Δlip) sind unabhängig voneinander, sodass sie während der Inferenzphase linear summiert und die treibenden impliziten Schlüsselpunkte aktualisiert werden können. Experimenteller Vergleich -basierte Methode, LivePortrait Mit besserer Generierungsqualität und Fahrgenauigkeit kann es die subtilen Ausdrücke der Augen- und Mund-Fahrbilder erfassen und gleichzeitig die Textur und Identität des Referenzbildes bewahren. Selbst bei größeren Kopfhaltungen bietet LivePortrait eine stabilere Leistung. クロスアイデンティティドライバー: 上記のクロスアイデンティティドライバーの比較結果からわかるように、既存の手法と比較して、LivePortrait はドライバービデオ内の微妙な目と口の動きを正確に継承でき、姿勢が変化した場合でも比較的安定しています。は大きい。 。 LivePortrait は、生成品質の点で拡散モデルベースの手法である AniPortrait [11] よりわずかに劣りますが、後者と比較すると、LivePortrait は推論効率が非常に速く、必要な FLOP が少なくなります。 複数人ドライバー: LivePortrait のフィッティング モジュールのおかげで、グループ写真の場合、LivePortrait は指定されたドライバーのビデオで指定された顔を駆動できるため、複数人写真ドライバーの拡張を実現できます。 LivePortraitの実用化。  動物駆動: LivePortrait はポートレートを適切に一般化するだけでなく、動物のデータセットを微調整した後、動物のポートレートを正確に駆動することもできます。 
Bearbeitung von Porträtvideos: Zusätzlich zu Porträtfotos kann LivePortrait bei einem Porträtvideo, beispielsweise einem Tanzvideo, das Fahrvideo verwenden, um eine Bewegungsbearbeitung im Kopfbereich durchzuführen. Dank des Anpassungsmoduls kann LivePortrait Bewegungen im Kopfbereich, wie Mimik, Körperhaltung usw., präzise bearbeiten, ohne die Bilder in Nicht-Kopf-Bereichen zu beeinträchtigen.  Implementierung und AussichtenDie damit verbundenen technischen Punkte von LivePortrait wurden in vielen Unternehmen von Kuaishou implementiert, darunter Kuaishou Magic Watch, Kuaishou Private Messaging, Kuaiyings KI-Emoticon-Gameplay und Live-Übertragung, und die von Kuaishou usw. ins Leben gerufene Puchi APP für junge Menschen und wird neue Implementierungsmethoden erkunden, um weiterhin Mehrwert für Benutzer zu schaffen. Darüber hinaus wird LivePortrait die multimodale Erstellung von Porträtvideos basierend auf dem Keling-Grundmodell weiter erforschen und dabei höherwertige Effekte anstreben. [1] Ting-Chun Wang, Arun Mallya und Ming-Yu Liu. One-Shot-Free-View-Neuronal-Talking-Head-Synthese für Videokonferenzen. In CVPR, 2021 .[2] Arsha Nagrani, Joon Son Chung und Andrew Zisserman: ein umfangreicher Sprecheridentifikationsdatensatz.[3] Kaisiyuan Wang, Qianyi Wu , Linsen Song, Zhuoqian Yang, Wayne Wu, Chen Qian, Ran He, Yu Qiao und Chen Change Loy: Ein umfangreicher audiovisueller Datensatz für die Erzeugung emotionaler sprechender Gesichter. [4] Steven R Livingstone und Frank A Russo. Die audiovisuelle Datenbank von Ryerson für emotionale Sprache und Gesang (Ravdess): Ein dynamischer, multimodaler Satz von Gesichts- und Stimmausdrücken in nordamerikanischem Englisch, 2018 [5] Mingcong Liu, Qiang Li, Zekui Qin, Guoxin Zhang, Pengfei Wan und Wen Zheng: Implizite Gan-Mischung für die Erzeugung beliebig stilisierter Gesichter.[ 6 ] Haotian Yang, Mingwu Zheng, Wanquan Feng, Haibin Huang, Yu-Kun Lai, Pengfei Wan, Zhongyuan Wang und Chongyang Ma. Auf dem Weg zur praktischen Erfassung von wiederaufladbaren Avataren mit hoher Wiedergabetreue, 2023 [7] Kai Zhao, Kun Yuan, Ming Sun, Mading Li und Xing Wen. Qualitätsbewusste vorab trainierte Modelle für blinde Bildqualitätsbewertung, 2023. 8] Sanghyun Woo, Shoubhik Debnath, Ronghang Hu, Xinlei Chen, Zhuang Liu, In So Kweon und Saining Xie. vnext v2: Co-Design und Skalierung von Convnets mit maskierten Autoencodern .[9] Taesung Park, Ming-Yu Liu, Ting-Chun Wang und Jun-Yan Zhu. In CVPR, 2019. 10] Wenzhe Shi, Jose Caballero, Ferenc Husz ´ar, Johannes Totz, Andrew P Aitken, Rob Bishop, Daniel Rueckert und Zehan Wang. Echtzeit-Einzelbild- und Video-Superauflösung unter Verwendung eines effizienten Subpixel-Faltungs-Neuronalen Netzwerks. In CVPR, 2016.[11] Huawei Wei, Zejun Yang und Zhisheng Wang Aniportrait: Audiogesteuerte Synthese fotorealistischer Porträtanimationen: 2403.17694, 2024.
|
und erregte 
