KI-Video explodiert erneut! Aus Foto + Stimme wurde ein Video, Alibaba bat die Heldin Sora, mit Li Zi zu singen und zu rappen.

Nach Sora gibt es tatsächlich ein neues KI-Videomodell, das großartig ist und jeden verrückt macht!

Bilder

Damit verwandelt sich Gao Qiqiang, der Bösewicht von „Hurry Up“, in Luo Xiang und kann jeden (Hundekopf) erziehen.

Dies ist Alibabas neuestes audiogesteuertes Framework zur Erstellung von Porträtvideos, EMO (Emote Portrait Alive).

Damit können Sie ein KI-Video mit lebendigen Ausdrücken erstellen, indem Sie ein einzelnes Referenzbild und ein Audiostück (Sprache, Gesang oder Rap) eingeben. Die endgültige Länge des Videos hängt von der Länge des Eingangsaudios ab.

Sie können Mona Lisa, eine erfahrene Kandidatin mit Erfahrung in KI-Effekten, bitten, einen Monolog zu rezitieren:

Die junge und hübsche DiCaprio führt eine rasante Rap-Talentshow auf, und ihre Mundform kann nicht beibehalten werden Frage:

Ich kann sogar die kantonesische Lippensynchronisation halten, also habe ich meinen Bruder Leslie Cheung gebeten, „Unconditional“ von Eason Chan zu singen:

Kurz gesagt, ob es das Porträt sein soll singen (verschiedene Arten von Porträts und Liedern), die Porträts sprechen lassen (in verschiedenen Sprachen) oder verschiedene schauspielerübergreifende Darbietungen durchführen. Der EMO-Effekt hat uns für einen Moment verblüfft.

Internetnutzer riefen aus: „Wir betreten eine neue Realität!“

Die 2019er Version von „Joker“ enthielt die Zeilen der 2008er Version von „The Dark Knight“

Einige Internetnutzer haben sogar damit begonnen, Videos davon zu erstellen EMO Ziehen Sie an der Lasche und analysieren Sie den Effekt Bild für Bild.

Wie im Video unten gezeigt, ist die Protagonistin die von Sora generierte KI-Lady. Das Lied, das sie dieses Mal für Sie gesungen hat, ist „Don’t Start Now“.

Tweeter analysiert:

Die Konsistenz dieses Videos ist noch besser als zuvor!
In dem mehr als einminütigen Video bewegt sich die Sonnenbrille auf Frau Soras Gesicht kaum und ihre Ohren und Augenbrauen bewegen sich unabhängig voneinander.
Das Aufregendste ist, dass Frau Soras Kehle wirklich zu atmen scheint! Ihr Körper zitterte und bewegte sich beim Singen leicht, was mich schockierte!

Bilder

Dennoch ist EMO eine heiße neue Technologie, und es ist unvermeidlich, sie mit ähnlichen Produkten zu vergleichen -

Erst gestern hat das KI-Videogenerierungsunternehmen Pika auch die Synchronisierung von Videos gestartet Zeichen und die Lippensynchronisationsfunktion „Lippensynchronisation“ stürzten ab.

Wie wäre es mit dem konkreten Effekt? Wir werden es hier direkt veröffentlichen

Nach dem Vergleich kamen die Internetnutzer im Kommentarbereich zu dem Schluss, dass sie von Ali geschlagen wurden.

Pictures

EMO veröffentlichte das Papier und gab bekannt, dass es Open Source sei.

Aber! Obwohl es sich um Open Source handelt, gibt es auf GitHub immer noch Short-Positionen.

Aber nochmal! Obwohl es sich um eine kurze Position handelt, hat die Anzahl der Sterne 2,1.000 überschritten.

Bilder

machten die Internetnutzer wirklich ängstlich, so ängstlich wie König Gigi.

Andere Architektur als Sora

Sobald das EMO-Papier herauskam, atmeten viele Menschen im Kreis erleichtert auf.

Es unterscheidet sich von Soras technischem Weg, was zeigt, dass das Kopieren von Sora nicht der einzige Weg ist.

EMO basiert nicht auf einer DiT-ähnlichen Architektur, das heißt, es verwendet keinen Transformer, um das traditionelle UNet zu ersetzen. Sein Backbone-Netzwerk wurde gegenüber Stable Diffusion 1.5 geändert.

Konkret handelt es sich bei EMO um ein ausdrucksstarkes, audiogesteuertes Framework zur Generierung von Porträtvideos, das Videos beliebiger Dauer basierend auf der Länge des Eingabevideos generieren kann.

Bilder

Das Framework besteht hauptsächlich aus zwei Phasen:

• Frame-Kodierungsphase

stellt ein UNet-Netzwerk namens ReferenceNet bereit, das für das Extrahieren von Funktionen aus Referenzbildern und Frames von Videos verantwortlich ist.

• Diffusionsstufe

Zunächst verarbeitet der vorab trainierte Audio-Encoder die Audio-Einbettung und die Gesichtsbereichsmaske wird mit Multi-Frame-Rauschen kombiniert, um die Generierung von Gesichtsbildern zu steuern.

Dann führt das Backbone-Netzwerk den Rauschunterdrückungsvorgang durch. Im Backbone-Netzwerk werden zwei Arten von Aufmerksamkeit angewendet: Referenzaufmerksamkeit und Audioaufmerksamkeit, die dazu dienen, die Identitätskonsistenz der Figur aufrechtzuerhalten bzw. die Bewegung der Figur zu regulieren.

Darüber hinaus dient das Zeitmodul dazu, die Zeitdimension zu manipulieren und die Bewegungsgeschwindigkeit anzupassen.

In Bezug auf Trainingsdaten hat das Team einen großen und vielfältigen Audio- und Videodatensatz erstellt, der mehr als 250 Stunden Video und mehr als 15 Millionen Bilder enthält.

Die spezifischen Merkmale der endgültigen Implementierung sind wie folgt:

• Kann Videos beliebiger Dauer basierend auf dem Eingangsaudio generieren und gleichzeitig die Konsistenz der Charakteridentität gewährleisten (das längste einzelne Video, das in der Demonstration angegeben wurde, ist 1 Minute und 49 Sekunden).
• Unterstützt das Sprechen und Singen in verschiedenen Sprachen (Demo umfasst Mandarin, Kantonesisch, Englisch, Japanisch, Koreanisch)
• Unterstützt verschiedene Malstile (Fotos, traditionelle Gemälde, Comics, 3D-Renderings, digitale KI-Menschen)

Bilder

Der quantitative Vergleich ist im Vergleich zur vorherigen Methode, die SOTA erreicht, ebenfalls erheblich verbessert und dem SyncNet-Indikator, der die Qualität der Lippensynchronisation misst, nur geringfügig unterlegen.

Bilder

Im Vergleich zu anderen Methoden, die nicht auf Diffusionsmodellen basieren, ist EMO zeitaufwändiger.

Und da keine expliziten Steuersignale verwendet werden, die zur unbeabsichtigten Erzeugung anderer Körperteile wie Hände führen können, besteht eine mögliche Lösung darin, Steuersignale speziell für Körperteile zu verwenden.

EMOs Team

Abschließend werfen wir einen Blick auf die Leute im Team hinter EMO.

Aus dem Papier geht hervor, dass das EMO-Team vom Alibaba Intelligent Computing Research Institute stammt.

Es gibt vier Autoren, nämlich Linrui Tian, ​​​​Qi Wang, Bang Zhang und Liefeng Bo.

Bilder

Unter ihnen ist Liefeng Bo der derzeitige Leiter des XR-Labors des Alibaba Tongyi Laboratory.

Dr. Bo Liefeng hat seinen Abschluss an der Xi'an University of Electronic Science and Technology gemacht. Er war als Postdoktorand am Toyota Research Institute der University of Chicago tätig. Seine Forschungsschwerpunkte sind ML, CV und Robotik. Die Zahl der Google Scholar-Zitate übersteigt 13.000.

Bevor er zu Alibaba kam, war er zunächst als Chefwissenschaftler in der Amazon-Zentrale in Seattle tätig und wechselte dann als Chefwissenschaftler zum KI-Labor der JD Digital Technology Group.

Im September 2022 kam Bo Liefeng zu Alibaba.

Pictures

EMO ist nicht das erste Mal, dass Alibaba im AIGC-Bereich Erfolg hat.

Bilder

OutfitJeder mit KI kann das Outfit mit einem Klick ändern.

Bilder

Außerdem bringt AnimateAnyone Katzen und Hunde auf der ganzen Welt dazu, den Badetanz zu tanzen.

Das ist das Folgende:

Bilder

Nachdem die EMO gestartet ist, beklagen viele Internetnutzer, dass Alibaba einige Technologien darauf angesammelt hat.

Bilder

Wenn jetzt alle diese Technologien kombiniert werden, ergibt sich der Effekt...

Ich wage nicht darüber nachzudenken, aber ich freue mich darauf.

Bilder

Kurz gesagt, wir kommen dem Ziel näher, „ein Drehbuch an die KI zu senden und den gesamten Film auszugeben“.

Bilder

One More Thing

Sora stellt einen Durchbruch in der textgesteuerten Videosynthese dar.

EMO stellt auch eine neue Ebene der audiogesteuerten Videosynthese dar.

Obwohl die beiden unterschiedliche Aufgaben und spezifische Architekturen haben, haben sie dennoch eine wichtige Gemeinsamkeit:

Es gibt kein explizites physikalisches Modell in der Mitte, aber beide simulieren bis zu einem gewissen Grad physikalische Gesetze.

Manche Leute denken also, dass dies im Widerspruch zu Lecuns Beharren steht, dass „die Modellierung der Welt für Aktionen durch die Generierung von Pixeln verschwenderisch und zum Scheitern verurteilt ist“ und Jim Fans Idee eines „datengesteuerten Weltmodells“ unterstützt.

Bilder

Verschiedene Methoden sind in der Vergangenheit gescheitert, aber der aktuelle Erfolg könnte tatsächlich auf die „Bitter Lessons“ von Sutton, dem Vater des Reinforcement Learning, zurückzuführen sein, in denen große Anstrengungen Wunder bewirken können.

Ermöglichen Sie der KI, wie Menschen zu entdecken, anstatt einzudämmen, was Menschen entdecken :

https://www.php.cn/link/e43a09ffc30b44cb1f0db46f87836f40

Referenzlink:

[1]https://www.php.cn/link. /0dd4f2526c7c874d06f19523264f6552

Das obige ist der detaillierte Inhalt vonKI-Video explodiert erneut! Aus Foto + Stimme wurde ein Video, Alibaba bat die Heldin Sora, mit Li Zi zu singen und zu rappen.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!