Die MoDa-Community bringt das KI-Videogenerierungstool Live Portait auf den Markt, das Fotos mit einem Klick zum Sprechen bringen kann

Die MoDa-Community hat ein KI-Videogenerierungstool namens Live Portrait gestartet, das die Charaktere auf dem Foto mit einem Klick zum Sprechen bringen kann

Alibaba Cloud hat ein Tool zur Erstellung digitaler menschlicher Videos namens Live Portrait eingeführt. Benutzer müssen nur ein Foto und einen Text oder eine Stimme hochladen, um ein sprechendes digitales menschliches Video zu erstellen. Dieses Tool kann in vielen Szenarien wie Live-Videoübertragungen, Chat-Robotern und Unternehmensmarketing eingesetzt werden. Derzeit kann dieses Tool im Magic Community Creation Space

ausprobiert werden

Angesichts der Beliebtheit großformatiger Selbstgesprächsmodelle und KI-Malmodelle treibt die Forschungsgemeinschaft die Forschung zur generativen KI schrittweise auf weitere Modalitäten voran, unter denen die KI-Videogenerierungstechnologie große Aufmerksamkeit erregt hat. Diese Technologie kann Informationen wie Text oder Audio in Gesichtsbewegungsinformationen umwandeln, um animierte Fotos mit Charakterbildern zu erstellen, wodurch die Schwelle für Videoaufnahmen und -produktionen effektiv gesenkt wird

Das neueste Live-Porträt-Tool von Alibaba Cloud kombiniert das Bewegungsmodul und das Generierungsmodul. Dieses Tool verwendet den von Alibaba Cloud selbst entwickelten Algorithmus zur Vorhersage der Mundform, der die Genauigkeit der Mundformgenerierung erheblich verbessert und im Vergleich zu herkömmlichen Methoden erheblich verbessert wird. In der Trainingsphase wird eine explizite Kontrolle der Körperhaltung hinzugefügt, sodass das generierte Video jede Aktion zeigen kann, ohne dass ein Baseboard-Video erforderlich ist, wodurch der Realismus der digitalen menschlichen Sprache erheblich verbessert wird. Darüber hinaus kann Live Portait durch die aktive Augensteuerungstechnologie den Augäpfeln natürliche Bewegungen hinzufügen, wodurch die erzeugten Ergebnisse näher an reale Effekte herankommen. Berichten zufolge wurden Live-Porträt-bezogene Technologien in wichtige internationale KI-Konferenzen wie CVPR und ICCV aufgenommen

Laut Informationen der MoDa-Community bietet Live Portait den Benutzern nach dem Hochladen von Fotos zwei Methoden zur Auswahl, nämlich textgesteuert und audiogesteuert. Im textgesteuerten Modus können Benutzer aus 28 verschiedenen Stimmen wählen, darunter Mandarin, Englisch, Kantonesisch und Kinderstimmen. Darüber hinaus bietet Live Portait auch eine einfache Modellauswahl, damit Benutzer Videos schneller erstellen können

Zhang Bang, Leiter des Algorithmus des Tools, sagte: „Live Portait integriert eine Reihe innovativer Technologien, die vom Team unabhängig entwickelt wurden, einschließlich der Fähigkeit, realistische Gesichtsanimationen mit einem einzigen Bild zu generieren, und durchbricht damit die Einschränkungen traditioneller Netzwerke zur gegnerischen Generierung.“ Mit der kontinuierlichen Weiterentwicklung der Technologie haben bildgenerierte Videos breite Anwendungsaussichten und werden voraussichtlich zu einem wichtigen Instrument für Unternehmen, um die Produktionseffizienz zu verbessern und Kosten zu senken.“

Es wird davon ausgegangen, dass die Forschungsrichtungen des Teams digitale Menschen, 3D-Modell-KI-Generierung, High-Fidelity-Rendering und natürliche Mensch-Computer-Interaktion umfassen. Es hat mehr als 50 Artikel auf führenden internationalen Konferenzen veröffentlicht

Das obige ist der detaillierte Inhalt vonDie MoDa-Community bringt das KI-Videogenerierungstool Live Portait auf den Markt, das Fotos mit einem Klick zum Sprechen bringen kann. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!