Die DAMO Academy veröffentlicht die One-Stop-KI-Videoerstellungsplattform „Xunguang“, um einen neuen KI-Workflow zu erstellen

Dieses Jahr ist das erste Jahr der explosionsartigen Entwicklung der KI-Videogenerierung, und von Sora repräsentierte Algorithmusmodelle und Produktanwendungen entstehen ständig. In nur wenigen Monaten wurden Dutzende Tools zur Videogenerierung auf den Markt gebracht, und die KI-basierte Videoerstellung nimmt Fahrt auf.

Aber neue Technologien bringen auch mehr Herausforderungen und Zweifel mit sich. Neben dem bekannten „Blind Box Opening“-Phänomen werden durch KI generierte Videoinhalte auch häufig wegen ihrer schlechten Kontrollierbarkeit und ihres umständlichen Verarbeitungsworkflows kritisiert.

OpenAI hat einmal ein professionelles Videoproduktionsteam eingeladen, Sora zu testen. Unter ihnen hat das Shy Kids-Team aus Toronto einen Kurzfilm mit einem Ballonmann-Thema produziert, der Kreativität und KI-Technologie perfekt kombiniert .

Tatsächlich ist der gesamte Kurzfilm nicht das Ergebnis von Soras direktem Output, sondern besteht aus mehreren Videoclips. Wenn Sora verschiedene Videos generiert, ist es schwierig, die Konsistenz des Protagonisten sicherzustellen. Deshalb führten sie viele manuelle Nachbearbeitungen ein, bevor sie den endgültigen Kurzfilmeffekt präsentierten. Die Macher von Shy Kids kamen zu dem Schluss: „Die Technologie von Sora ist cool, aber der Generierungsprozess ist schwer zu kontrollieren.“ eine große Herausforderung.

Zu diesem Zweck hat die DAMO Academy auf der gerade zu Ende gegangenen Shanghai World Artificial Intelligence Conference (WAIC) die One-Stop-KI-Videoerstellungsplattform „Xunguang“ veröffentlicht.

Es ist als PUGCs One-Stop-KI-Videoerstellungsplattform positioniert, die Benutzer bei der Erstellung von Skripten, Storyboards usw. unterstützen und die Effizienz des gesamten kreativen Prozesses durch Workflow-Integration verbessern kann, indem sie umfangreiche KI für die Generierung und Unterstützung unterstützt Das Hochladen von Materialien bietet mehr als zehn KI-Bearbeitungsfunktionen wie Charaktersteuerung, Szenensteuerung, Stilübertragung, Kamerabewegungssteuerung, Hinzufügen/Eliminieren/Ändern von Zielen usw., sodass Elemente und Objekte im Video genau gesteuert werden können.

Dharma Academy hofft, die Effizienz der KI-Videoerstellung durch die Xunguang-Plattform weiter zu verbessern. Ziel ist es, KI-Funktionen zu nutzen, um den gesamten Prozess der traditionellen Videoproduktion neu zu gestalten und einen neuen Video-Workflow im KI-Zeitalter zu schaffen .

Zum ersten Mal in der Branche

Ebenenbasierte Videobearbeitung

In den frühen Phasen von Xunguangs Forschung und Entwicklung führte die DAMO Academy auch umfangreiche und intensive Forschungen mit Praktikern der Film- und Fernsehmedien durch und Ersteller, um ihre Bedürfnisse und Schwachstellen bei der Video-AIGC-Erstellung zu verstehen. Sie fanden heraus, dass Videoebenen bei fast allen Videokünstlern der am häufigsten genannte und dringendste Bedarf waren.

Auf dieser Grundlage hat die Xunguang-Plattform zum ersten Mal in der Branche eine systematische Videoebenenbearbeitungsfunktion eingeführt. Durch die Eingabe von Text können Benutzer ein Video generieren, das der Textbeschreibung entspricht und einen transparenten Hintergrund hat, und es mit einem Klick in andere Hintergrundvideos einblenden. Basierend auf den herkömmlichen Funktionen zur Videogenerierung werden Inhalte in einer flexibleren Form, beispielsweise in Ebenen, generiert.

Xunguang bietet auch die Funktion zum Zerlegen von Ebenen. Mit einem einzigen Tastendruck wird das ausgewählte Ziel sofort in separate Ebenenvideos zerlegt, und dann können verschiedene Hintergrundvideos reibungslos eingebettet werden.

Benutzer können verschiedene Vordergrundebenen mit unterschiedlichen Hintergründen zusammenführen, um mehr neue Videos zu kombinieren. Die Fähigkeit zur Ebenenfusion regt die Kreativität und Fantasie der KI weiter an und sorgt gleichzeitig für die Konsistenz von Szenen und Charakteren zwischen mehreren Aufnahmen.

Nach Ansicht der DAMO Academy wird KI nicht die Arbeit der YouTuber ersetzen, sondern den Workflow der Videoerstellung optimieren und zu einem neuen Motor werden, der von Kreativität angetrieben wird.

One-Stop-KI-Erstellungsplattform

Einfachere Interaktion, umfangreichere Bearbeitungsmöglichkeiten

Skripterstellung, Storyboard-Design, Materialbearbeitung ... Die traditionellen Schritte zur Videoerstellung haben eine klare Arbeitsteilung , Der Zyklus ist langwierig. Mit Unterstützung der KI-Technologie können die kreativen Schritte, die ursprünglich in verschiedenen Produktionsprozessen verstreut waren, nun reibungslos auf der Lichtfindungsplattform erledigt werden.

„Wir hoffen, die Videobearbeitung so einfach, intuitiv und benutzerfreundlich zu gestalten wie die Bedienung von ppt.“ Chen Weihua, ein leitender Algorithmusexperte am Visual Technology Laboratory der Damo Academy, stellte vor Ort ein wichtiges Highlight von vor Die lichtsuchende Plattform ist der Interaktionsaspekt.

Die Xunguang-Plattform berücksichtigt beim Entwerfen vollständig die Merkmale der KI-Videoerstellung und abstrahiert jedes Videoprojekt in mehrere Unteraufnahmen. Benutzer können automatisch eine Gruppe von Unteraufnahmen auf der Grundlage des Skripts erstellen oder diese hochladen das Originalvideomaterial selbst, vom Algorithmus in mehrere Unteraufnahmen unterteilt.

Im Kreativbereich können Benutzer problemlos mehrere Aufnahmen innerhalb einer Szene anzeigen. Die Reihenfolge zwischen den Szenen kann auch per Drag & Drop angepasst werden. Benutzer können außerdem an jedem Ort neue Unteraufnahmen hinzufügen und erstellen, Funktionen zur Bild- oder Videogenerierung aufrufen, um Inhalte zu generieren, oder verschiedene vorhandene Materialien hinzufügen.

Für jede Aufnahme bietet Xunguang vollständige und intelligente KI-Videobearbeitungsfunktionen zur Verarbeitung, die je nach Benutzerabsichten auf semantischer Ebene und nicht auf Pixelebene bearbeitet werden können. Alle lokalen Ziele wie der menschliche Körper, das Gesicht, der Vordergrund und der Hintergrund in den geteilten Aufnahmen können fein bearbeitet und modifiziert werden.

Zum Beispiel das Verständnis der Kamerabewegungssteuerung der räumlichen Tiefenschärfe;

In Bezug auf die Bearbeitung globaler Elemente des Videos bietet die Light-Search-Plattform mehr als 20 Stilmigrationen.

Xunguang bietet außerdem praktische Videobearbeitungsfunktionen wie Bildratensteuerung und Video-Superauflösung.

„Wir hoffen, dass alle Elemente in einem Video bearbeitet und geändert werden können, um den Benutzern die größtmögliche Freiheit bei der Erstellung zu bieten“, sagte Chen Weihua.

Geschrieben am Ende

Heute befinden wir uns mitten in einer Welle von Veränderungen bei AIGC, und KI hat das Potenzial, neue Video-Workflows hervorzubringen. Sowohl professionelle Film- und Fernsehschaffende als auch UGC-Benutzer, die kreatives Schaffen lieben, werden davon profitieren.

„Wenn Sie Ihre Arbeit gut machen wollen, müssen Sie zuerst Ihre Werkzeuge schärfen.“ Die Damo Academy hofft, dass die Xunguang-Videoerstellungsplattform zu einem exklusiven Videostudio für jeden YouTuber werden und eine engere Beziehung zwischen KI und YouTubern erreichen kann , effiziente Zusammenarbeit, die die Produktivität der KI wirklich entfesselt.

Zu diesem Zweck hat das Visual Technology Laboratory der DAMO Academy viele technische Reserven gebildet. Das Labor widmet sich der Erforschung multimodaler visueller Signalverständnis- und Generierungstechnologien. Zu den aktuellen Hauptforschungsrichtungen gehören eine genauere Bild-/Video-/3D-Inhaltsgenerierung, eine besser kontrollierbare Bild-/Video-/3D-Inhaltsbearbeitung und eine effizientere Generierung von Frames , multimodales Verständnis – generative Frames usw.

Chen Weihua sagte, dass „Xunguang“ in naher Zukunft für interne Tests eingeführt wird und weiterhin Interaktionen iterieren und optimieren wird. Ersteller können gerne ihren eigenen KI-Workflow anpassen.

^{Interne Beta-Antragsadresse:}

^{https://xunguang.damo-vision.com/}

Das obige ist der detaillierte Inhalt vonDie DAMO Academy veröffentlicht die One-Stop-KI-Videoerstellungsplattform „Xunguang“, um einen neuen KI-Workflow zu erstellen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!