Runway-Version von Sora veröffentlicht: High-Fidelity, Super-Konsistenz, Gen-3 Alpha schockierte Internetnutzer

Obwohl das generierte Video nur etwa 10 Sekunden lang ist, scheint es in Bezug auf Klarheit, Details, Zeichenkonsistenz usw. mit allen vorhandenen Videogenerierungsmodellen vergleichbar zu sein.

Gerade jetzt hat das KI-Videogenerierungs-Startup Runway ein neues Basismodell für die Videogenerierung, Gen-3 Alpha, auf den Markt gebracht. Das Modell kann hochdetaillierte Videos mit komplexen Szenenwechseln, mehreren Filmstilen und detaillierter Art Direction erstellen.

Runway sagt, dass der Gen-3 Alpha das erste einer Reihe kommender Modelle ist. Serienmodelle werden auf einer neuen Infrastruktur trainiert, die für groß angelegte multimodale Schulungen entwickelt wurde.

Gen-3 Alpha bietet im Vergleich zu Gen-2 erhebliche Verbesserungen in Bezug auf Wiedergabetreue, Konsistenz und Bewegung und macht einen wichtigen Schritt in Richtung Aufbau eines universellen Weltmodells.

Im Blog betonte Runway, dass alle Videos der Demo mit Gen-3 Alpha ohne jegliche Modifikation erstellt wurden.

Viele Internetnutzer sagten, dass Runway uns wieder einmal wirklich schockiert habe: Runway ist zurück!

Pytorch-Leiter Soumith Chintala glaubt, dass ein Teil der Verarbeitungsqualität Sora-Niveau erreicht.

Als nächstes wollen wir uns den Effekt ansehen, der durch das Runway-Video erzeugt wird.

Eingabeaufforderung: Subtile Reflexionen einer Frau am Fenster eines Zuges, der mit Höchstgeschwindigkeit in einer japanischen Stadt fährt. (Eingabeaufforderung: Subtile Reflexionen einer Frau im Fenster eines Zuges, der mit Höchstgeschwindigkeit in einer japanischen Stadt fährt.) Tipps: Ein Astronaut rennt eine Gasse in Rio de Janeiro entlang. (Eingabeaufforderung: Ein Astronaut läuft durch eine Gasse in Rio de Janeiro.)

Wie Sie der Demo entnehmen können, ist das von Runway generierte 10-Sekunden-Video hervorragend in Bezug auf Klarheit, Detailgenauigkeit, Charakterkonsistenz und Wiedergabetreue. Sehr gut gemacht . Lassen Sie die Leute fragen: Wann kann es verwendet werden?

Feinkörnige Timing-Steuerung

Gen-3 Alpha ist für sehr anschauliche, zeitintensive Untertitel trainiert und ermöglicht fantasievolle Szenenübergänge.

Tipps: Nahaufnahme einer Ameise, die aus ihrem Nest kriecht. Die Kamera zoomt heraus und zeigt die Nachbarschaft hinter dem Hügel. (Eingabeaufforderung: Eine extreme Nahaufnahme einer Ameise, die aus ihrem Nest auftaucht. Die Kamera fährt zurück und gibt den Blick auf ein Viertel hinter dem Hügel frei.) Eingabeaufforderung: Eine FPV-Drohne fliegt über eine Burg auf einer Klippe. (Eingabeaufforderung: Eine FPV-Drohne schoss durch eine Burg auf einer Klippe.)

Erzeugen Sie realistischere menschliche Charaktere

Gen-3 Alpha zeichnet sich durch die Erstellung ausdrucksstarker menschlicher Charaktere mit einer Vielzahl von Bewegungen, Gesten und Emotionen aus.

Tipps: Dies ist ein filmisches Weitwinkelporträt eines Mannes, dessen Gesicht von Licht beleuchtet wird. (Eingabeaufforderung: Ein filmisches Großbildporträt eines Mannes, dessen Gesicht vom Schein eines Fernsehers beleuchtet wird.) Eingabeaufforderung: Ein trauriger, kahlköpfiger Mann mittleren Alters wird plötzlich glücklich, weil plötzlich eine Krone aus lockigem Haar und eine Sonnenbrille herunterfallen auf Auf seinem Kopf. (Eingabeaufforderung: Ein trauriger, kahlköpfiger Mann mittleren Alters freut sich, als ihm plötzlich eine Perücke aus lockigem Haar und eine Sonnenbrille auf den Kopf fallen.) Ein Team aus Ingenieuren und Künstlern arbeitete zusammen, um Gen-3 Alpha in die Lage zu versetzen, eine Vielzahl von Kunststilen und filmischer Terminologie zu verstehen und zu interpretieren. Tipps: Nachts läuft ein riesiges seltsames Wesen vor dem Fenster durch die heruntergekommene Stadt und eine Straßenlaterne ist schwach beleuchtet. (Eingabeaufforderung: Blick aus dem Fenster auf ein riesiges seltsames Wesen, das nachts durch eine heruntergekommene Stadt läuft, eine einzige Straßenlaterne, die die Gegend schwach beleuchtet.)

Eingabeaufforderung: Zeitrafferaufnahme, mit flackernden Lichtern durch den Korridor gehen, ein silberner Stoff Fliegen über den gesamten Flur. (Eingabeaufforderung: Hyperlapse-Aufnahme durch einen Korridor mit blinkenden Lichtern. Ein silberner Stoff fliegt durch den gesamten Korridor.)

BranchenanpassungRunway sagte, dass durch die Anpassung der Modelle der Gen-3-Serie eine stilisiertere Gestaltung erzielt werden könne Kontrolle und konsistentere Charaktere, optimiert für spezifische künstlerische und erzählerische Anforderungen usw. Tipp: Over-the-Shoulder-Aufnahme einer Frau, die rennt und in der Ferne eine Rakete beobachtet. (Eingabeaufforderung: Über die Schulter geschossene Aufnahme einer Frau, die rennt und in der Ferne eine Rakete beobachtet.)

Eingabeaufforderung: Ein Profilfoto einer Frau, hinter der in der Ferne ein Feuerwerk aufblüht. (Eingabeaufforderung: Eine Seitenansicht einer Frau mit Feuerwerkskörpern, die in der Ferne hinter ihr explodieren.)

In den letzten Monaten seit der Veröffentlichung von Sora sind immer mehr Modelle der Videogeneration aufgetaucht, wie zum Beispiel die kürzlich veröffentlichte Kuaishou Keling , Luma und die heutige Gen-3. Doch leider können wir viele Produkte nicht direkt erleben.

Ich glaube, dass es wie bei großen Textmodellen immer mehr Modelle zur Videogenerierung geben wird und wir diese Produkte frei ausprobieren können.
Blog-Link: https://runwayml.com/blog/introducing-gen-3-alpha/

Das obige ist der detaillierte Inhalt vonRunway-Version von Sora veröffentlicht: High-Fidelity, Super-Konsistenz, Gen-3 Alpha schockierte Internetnutzer. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!