Heim >Technologie-Peripheriegeräte >KI >Stabile Videoverbreitung ist da! Die 3D-Synthesefunktion erregt Aufmerksamkeit, Internetnutzer: Der Fortschritt ist zu schnell

Stabile Videoverbreitung ist da! Die 3D-Synthesefunktion erregt Aufmerksamkeit, Internetnutzer: Der Fortschritt ist zu schnell

PHPz
PHPznach vorne
2023-11-22 20:14:48709Durchsuche

Stable Video Diffusion hat endlich mit der Verarbeitung von Videos begonnen –

Veröffentlichung des generativen Videomodells Stable Video Diffusion (SVD).

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

Der offizielle Blog von Stability AI zeigt, dass die neue SVD die Text-zu-Video- und Bild-zu-Video-Generierung unterstützt:

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

und auch die Konvertierung von Objekten aus einer einzelnen Perspektive in mehrere Perspektiven unterstützt, d. h. 3D-Synthese :

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

Laut externer Auswertung behaupten Beamte, dass SVD bei Nutzern noch beliebter ist als die Videogenerierungs-KI von Runway und Pika.

Obwohl bisher nur das Basismodell veröffentlicht wurde, gab der Beamte bekannt, dass „es geplant ist, weiter zu expandieren und ein Ökosystem ähnlich der stabilen Diffusion aufzubauen“

Das Gewicht des Papiercodes ist jetzt online.

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

In letzter Zeit sind im Bereich der Videogenerierung neue Methoden aufgetaucht. Jetzt ist die stabile Verbreitung an der Reihe, so dass die Internetnutzer „schnell“ beklagt haben, ein solcher Fortschritt sei zu schnell!

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

Aber allein aufgrund des Demo-Effekts sagten mehr Internetnutzer, sie seien nicht sehr überrascht.

Obwohl ich SD mag und diese Demos großartig sind ... aber es gibt auch einige Mängel, die Beleuchtung und der Schatten sind falsch und die allgemeine Inkohärenz (Flimmern zwischen Videobildern).

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

Alles in allem sind die Internetnutzer sehr optimistisch, was die 3D-Synthesefunktion von SVD angeht:

Ich kann garantieren, dass bald etwas Besseres herauskommt, um es vorzustellen. Eine komplette 3D-Szene

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

Die offizielle Version des SD-Videos kommt

Zusätzlich zu dem, was oben gezeigt wird, hat der Beamte auch weitere Demos veröffentlicht, werfen wir zuerst einen Blick darauf:

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

Weltraumspaziergänge gibt es auch geplant:

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

Sie können den Hintergrund auch ruhig halten und nur die beiden Vögel bewegen lassen:

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

Berichten zufolge basiert SVD auch auf Stable Diffusion 2.1 und verwendet ein Videodatensatz mit etwa 600 Millionen Samples. Das Basismodell ist vorab trainiert.

Einfache Anpassung an eine Vielzahl nachgelagerter Aufgaben, einschließlich der Multi-View-Synthese aus einem einzelnen Bild durch Feinabstimmung von Multi-View-Datensätzen.

Nach der Feinabstimmung wurden zwei Bild-zu-Video-Modelle offiziell angekündigt. Diese Modelle können Videos mit 14 Bildern (SVD) und 25 Bildern (SVD-XT) mit benutzerdefinierten Bildraten von 3 bis 30 Bildern pro Sekunde erzeugen, je nach Benutzeranforderungen , wir haben es SVD-MV genannt

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

Den Testergebnissen zufolge schnitt SVD-MV im GSO-Datensatz besser ab als die Multi-View-Generationsmodelle Zero123, Zero123XL, SyncDreamer:

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

Es ist erwähnenswert, dass Stability AI angegeben hat, dass SVD derzeit auf die Forschung beschränkt ist und nicht für praktische oder kommerzielle Anwendungen geeignet ist. SVD ist derzeit nicht für jedermann verfügbar, die Registrierung für Benutzerwartelisten ist jedoch möglich.

Die Videogenerierung ist explodiert

Vor kurzem gab es einen „Nahkampf“ im Bereich der Videogenerierung

Zuvor gab es Vincent Video AI, das von PikaLabs entwickelt wurde:

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

Später gab es ein anderes namens „das leistungsstärkste Video der Geschichte“ Generierende KIMoonvalleygestartet:

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

Kürzlich wurde auch die „Bewegungspinsel“-Funktion der Gen-2 offiziell eingeführt, Sie können zeichnen, wo immer Sie wollen:

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

Jetzt ist SVD wieder aufgetaucht, und es besteht ein weiterer Bedarf. Es ist möglich, 3D-Videos zu generieren

Aber es scheint keine großen Fortschritte bei der Text- bis 3D-Generierung zu geben, und die Internetnutzer sind auch sehr verwirrt über dieses Phänomen

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

Einige Die Leute denken, dass Daten der Engpass sind, der die Entwicklung behindert:

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

Einige Internetnutzer denken, dass das Problem darin besteht, dass die Fähigkeit des verstärkenden Lernens nicht stark genug ist

Stable Video Diffusion问世!3D合成功能引关注,网友:进步太快

Kennen Sie die neuesten Fortschritte in diesem Bereich? Willkommen bei Im Kommentarbereich teilen~

Papierlink: https://static1.squarespace .com/static/6213c340453c3f502425776e/t/655ce779b9d47d342a93c890/1700587395994/stable_video_diffusion.pdf Was neu geschrieben werden muss ist:

Das obige ist der detaillierte Inhalt vonStabile Videoverbreitung ist da! Die 3D-Synthesefunktion erregt Aufmerksamkeit, Internetnutzer: Der Fortschritt ist zu schnell. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Stellungnahme:
Dieser Artikel ist reproduziert unter:51cto.com. Bei Verstößen wenden Sie sich bitte an admin@php.cn löschen