Ganz gleich, ob es sich um echtes oder KI-Video handelt, „Mosca“ kann dynamisch renderbare 4D-Szenen rekonstruieren und wiederherstellen.

Die AIxiv-Kolumne ist eine Kolumne, in der diese Website akademische und technische Inhalte veröffentlicht. In den letzten Jahren sind in der AIxiv-Kolumne dieser Website mehr als 2.000 Berichte eingegangen, die Spitzenlabore großer Universitäten und Unternehmen auf der ganzen Welt abdecken und so den akademischen Austausch und die Verbreitung wirksam fördern. Wenn Sie hervorragende Arbeiten haben, die Sie teilen möchten, können Sie gerne einen Beitrag leisten oder uns für die Berichterstattung kontaktieren. E-Mail für die Einreichung: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

Lei Jiahui, Doktorand am Fachbereich Informatik der University of Pennsylvania (2020 – heute), sein Betreuer ist Professor Kostas Daniilidis, sein derzeitiger Hauptleiter Forschungsrichtung sind vierdimensionale dynamische Szenen, geometrische Modellierungsdarstellungen und Algorithmen mit Anwendungen. Er hat 7 Artikel als Erst- oder Co-Autor auf führenden Konferenzen zu Computer Vision und maschinellem Lernen (CVPR, NeurIPS, ICML, ECCV) veröffentlicht. Seinen vorherigen Bachelor-Abschluss (2016-2020) schloss er an der Kontrollabteilung der Zhejiang-Universität und der gemischten Klasse des Zhu Kezhen College mit dem ersten Platz in seinem Hauptfach ab.

Die Rekonstruktion renderbarer dynamischer Szenen aus beliebigen monokularen Videos ist ein heiliger Gral in der Computer-Vision-Forschung. In diesem Artikel versucht ein Forscherteam der University of Pennsylvania und der Stanford University, diesem Ziel einen kleinen Schritt näher zu kommen.

Es gibt riesige monokulare Videos im Internet, die eine große Menge an Informationen über die physische Welt enthalten. Allerdings mangelt es der 3D-Vision noch an wirksamen Mitteln, um 3D-dynamische Informationen aus diesen Videos zu extrahieren, um die zukünftige Modellierung großer 3D-Modelle und das Verständnis der Dynamik zu unterstützen physikalische Welt. Dieses inverse Problem ist zwar wichtig, aber äußerst anspruchsvoll.

• Erstens fehlen bei real aufgenommenen 2D-Videos häufig Multi-View-Informationen, sodass Multi-View-Geometrie nicht für die 3D-Rekonstruktion verwendet werden kann. In vielen Fällen ist es sogar unmöglich, die Kameraposition und interne Parameter mit vorhandener Software zu ermitteln. wie COLMAP).

• Zweitens ist der Freiheitsgrad dynamischer Szenen extrem hoch, und die vierdimensionale Darstellung ihrer Verformung und Langzeitinformationsfusion ist noch unausgereift, was dieses schwierige inverse Problem komplizierter macht.

Dieser Artikel schlägt ein neuartiges neuronales Informationsverarbeitungssystem vor – MoSca, das nur eine Reihe von Videorahmenbildern ohne zusätzliche Informationen bereitstellen muss und aus SORA Videos, Film- und Fernsehserienclips generieren und renderfähige Dynamik rekonstruieren kann Szenen aus monokularen Freilandvideos von , Internetvideos und öffentlichen Datensätzen.

• ArXiv-Adresse: https://arxiv.org/pdf/2405.17421
• Code (wird in naher Zukunft Open Source sein): www.github.com/JiahuiLei/MoSca
• Projektwebsite: www.cis.upenn.edu/~leijh/projects/mosca/
• Video (bilibili): www.bilibili.com/video/BV1uU411o75P/?vd_source=177d8c87be5e898a43e8937dbef9bed4

Das Folgende sind zwei Videodemos.

Methodenübersicht

Um die oben genannten Schwierigkeiten zu überwinden, nutzte Mosca zunächst das starke Vorwissen, das in Computer-Vision-Grundlagenmodellen gespeichert ist, um den Problemlösungsraum zu reduzieren.

Insbesondere verwendet Mosca das monokulare metrische Tiefenschätzungsmodell UniDepth, das Video-Any-Point-Long-Term-Tracking-Modell (jeden Punkt verfolgen) CoTracker und die optische Flussschätzung (optischer Fluss). Der epipolare geometrische Fehler (Epipolarfehler) berechnet vom Modell RAFT und den semantischen Merkmalen, die vom vorab trainierten semantischen Modell DINO-v2 bereitgestellt werden. Einzelheiten finden Sie in Kapitel 3.1 des Artikels. Wir stellen fest, dass die meisten dynamischen Verformungen in der realen Welt kompakter und spärlicher Natur sind und ihre Komplexität oft viel geringer ist als die realer geometrischer Strukturen. Beispielsweise kann die Bewegung eines harten Objekts durch Rotation und Translation dargestellt werden, und die Bewegung einer Person kann durch die Rotation und Translation mehrerer Gelenke grob angenähert werden.

Basierend auf dieser Beobachtung schlägt dieser Artikel eine

neuartige kompakte dynamische Szenendarstellung vor – 4D Motion Scaffold

, die die obige Grundmodellausgabe von zwei Dimensionen auf vier Dimensionen erweitert und zusammenführt und gleichzeitig die physikalisch inspirierte Deformationsregulierung (ARAP) integriert. .

Das vierdimensionale Bewegungsgerüst ist ein Diagramm. Jeder Knoten des Diagramms ist eine Folge von Bewegungstrajektorien des starren Körpers (SE (3)). Die Topologie des Diagramms ist die Kante des nächsten Nachbarn, die unter Berücksichtigung des Abstands zwischen den starren Körpern erstellt wird Bewegungsbahnkurven global. Verformungen an jedem Punkt im Raum können durch Glätten der Starrkörper-Trajektorien von Knoten auf dem interpolierten Graphen in der Raum-Zeit mithilfe von Dual-Quaternionen dargestellt werden. Diese Darstellung vereinfacht die zu lösenden Bewegungsparameter erheblich. (Einzelheiten finden Sie in Kapitel 3.2 des Dokuments).

Ein weiterer großer Vorteil des vierdimensionalen Bewegungsgerüsts besteht darin, dass es direkt durch monokulare Tiefe und zweidimensionale Videopunktverfolgung initialisiert werden kann und dann die unbekannte Okklusionspunktposition und die Richtung des lokalen Koordinatensystems effizient gelöst werden können physikalische regelmäßige Laufzeitoptimierung. Einzelheiten finden Sie in Kapitel 3.3 des Papiers.

Mit dem vierdimensionalen Bewegungsgerüst kann jeder Punkt zu jedem Zeitpunkt zu jedem Zielzeitpunkt verformt werden, was eine globale Fusion von Beobachtungsinformationen ermöglicht. Insbesondere kann jedes Bild des Videos mithilfe der geschätzten Tiefenkarte in den dreidimensionalen Raum zurückprojiziert und mit einem dreidimensionalen Gaußschen (3DGS) initialisiert werden. Diese Gauß-Operatoren sind an das vierdimensionale Bewegungsgerüst „gebunden“ und können jederzeit frei pendeln. Wenn Sie die Szene zu einem bestimmten Zeitpunkt rendern möchten, müssen Sie zur Fusion nur die Gaußschen Werte aller anderen globalen Momente über das vierdimensionale Gerüst auf den aktuellen Moment übertragen. Diese dynamische Szenendarstellung basierend auf vierdimensionalem Bewegungsgerüst und Gauß kann durch den Gauß-Renderer effizient optimiert werden (Einzelheiten finden Sie in Kapitel 3.4 des Artikels).

Abschließend ist noch zu erwähnen, dass Mosca ein System ist, das keine internen und externen Parameter der Kamera erfordert. Durch die Verwendung des vom oben genannten Ecksteinmodell ausgegebenen epipolaren Geometriefehlers zur Bestimmung der statischen Hintergrundmaske und die Verwendung der vom Ecksteinmodell ausgegebenen Tiefen- und Punktverfolgungsausgabe kann Mosca den Reprojektionsfehler effizient optimieren und die globale Bündelanpassung für die direkte Ausgabe lösen Interne Kameraparameter und Pose, und optimieren Sie die Kamera durch anschließendes Rendern weiter (Einzelheiten finden Sie in Kapitel 3.5 des Dokuments).

Experimentelle Ergebnisse

Mosca kann dynamische Szenen in DAVIS-Datensatzvideos rekonstruieren. Es ist erwähnenswert, dass Mosca mehrere Gauß-basierte Renderer flexibel unterstützt. Zusätzlich zum nativen 3DGS-Renderer wurde in diesem Artikel auch der aktuelle Gaußsche Oberflächenrekonstruktions-Renderer GOF (Gaussian Opacity Field) getestet. Wie im Bild ganz rechts gezeigt, kann GOF eine höhere Qualität von Normalen und Tiefen darstellen.

Moska erzielt erhebliche Verbesserungen beim anspruchsvollen IPhone-DyCheck-Datensatz und vergleicht gleichzeitig andere Methoden mit dem weitgehend vergleichbaren Nvidia-Datensatz.

Das obige ist der detaillierte Inhalt vonGanz gleich, ob es sich um echtes oder KI-Video handelt, „Mosca“ kann dynamisch renderbare 4D-Szenen rekonstruieren und wiederherstellen.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!