Heim > Artikel > Technologie-Peripheriegeräte > Neuer Titel: Echtzeit-Rendering weiterentwickelt! Innovative Methode der 3D-Rekonstruktion auf Strahlenbasis
Bilder
Papier-Link:https://arxiv.org/pdf/2310.19629
Code-Link:https://github.com/vLAR-group/RayDF
Homepage:Erforderlich Der umgeschriebene Inhalt ist: https://vlar-group.github.io/RayDF.html
Der umgeschriebene Inhalt: Implementierungsmethode:
Der Gesamtprozess und die Komponenten von RayDF sind wie folgt (siehe Abbildung 1)
In vielen hochmodernen Anwendungen im Bereich der maschinellen Bildverarbeitung und Robotik lernen Sie drei präzise und effiziente -dimensionale Formausdrücke sind sehr wichtig. Allerdings erfordern bestehende implizite Ausdrücke, die auf 3D-Koordinaten basieren, hohe Rechenkosten, wenn sie 3D-Formen darstellen oder 2D-Bilder rendern. Im Gegensatz dazu können strahlenbasierte Methoden effizient auf 3D-Formen schließen. Bestehende strahlenbasierte Methoden berücksichtigen jedoch nicht die geometrische Konsistenz unter mehreren Betrachtungswinkeln, was es schwierig macht, genaue geometrische Formen unter unbekannten Betrachtungswinkeln wiederherzustellen. Um diese Probleme anzugehen, schlägt dieser Artikel eine neue Methode vor, die die geometrische Konsistenz über mehrere Betrachtungswinkel hinweg aufrechterhält Betrachtungswinkel. Eine strahlenbasierte implizite Ausdrucksmethode namens RayDF. Diese Methode basiert auf einem einfachen Strahloberflächen-Abstandsfeld. Durch die Einführung eines neuen Dual-Ray-Sichtbarkeitsklassifikators und eines Moduls zur Optimierung der Konsistenz mehrerer Ansichten können Sie lernen, einen Strahloberflächenabstand zu erhalten, der die geometrische Konsistenz mehrerer Betrachtungswinkel erfüllt . Experimentelle Ergebnisse zeigen, dass die modifizierte Methode bei drei Datensätzen eine überlegene 3D-Oberflächenrekonstruktionsleistung erzielt und eine 1000-mal schnellere Rendering-Geschwindigkeit als die koordinatenbasierte Methode erreicht (siehe Tabelle 1).
Die folgenden Hauptbeiträge sind:
Dieser Ausdruck verwendet das Strahloberflächen-Abstandsfeld zur Darstellung dreidimensionaler Formen und ist effizienter als vorhandene koordinatenbasierte Ausdrücke.
2.2 Dual-ray Visibility Classifier
Das Hilfsnetzwerk in dieser Methode ist eine Vorhersage, ob die beiden Eingangsstrahlen gleichzeitig eine Oberfläche sehen können Zeit Binärer Klassifikator für Punkte. Wie in Abbildung 3 dargestellt, werden die aus den beiden Eingangsstrahlen erhaltenen Merkmale gemittelt, um sicherzustellen, dass die vorhergesagten Ergebnisse nicht durch die Reihenfolge der beiden Strahlen beeinflusst werden. Gleichzeitig werden die durch separate Codierung von Oberflächenpunkten erhaltenen Merkmale nach den Strahlmerkmalen gespleißt, um die Strahlmerkmale zu verbessern und dadurch die Genauigkeit des Klassifikators zu verbessern.
Die Rahmenstruktur des Dual-Ray-Sichtbarkeitsklassifizierers ist in Abbildung 3 dargestellt. Das Schlüsselmodul der Multi-View-Konsistenzoptimierung wird eingeführt, um ein zweistufiges Training in den beiden Netzwerken durchzuführen.(1) Konstruieren Sie zunächst die Strahlenpaare für das Training für den Dual-Ray-Sichtbarkeitsklassifikator des Hilfsnetzwerks. Für einen Strahl in einem Bild (entsprechend einem Pixel im Bild) kann der entsprechende Raumoberflächenpunkt anhand seines Strahloberflächenabstands projiziert werden, um einen anderen Strahl und diesen Strahl zu erhalten Es gibt einen entsprechenden Abstand zwischen den Strahlen und der Oberfläche. Der Artikel legt einen Schwellenwert von 10 mm fest, um festzustellen, ob zwei Strahlen füreinander sichtbar sind.
(2) Die zweite Stufe besteht darin, das Strahl-Oberflächen-Entfernungsnetzwerk des Hauptnetzwerks so zu trainieren, dass sein vorhergesagtes Entfernungsfeld der Multi-View-Konsistenz entspricht. Wie in Abbildung 4 dargestellt, wird für einen Hauptstrahl und seine Oberflächenpunkte der Oberflächenpunkt gleichmäßig als Mittelpunkt der Kugel abgetastet, und es werden mehrere Mehrfachansichtsstrahlen erhalten. Koppeln Sie den Hauptstrahl nacheinander mit diesen Mehrfachsichtstrahlen, und ihre gegenseitige Sichtbarkeit kann durch den trainierten Dual-Ray-Sichtbarkeitsklassifizierer ermittelt werden. Sagen Sie dann den Strahloberflächenabstand dieser Strahlen über das Strahloberflächenabstandsnetzwerk voraus. Wenn der Hauptstrahl und ein bestimmter Abtaststrahl gegenseitig sichtbar sind, sollten die durch die Strahloberflächenabstände der beiden Strahlen berechneten Oberflächenpunkte gleich sein Punkt; entsprechend Die entsprechende Verlustfunktion wird entworfen und das Hauptnetzwerk trainiert, was letztendlich ermöglicht, dass das Strahlenoberflächen-Distanzfeld die Konsistenz mehrerer Ansichten erreicht.
Da der Tiefenwert am Rand der Szenenoberfläche häufig Mutationen (Diskontinuität) aufweist und das neuronale Netzwerk eine kontinuierliche Funktion ist, gilt dies für das obige Strahl-Oberflächen-Abstandsfeld Auf der Oberfläche können ungenaue Abstandswerte am Rand leicht vorhergesagt werden, was zu Rauschen auf der geometrischen Oberfläche am Rand führt. Glücklicherweise weist das entworfene Strahl-Oberflächen-Abstandsfeld eine gute Funktion auf, wie in Abbildung 5 dargestellt. Der Normalenvektor jedes geschätzten dreidimensionalen Oberflächenpunkts kann durch automatische Differenzierung des Netzwerks leicht in geschlossener Form gefunden werden. Daher kann der euklidische Abstand des Normalenvektors des Oberflächenpunkts während der Netzwerkinferenzphase berechnet werden. Wenn der Abstandswert größer als der Schwellenwert ist, wird der Oberflächenpunkt als Ausreißer betrachtet und eliminiert, wodurch ein sauberes dreidimensionales Bild erhalten wird rekonstruierte Oberfläche.
Abbildung 5 Oberflächennormalberechnung
Um die Wirksamkeit der vorgeschlagenen Methode zu überprüfen, haben wir Experimente mit drei Datensätzen durchgeführt. Diese drei Datensätze sind der synthetische Datensatz Blender auf Objektebene [1], der synthetische Datensatz DM-SR auf Szenenebene [2] und der reale Datensatz ScanNet auf Szenenebene [3]. Für den Leistungsvergleich haben wir sieben Basislinien ausgewählt. Unter diesen sind OF [4]/DeepSDF [5]/NDF [6]/NeuS [7] koordinatenbasierte Level-Set-Methoden, DS-NeRF [8] ist eine tiefenüberwachte NeRF-basierte Methode und LFN [ 9] und PRIF [10] sind zwei strahlenbasierte Basislinien
Aufgrund der Einfachheit der RayDF-Methode, direkt einen Strahlungszweig zum Erlernen von Texturen hinzuzufügen, kann sie mit Basismodellen verglichen werden, die die Vorhersage von Strahlungsfeldern unterstützen. Daher sind die Vergleichsexperimente dieser Arbeit in zwei Gruppen unterteilt. Die erste Gruppe (Gruppe 1) sagt nur die Entfernung (Geometrie) voraus, und die zweite Gruppe (Gruppe 2) sagt sowohl die Entfernung als auch die Strahldichte (Geometrie und Textur) voraus
Wie aus Tabelle 2 und Abbildung 6 ersichtlich ist, erzielt RayDF in Gruppe 1 und 2 bessere Ergebnisse bei der Oberflächenrekonstruktion, insbesondere beim wichtigsten ADE-Indikator, der deutlich besser ist als Basislinien basierend auf Koordinaten und Strahlen. Gleichzeitig erreichte RayDF hinsichtlich der Strahlungsfeldwiedergabe eine mit DS-NeRF vergleichbare und bessere Leistung als LFN und PRIF.
Abbildung 6 Visueller Vergleich des Blender-Datensatzes
Wie aus Tabelle 3 ersichtlich ist, übertrifft RayDF beim kritischsten ADE-Indikator alle Basislinien. Gleichzeitig konnte RayDF im Experiment der Gruppe 2 eine qualitativ hochwertige neue Ansichtssynthese erzielen und gleichzeitig sicherstellen, dass die genaue Oberflächenform wiederhergestellt wurde (siehe Abbildung 7).
Abbildung 7 Visueller Vergleich des DM-SR-Datensatzes
Tabelle 4 vergleicht die Leistung von RayDF und Basislinien in anspruchsvollen realen Szenarien. In der ersten und zweiten Gruppe übertrifft RayDF die Basiswerte in fast allen Bewertungsmetriken deutlich und zeigt klare Vorteile bei der Wiederherstellung komplexer realer 3D-Szenen
Das Folgende ist Abbildung 8 ScanNet Umgeschriebener Inhalt für den visuellen Vergleich von Datensätzen: In Abbildung 8 zeigen wir die visuellen Vergleichsergebnisse des ScanNet-Datensatzes
Ein Ablationsexperiment wurde mit dem Blender-Datensatz durchgeführt. Tabelle 5 im Artikel zeigt die Ablation des wichtigsten Dual-Ray-Sichtbarkeitsklassifikators. Die experimentellen Ergebnisse
Andere Resektionsoperationen können im Papier und im Papieranhang eingesehen werden
Der Inhalt, der neu geschrieben werden muss, ist: Abbildung 9 zeigt den visuellen Vergleich der Verwendung eines Klassifikators und der Nichtverwendung eines Klassifikators
Bei der Durchführung von Untersuchungen mit einem strahlenbasierten Multi-View-Konsistenzrahmen kam das Papier zu dem Schluss, dass die dreidimensionale Formdarstellung mit dieser Methode effizient und genau erlernt werden kann. In der Arbeit wird ein einfaches Strahlenoberflächen-Abstandsfeld verwendet, um die Geometrie dreidimensionaler Formen darzustellen, und ein neuartiger Dual-Ray-Sichtbarkeitsklassifikator wird verwendet, um die geometrische Konsistenz mehrerer Ansichten weiter zu erreichen. Experimente mit mehreren Datensätzen haben gezeigt, dass die RayDF-Methode eine extrem hohe Rendering-Effizienz und eine hervorragende Leistung aufweist. Weitere Erweiterungen des RayDF-Frameworks sind willkommen. Weitere Visualisierungsergebnisse können Sie auf der Homepage ansehen
Der Inhalt, der neu geschrieben werden muss, ist: https://vlar-group.github.io/RayDF.html
Der Inhalt, der neu geschrieben werden muss, ist: Original Link:https://mp.weixin.qq.com/s/dsrSHKT4NfgdDPYcKOhcOA
Das obige ist der detaillierte Inhalt vonNeuer Titel: Echtzeit-Rendering weiterentwickelt! Innovative Methode der 3D-Rekonstruktion auf Strahlenbasis. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!