Die AIxiv-Kolumne ist eine Kolumne, in der diese Website akademische und technische Inhalte veröffentlicht. In den letzten Jahren sind in der AIxiv-Kolumne dieser Website mehr als 2.000 Berichte eingegangen, die Spitzenlabore großer Universitäten und Unternehmen auf der ganzen Welt abdecken und so den akademischen Austausch und die Verbreitung wirksam fördern. Wenn Sie hervorragende Arbeiten haben, die Sie teilen möchten, können Sie gerne einen Beitrag leisten oder uns für die Berichterstattung kontaktieren. E-Mail für die Einreichung: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com
Zu den Autoren dieser Arbeit gehören Yang Runyi, ein Masterstudent am Imperial College London, und Zhu Zhenxin, ein Masterstudent im zweiten Jahr an der Beihang Universität, und Zhu Zhenxin, ein Masterstudent im zweiten Jahr am Beijing Institute of Technology Sheng Jiang Zhou, Ye Baijun, ein Student im vierten Jahr am Beijing Institute of Technology, Zhang Yifei, ein Student im dritten Jahr an der University of Chinese Akademie der Wissenschaften, Zhao Jian, Direktor des Multimedia Cognitive Learning Laboratory (EVOL Lab) des China Telecom Artificial Intelligence Research Institute, Tsinghua University Intelligent Industry Research Institute (AIR), Assistenzprofessor Zhao Hao und andere.
In letzter Zeit hat 3D Gaussian Splatting (3DGS) als neuartige 3D-Darstellungsmethode aufgrund seiner schnellen Rendering-Geschwindigkeit und hohen Rendering-Qualität Aufmerksamkeit erregt. Allerdings ist dieser Ansatz auch mit einem hohen Speicherverbrauch verbunden. Beispielsweise kann ein trainiertes Gauß-Feld mehr als drei Millionen Gauß-Primitive und mehr als 700 MB Speicher verwenden.
Kürzlich Imperial College London, Beihang University, Beijing Institute of Technology, University of Chinese Academy of Sciences, China Telecom Artificial Intelligence Research Institute Multimedia Cognitive Learning Laboratory (EVOL Lab), Tsinghua University Intelligent Industry Research Institute (AIR) und anderen Institutionen Die Forscher veröffentlichten gemeinsam einen Artikel „SUNDAE: Spectrally Pruned Gaussian Fields with Neural Compensation“. Wir glauben, dass dieser hohe Speicherverbrauch auf die Nichtberücksichtigung der Beziehung zwischen Grundelementen zurückzuführen ist. In der Arbeit schlagen wir ein „speichereffizientes Gaußsches Feld namens SUNDAE vor, das spektrale Beschneidung und neuronale Kompensation nutzt“. 
Artikellink: https://arxiv.org/abs/2405.00676
- Projekthomepage: https://runyiyang.github.io/projects/SUNDAE/
一Einerseits erstellen wir einen Graphen basierend auf den räumlichen Informationen von Gaußschen Grundelementen, um die Beziehung zwischen ihnen zu simulieren, und entwerfen ein Downsampling-Modul basierend auf der Signalverarbeitung des Graphen, um das gewünschte Signal zu bereinigen und gleichzeitig beizubehalten. Um andererseits die durch das Bereinigen verursachte Qualitätsverschlechterung zu kompensieren, verwenden wir ein leichtes neuronales Netzwerk, um Rendering-Merkmale zu mischen und so die Qualitätsverschlechterung effektiv zu kompensieren und gleichzeitig die Beziehungen zwischen Grundelementen in ihren Gewichten zu erfassen.
Wir demonstrieren die Leistungsfähigkeit von SUNDAE mit umfangreichen Ergebnissen. Beispielsweise kann SUNDAE im Mip-NeRF360-Datensatz 26,80 PSNR und 145 FPS mit 104 MB Speicher erreichen, während der standardmäßige 3D-Gauß-Splatting-Algorithmus 25,60 PSNR und 160 FPS mit 523 MB Speicher erreicht.
Gleichzeitig hat SUNDAE seit seiner Open Source große internationale Aufmerksamkeit erhalten und wurde von der bekannten NeRF-Community MrNeRF, dem Betreuer der KI-Forschungsgemeinschaft Ahsen Khaliq und vielen Forschern in verwandten Bereichen weitergeleitet und verfolgt. 1. Spektrales Bereinigen des Gaußschen Feldes mit neuronaler Kompensation GS wird durch eine Reihe von Gaußschen Grundelementen dargestellt. Szene,Da diese Da Grundelemente unregelmäßig im dreidimensionalen Raum verteilt sind, schlagen wir eine graphbasierte Methode zur Erfassung der Beziehungen zwischen Grundelementen vor, anstatt herkömmliche Strukturen wie Gitter zu verwenden.
Konkret nutzen wir die Graphsignalverarbeitungstheorie, um eine optimale Abtaststrategie abzuleiten, die spezifische Spektrumsinformationen basierend auf Graphsignalen beibehalten kann. Durch die Steuerung der Spektrumsbandbreite können wir das Beschneidungsverhältnis flexibel steuern und die Beziehung zwischen Gaußschen Grundelementen modellieren. Wie in Abbildung 1(c) gezeigt, können wir das Beschneiden von 90 % der Gaußschen Grundelemente steuern, ohne die Renderqualität zu beeinträchtigen.
Abbildung 1: (a) Das Ergebnis von 3DGS 7k-Iterationen; (b) Das Ergebnis von 3DGS 30k-Iterationen werden zur Darstellung der dreidimensionalen Szene verwendet, sodass die Qualität höher und die Geschwindigkeit langsamer ist. und der Speicherplatz ist größer; (c) 90 % der Gaußschen Grundelemente werden beschnitten, wodurch der Speicherplatz erheblich reduziert wird, aber ähnliche Rendering-Effekte erzielt werden. Wir verwenden das Zentrum der Gaußschen Grundelemente als Signaleingabe im Diagramm und den Abstand zwischen den Gaußschen Grundelementen als Kanten des Diagramms. Die Adjazenzmatrix des Diagramms kann als
ausgedrückt werden
wobei 
der Mittelpunkt des Gaußschen Elements ist, 
ein Schwellen-Super--Parameter ist, 
die Varianz der Distanzmatrix ist. Das heißt, wenn der Abstand zwischen zwei Gaußschen Grundelementen kleiner als ein Schwellenwert ist, erstellen wir eine Diagrammkante zwischen ihnen. Nachdem wir die Adjazenzmatrix des Diagramms erstellt haben, können wir das Signal im Diagramm gemäß dem Haar-ähnlichen Filter verarbeiten, um das Diagrammsignal in einem bestimmten Frequenzband zu erhalten. Abschließend erfolgt die Beschneidung basierend auf dem gewünschten Frequenzbandsignal. In diesem Artikel verwenden wir einen Bandsperrfilter, um das Hochfrequenzsignal, das Objektdetails darstellt, und das Niederfrequenzsignal des Hintergrundpunkts beizubehalten. 1.2 Neuronaler KompensationsmechanismusNach dem Bereinigen des Spektrums nimmt die Wiedergabequalität zwangsläufig ab, da zu viele Gaußsche Grundelemente gelöscht werden. Um dieses Problem zu lösen, verwenden wir ein neuronales Netzwerk, um dies zu kompensieren Qualitätsverlust, wie in Abbildung 2 dargestellt. Wir haben von Gaussian Splatting auf Feature Splatting umgestellt und ein leichtes Faltungs-Neuronales Netzwerk eingeführt, um Gaußsche Grundelemente auszugeben, die RGB-Werten auf dem Bild zugeordnet sind, und so Informationen aus verschiedenen Grundelementen zusammenzuführen. Dadurch können die Gewichte des Kompensationsnetzwerks indirekt die Beziehung zwischen Grundelementen im zweidimensionalen Bildraum erfassen. 
Abbildung 2: Das links gezeigte Original-3DGS erfordert viel Speicherplatz, da es die Beziehung zwischen Grundelementen nicht erfasst; die Mitte zeigt unsere Spektrumsbereinigungsstrategie, die die Beziehung zwischen Gaußschen Grundelementen modelliert; zeigt die neuronale Kompensation mithilfe von 2D-Funktionen zur Verbesserung des Renderings. Anstatt das RGB-Bild direkt wie 3DGS zu rendern, erhalten wir eine Feature-Map durch einen differenzierbaren Rasterizer für 3D-Gauß-Funktionen, der die Features von 3D-Gauß-Funktionen auf eine zweidimensionale Feature-Karte projiziert. Dann verwenden wir ein leichtes neuronales Netzwerk, um die Beziehung zwischen Grundelementen zu modellieren und die Qualitätsverschlechterung nach der Spektralbeschneidung zu kompensieren. Dieses Netzwerk besteht aus einem vierschichtigen, vollständig konvolutionellen U-Net mit Skip-Verbindung, das Informationen aus verschiedenen Grundelementen aggregiert. Verwenden Sie durchschnittliches Pooling für das Downsampling und bilineare Interpolation für das Upsampling von Bildern. Das Netzwerk verwendet gerasterte Feature-Maps als Eingabe und gibt RGB-Bilder aus. Der Gesamtrahmen von SUNDAE ist in Abbildung 3 unten dargestellt. 
Abbildung 3: (a) Pipeline: Für ein vorab trainiertes 3D-Gauß-Feld wird eine graphbasierte Beschneidungsstrategie verwendet, um die Gauß-Elemente herunterzurechnen, und ein Faltungs-Neuronales Netzwerk wird verwendet, um den durch die Beschneidung verursachten Verlust zu kompensieren. (b) Graphbasiertes Bereinigen: Für das Bereinigen werden Diagramme verwendet, die auf räumlichen Beziehungen zwischen Gaußschen Grundelementen basieren. Durch die Verwendung von Bandsperrfiltern erleichtert dieser Prozess die Extraktion detaillierter Informationen aus Hochfrequenzkomponenten und erfasst gleichzeitig allgemeine Merkmale des Niederfrequenzanteils, was zu einer umfassenden und effizienten Darstellung der gesamten Szene führt. 1.3 Strategie für kontinuierliches Beschneiden Beim kontinuierlichen Bereinigen wird während des gesamten Trainingsprozesses regelmäßig in vordefinierten Abständen eine bestimmte Anzahl oder ein bestimmter Anteil von Grundelementen entfernt. Dieser Ansatz zielt darauf ab, die maximale Anzahl von Grundelementen beim Training von 3D-Gaußschen Feldern kontinuierlich zu kontrollieren, wodurch der Spitzenspeicherbedarf während des Trainings reduziert wird und das Training auf GPU-Geräten mit wenig GPU-Speicher ermöglicht wird.
Die Erfahrung zeigt, dass die Vorteile eines niedrigeren Spitzenspeichers auf Kosten einer schwächeren endgültigen Kontrolle des Speicherbedarfs gehen. Wenn wir beispielsweise alle 2000 Iterationen 20 % der Grundelemente beschneiden, kann der endgültige Konvergenzzustand des 3D-Gaußschen Feldes von der erwarteten Reduzierung um 20 % abweichen. Darüber hinaus kann diese Variation je nach Szenario variieren, was die Vorhersagbarkeit und Konsistenz der Beschneidungseffekte komplexer macht. Daher erwägen wir bei Bedarf die Strategie des kontinuierlichen Beschneidens als Alternative. 2. Experimentelle Ergebnisse Modell ähnlich Ergebnisse können erzielt werden, wenn nur 10 % des Speichers verwendet werden, und können das ursprüngliche 3DGS übertreffen, wenn 30 % oder 50 % des Speichers verwendet werden. Und es übertrifft andere NeRF-bezogene Algorithmen in Bezug auf FPS bei weitem.
Dies liegt daran, dass unser Modell die Beziehung zwischen Gaußschen Grundelementen besser erfassen und weniger Gaußsche Grundelemente verwenden kann, um die dreidimensionale Szene effizient darzustellen.
2.2 Qualitative Ergebnisse
Wie in den qualitativen Ergebnissen zu sehen ist, vergleichen wir die qualitativen Ergebnisse von SUNDAE mit 3DGS und InstantNGP bei 1 % und 10 % Abtastraten. Qualitative Ergebnisse zeigen, dass SUNDAE in der Lage ist, eine ähnliche neue Perspektivensynthesequalität zu erreichen und dabei nur 10 % oder sogar 1 % des Speicherverbrauchs zu verbrauchen. Der Graph baut erfolgreich Beziehungen zwischen Grundelementen auf, während der neuronale Kompensationskopf die Rendering-Qualität effektiv aufrechterhält. Und wie aus der vierten und letzten Zeile von Abbildung 5 hervorgeht, ist die Spektrumbeschneidung in der Lage, schwebende Objekte in der Nähe der Kamera zu entfernen.
2.3.1 Bandsperrfilter
Das Verhältnis des Bandsperrfilters wird durch einen Parameter dargestellt. Insbesondere tasten wir während des graphbasierten Bereinigungsprozesses mehrere Grundelemente ab, darunter einen bestimmten Anteil () des Hochpasses und den verbleibenden (1-) Tiefpass.
Die Ergebnisse zeigen, dass dieser Parameter einen erheblichen Einfluss auf die Wiedergabequalität hat, wobei ein Verhältnis von 50 % die besten Ergebnisse liefert, während eine unverhältnismäßige Betonung von Signalen mit niedriger oder hoher Frequenz zu einer Verschlechterung der Qualität führt, wie z Verhältnis von 50 % Es behält ausgewogene Hochfrequenzdetails und Niederfrequenzhintergrund bei, sodass der Effekt besser ist. 2.3.2 Vergütungsnetzwerk
Wie in Abbildung 6 und Tabelle 2 dargestellt, zeigen wir die Bedeutung des Vergütungsnetzwerks qualitativ und quantitativ. Wie in Tabelle 2 gezeigt, zeigt die Verwendung der neuronalen Kompensation eine verbesserte Leistung im Vergleich zur Nichtverwendung bei allen Abtastraten. Dies wird durch die in Abbildung 6 dargestellten Visualisierungsergebnisse weiter untermauert, die die Fähigkeit des Moduls zeigen, den durch Spektrumsbeschneidung verursachten Leistungsabfall zu kompensieren. Gleichzeitig wurde auch bewiesen, dass die Beziehung zwischen Grundelementen gut erfasst ist.
Wie in Tabelle 3 gezeigt, haben wir verschiedene Größen von Kompensationsnetzwerken ausprobiert. Eine Erhöhung der Netzwerkgröße verbessert nicht unbedingt die Rendering-Qualität, was mit den Ergebnissen von ADOP übereinstimmt und auf einen ähnlichen Trend hinweist. Wir verwenden 30 MB 4-Tier-UNet als Standardeinstellung für die beste Balance zwischen Qualität und Speicher.
Wie in Tabelle 1 oben gezeigt, ist die Beibehaltung von 50 % der Grundelemente hinsichtlich der Renderqualität besser als das ursprüngliche 3DGS. Wir haben außerdem zusätzlich die Beibehaltung von 80 % und die Beibehaltung aller Grundelemente getestet, um zu untersuchen, wie sich die Abtastrate auf die Endergebnisse auswirkt, wie in Tabelle 4 gezeigt. Die Ergebnisse zeigen, dass die Beibehaltung von 80 % der Grundelemente die Rendering-Qualität verbessert, was eine Verbesserung in Bezug auf LPIPS, aber eine kleine visuelle Verbesserung in PSNR und SSIM zeigt. Die Beibehaltung aller Grundelemente (und das Training für weitere Epochen) verbessert die Qualität nicht weiter, was auch die Bedeutung der Modellierung von Grundelementbeziehungen zeigt. Ohne effektive relationale Modellierung erschweren mehr Grundelemente die Konvergenz des Modells, und eine große Anzahl von Grundelementen wirkt sich negativ auf die Szenendarstellung aus. Darüber hinaus bestand unser Ziel darin, die Rendering-Qualität mit der Speichereffizienz in Einklang zu bringen. Die Erhöhung des Speichers auf 620 MB, um 80 % der Grundelemente beizubehalten, führte jedoch nur zu einer geringfügigen Qualitätsverbesserung und verringerte dadurch die Speichereffizienz. 
2.3.4 Kontinuierliche Sampling-Strategie Wir haben die kontinuierliche Sampling-Strategie für die Bicycle- und Counter-Szenarien im MipNeRF360-Datensatz getestet und dabei unterschiedliche Pruning-Intervall-Iterationen und Pruning-Raten festgelegt. Wie in Tabelle 5 gezeigt, ist Points die Anzahl der Grundelemente nach dem Training und Ratio das ungefähre Verhältnis der Anzahl der Grundelemente nach dem Training zum ursprünglichen 3DGS. Die Ergebnisse zeigen, dass diese Strategie den Spitzenspeicher reduzieren kann, es jedoch schwierig ist, den endgültigen Speicher zu kontrollieren (gespiegelt durch Punkte und Verhältnis). Aus diesem Grund haben wir unsere Bereinigungsstrategie nach dem Training validiert, bieten aber dennoch die kontinuierliche Bereinigungsstrategie als Alternative in unserer Open-Source-Toolbox an. 
Einzelheiten zu Trainingszeit, CUDA-Speicher, Rendering-Bildrate und ROM-Speicher finden Sie in Tabelle 6. Es ist erwähnenswert, dass die „Ours-50%“-Version die beste Rendering-Qualität innerhalb einer akzeptablen Trainingszeit (1,41 Stunden) erreicht, während gleichzeitig Echtzeit-Rendering erreicht wird und die CUDA-Speichernutzung und ROM-Speicherung während des Trainings deutlich reduziert wird. 3. Fazit verschiedene Grundelemente, um den durch das Bereinigen verursachten Informationsverlust auszugleichen. 
Wir verwenden die räumlichen Informationen zwischen Gaußschen Grundelementen, um Diagramme zur Modellierung von Beziehungen zu erstellen, und bereinigen sie basierend auf Spektralinformationen, um redundante Grundelemente zu entfernen. Ein leichtes neuronales Netzwerk wird verwendet, um den unvermeidlichen Verlust der Rendering-Qualität nach dem Beschneiden auszugleichen.
Experimentelle Ergebnisse zeigen, dass SUNDAE den Speicher erheblich reduziert, die Effizienz verbessert und die Wiedergabequalität mit hoher Wiedergabetreue beibehält, während die Effizienz von 3DGS erhalten bleibt. Das obige ist der detaillierte Inhalt vonVerabschieden Sie sich vom 3D-Gaußschen Splatting-Algorithmus, das spektral beschneidende Gaußsche Feld SUNDAE mit neuronaler Kompensation ist Open Source. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!
