Heim > Artikel > Technologie-Peripheriegeräte > NeRF-Studiennotizen sind ein Muss für Anfänger und bieten Einblicke in alles!
Strahlungsfeld: Die Energieverteilung, die während der Ausbreitung und Reflexion des von der Lichtquelle in der Szene emittierten Lichts entsteht. Laienhaft ausgedrückt handelt es sich um eine Funktion, die die Strahlungsinformationen in einer bestimmten Richtung an einem bestimmten Ort im Raum aufzeichnet. Bei den Strahlungsinformationen (oder der Energieverteilung) handelt es sich tatsächlich um Farbe, Helligkeit, Schatten und andere Informationen. Die Richtung erfordert hier besondere Aufmerksamkeit, sie ist einer der wichtigen Faktoren für NeRF, um eine echte Rekonstruktion zu erreichen!
Dies führt zum Konzept des neuronalen Strahlungsfeldes.
Neuronales Strahlungsfeld: Verwenden Sie ein neuronales Netzwerk, um die RaumpositionStrahlung in jeder Richtung zu speichern. Die Beschreibung im Originalartikel lautet wie folgt:
wird Volumenrendering genannt.
Bevor wir uns das Volumenrendering ansehen. Schauen wir uns zunächst die Wirkung des Netzwerks an:Man erkennt, dass die Farben unter verschiedenen Betrachtungswinkeln unterschiedlich sind! Dies ist einer der sehr wichtigen Vorteile von NeRF gegenüber der herkömmlichen Rekonstruktion ~
Der Kern von NeRF: Volumenrendering Kommen wir zum zweiten Kernpunkt von NeRF – Volumenrendering. Volumenrendering ist eine Methode zum Rendern von Farbe und Dichte in 2D-Bildern!Um die Schritte des Volumenrenderings zusammenzufassen:
Emittieren Sie einen Strahl, der jedes Pixel vom optischen Zentrum der Kamera durchdringt, und nehmen Sie einen dreidimensionalen Abtastpunkt auf dem Strahl auf;Senden Sie den Abtastpunkt Koordinaten und Blickwinkelrichtung in MLP berechnen Farb- und Volumendichte;
integriert (stapelt) Farbinformationen nach Volumendichte, um ein 2D-Bild zu bilden
Von Natürlich wird tatsächlich die diskrete Version der Formel verwendet:
Impliziter Rekonstruktionsprozess
Nachdem wir über neuronale Strahlungsfelder und Volumenrendering gesprochen haben, beginnen wir nun mit dem vollständigen Rekonstruktionsprozess ~
Bevor wir eine vollständige Pipeline bilden, Es müssen noch zwei Probleme gelöst werden:Um die beiden oben genannten Probleme zu lösen, schlägt NeRF eine Positionskodierung und einen geschichteten Abtastprozess vor
Positionskodierung:
Das Papier zeigt intuitiv den Wirkungsvergleich von Positionen Kodierung:
Es ist ersichtlich, dass das Modell ohne Positionscodierung keine hochfrequenten geometrischen und Texturinformationen ausdrücken kann~
Mehrschichtige Übernahme:
Der Trainingsprozess ist wie folgt:
Bewertungsindikatoren:
Versuchseinstellungen:
Die experimentellen Ergebnisse zeigen, dass der Astigmatismus auch an Kugeln aus verschiedenen Materialien gut ausgedrückt werden kann Ablationsexperiment :
Zusammenfassung
Das in diesem Artikel vorgeschlagene neuronale Strahlungsfeld sendet einen Abtaststrahl durch das Pixel vom optischen Zentrum der Kamera aus, wählt einen Punkt auf dem Strahl aus, verwendet ein MLP, um seine dreidimensionale Position abzubilden und Betrachten Sie die Blickrichtung auf Volumendichte und Farbe und verwenden Sie dann Volumenrendering-Stapelung, um Volumendichte und Farbe auf Strahlen abzutasten, um Pixelwerte zu erhalten. Der Fehler zwischen dem Pixelwert und dem GT-Bild wird berechnet und dann zurückpropagiert, um die MLP-Parameter zu optimieren. In diesem Artikel wird eine solche implizite Rekonstruktionsmethode verwendet, um eine fotorealistische Modellrekonstruktion und -wiedergabe zu erreichen.Mängel:
Das obige ist der detaillierte Inhalt vonNeRF-Studiennotizen sind ein Muss für Anfänger und bieten Einblicke in alles!. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!