OpenSVBRDF veröffentlicht: eine groß angelegte 6-dimensionale Material-Real-Shot-Datenbank auf ImageNet-Ebene in der materiellen Welt

Im Bereich der Computergrafik beschreibt das Aussehen eines Materials die komplexen physikalischen Wechselwirkungen zwischen realen Objekten und Licht. Diese Beschreibung wird oft als räumlich variierende bidirektionale Reflexionsverteilungsfunktion (SVBRDF) bezeichnet. Im Visual Computing ist es ein integraler Bestandteil und wird häufig in Bereichen wie kulturellem Erbe, E-Commerce, Videospielen und visuellen Effekten eingesetzt

In den letzten zwei Jahrzehnten, insbesondere nach der Popularität von Deep Learning, Es gibt eine steigende Nachfrage in Wissenschaft und Industrie nach hochpräzisen, vielfältigen digitalen Materialerscheinungen. Aufgrund technischer Herausforderungen ist das Sammeln großer Datenbanken jedoch immer noch eine sehr schwierige Aufgabe. Derzeit ist die Anzahl öffentlich verfügbarer, realer Datenbanken zum Erscheinungsbild von Materialien sehr begrenzt. Das Forschungsteam des Labors und Hangzhou Xiangxin Technology Co., Ltd. schlugen gemeinsam ein neues integriertes System zur robusten, qualitativ hochwertigen und effizienten Erfassung des planaren anisotropen Materialaussehens vor. Mit diesem System baute das Forschungsteam die „öffentliche Materialdatenbank OpenSVBRDF“ auf.

Das Folgende ist eine Anzeige einiger Materialproben in der OpenSVBRDF-Datenbank, wie in Abbildung 1 dargestellt. Jede Zeile gehört zur gleichen Materialkategorie

Dies ist die erste groß angelegte gemessene Datenbank von 6-dimensionalem SVBRDF mit insgesamt 1.000 hochwertigen ebenen Proben und einer räumlichen Auflösung von 1.024 x 1.024, was entspricht mehr als 1 Milliarde Das gemessene BRDF deckt 9 Kategorien ab, darunter Holz, Stoff und Metall.

Datenbank-Homepage: https://opensvbrdf.github.io/

Derzeit ist die Datenbank für nichtkommerzielle Anwendungen völlig kostenlos. Sie müssen auf der Website nur grundlegende Informationen angeben, um ein Konto zu beantragen. Nach der Prüfung können Sie relevante Daten und Codes, einschließlich GGX-Texturkarten, direkt herunterladen. Das zugehörige Forschungspapier „OpenSVBRDF: Eine Datenbank mit gemessener räumlich variierender Reflektivität“ wurde von der führenden internationalen Konferenz für Computergrafik ACM SIGGRAPH ASIA 2023 (Zeitschriftenpapier) angenommen.

Bitte klicken Sie auf den folgenden Link, um das Papier anzuzeigen Homepage: https://svbrdf.github.io/

Technische Herausforderung

Ohne die ursprüngliche Bedeutung zu ändern, muss Folgendes neu geschrieben werden: Laut [Lawrence et al. 2006] ist die direkte Stichprobenmethode unter unterschiedlichen Lichtverhältnissen Führen Sie intensive Messungen physikalischer Materialien aus verschiedenen Betrachtungswinkeln durch. Obwohl mit dieser Methode qualitativ hochwertige und stabile Erfassungsergebnisse erzielt werden können, ist sie weniger effizient und erfordert viel Zeit und Speicherkosten. Eine weitere Option sind auf Vorwissen basierende Rekonstruktionsmethoden, mit denen Materialien aus spärlich erfassten Daten rekonstruiert werden können. Obwohl diese Methode die Effizienz verbessert, kann die Qualität der Rekonstruktion unbefriedigend sein, wenn die vorherigen Bedingungen nicht erfüllt sind [Nam et al. Darüber hinaus hat die aktuelle Multiplexing-Technologie für optische Pfade zwar eine hohe Erfassungseffizienz und Rekonstruktionsqualität erreicht, die Robustheit des Algorithmus muss jedoch bei der Verarbeitung hochkomplexer Materialien wie gebürstetem Metall und poliertem Furnier noch verbessert werden [Kang et al.]

Abbildung 2: Repräsentative Arbeit der bestehenden Materialsammlungsforschung. Von links nach rechts sind es [Lawrence et al. 2018] und [Kang et al. Darunter [Kang et al. 2018] ist die frühe Arbeit des Teams, die 2018 in ACM SIGGRAPH veröffentlicht wurde.

Hardware

Um das Erscheinungsbild des Materials effizient zu scannen, baute das Forschungsteam ein Near-Half-Cube-Nahfeldbeleuchtungs-Multiplexgerät mit Abmessungen von etwa 70 cm × 70 cm × 40 cm. Die Probe wird auf einer durchsichtigen Acrylplatte platziert und kann über Schubladenführungen schnell hinein- und herausgeschoben werden, um hohe Durchsatzraten zu erzielen. Das Gerät besteht aus 2 Bildverarbeitungskameras und 16.384 Hochleistungs-LEDs. Die beiden Kameras erfassen Proben aus Winkeln von etwa 90 Grad (primärer Betrachtungswinkel) und 45 Grad (sekundärer Betrachtungswinkel). . Die selbstentwickelte Hochleistungssteuerschaltung ist für die unabhängige Helligkeitssteuerung jeder LED verantwortlich und erreicht eine hochpräzise Synchronisierung von Lichtquellenprojektion und Kamerabelichtung auf Hardwareebene.

Siehe Abbildung 3: Das Erscheinungsbild der Erfassungsausrüstung und die Fotos, die aus zwei verschiedenen Blickwinkeln aufgenommen wurden. Verbesserung der Effizienz der physischen Sammlung. Optimierung differenzierbarer Beleuchtungsmuster bei gleichzeitiger weiterer Verbesserung der Ergebnisqualität durch Feinabstimmung. Dies ist das erste Mal, dass eine äußerst robuste, qualitativ hochwertige und effiziente Erfassung und Rekonstruktion von planarem SVBRDF möglich ist. Konkret haben die Forscher zur Rekonstruktion physikalischer Proben zunächst zwei Strukturen etabliert, indem sie dichte SIFT-Merkmale unter gleichmäßiger Beleuchtung abgeglichen haben -Präzise Übereinstimmung zwischen Kamerawinkeln. Für die physische Erfassung wird das Beleuchtungsmuster zunächst im Rahmen eines Autoencoders optimiert, um eine effiziente Erfassung zu erreichen. Der Autoencoder lernt automatisch, komplexe Erscheinungsbilder anhand von Messungen aus zwei Ansichten zu rekonstruieren und stellt die Ergebnisse als neuronale Zwischendarstellungen dar. Anschließend wurden die neuronalen Ausdrücke durch die Darstellung von Bildfehlern verfeinert, um die Qualität und Robustheit der Endergebnisse zu verbessern, basierend auf Fotos, die mit einer Hauptansichtskamera unter 63 äquivalenten linearen Lichtquellen aufgenommen wurden. Abbildung 3 zeigt den Verarbeitungsablauf des gesamten Systems. Einzelheiten finden Sie im Originalpapier

Abbildung 4: Der Erfassungs- und Rekonstruktionsprozess des gesamten Systems.

Ergebnisse

Das Forschungsteam sammelte Daten zum Aussehen und sammelte insgesamt 1.000 Proben, unterteilt in 9 Kategorien. Um die Verwendung der physikbasierten Rendering-Pipeline (PBR) zu vereinfachen, wurden im Rahmen der Studie auch neuronale Ausdrücke an branchenübliche anisotrope GGX-BRDF-Modellparameter angepasst. Abbildung 5 zeigt die Teilparameter und Eigenschaften der Materialrekonstruktionsergebnisse. Jedes Beispiel enthält 193 Original-HDR-Fotos (Gesamtgröße 15 GB), mittlere neuronale Ausdrücke (290 MB) und 6 Karten, einschließlich Texturkarten und Transparenzkarten, die GGX-Parameter darstellen (Gesamtgröße 55 MB). Die räumliche Auflösung des neuronalen Ausdrucks und der Texturkarte beträgt jeweils 1.024 x 1.024. usw.)

Um die Richtigkeit der Rekonstruktionsergebnisse zu beweisen, verglichen die Forscher die Fotos aus der Hauptperspektive (erste Zeile der Abbildung unten) und die Ergebnisse der neuronalen Ausdruckszuordnung (zweite Zeile der Abbildung unten). Der quantitative Fehler (ausgedrückt als SSIM/PSNR) wird unten im Diagramm vermerkt. Wie aus den Ergebnissen in der folgenden Abbildung ersichtlich ist, erreicht dieses System eine qualitativ hochwertige Materialrekonstruktion (SSIM>=0,97, PSNR>=34 dB).

Abbildung 6: Vergleich von tatsächlichen Fotos und Ergebnissen der neuronalen Expressionszuordnung aus der Hauptperspektive.

Um die Verallgemeinerung der Rekonstruktionsergebnisse im Betrachtungswinkelbereich weiter zu beweisen, verglichen die Forscher die Fotos, die aus zwei Betrachtungswinkeln unter der Beleuchtung einer Punktlichtquelle aufgenommen wurden, mit den Ergebnissen, die mit GGX-Anpassungsparametern erstellt wurden, und verifizierten dies Die Rekonstruktionsergebnisse umfassen die perspektivische Korrektheit.

Bild 7: Vergleich tatsächlich aufgenommener Fotos und gezeichneter Ergebnisse mit anisotropen GGX-Anpassungsparametern in zwei Betrachtungswinkeln

Die Forscher demonstrierten außerdem die Verwendung der Datenbank bei der Materialgenerierung und Materialklassifizierung sowie drei Anwendungen in der Materialrekonstruktion. Einzelheiten entnehmen Sie bitte dem Originalpapier.

Abbildung 8 zeigt den Prozess der Verwendung von OpenSVBRDF zum Trainieren von MaterialGAN, um Materialgenerierung und -interpolation zu erreichen

Der umgeschriebene Inhalt lautet wie folgt: Bild 10: Verwendung von OpenSVBRDF zur Verbesserung der Qualität der BRDF-Rekonstruktion basierend auf Einzelpunktabtastung (links) und optischem Pfadmultiplex (rechts)

Ausblick

Forscher wird hart arbeiten. Erweitern Sie die bestehende Datenbank, um Materialproben mit unterschiedlichem Erscheinungsbild hinzuzufügen. In Zukunft planen sie außerdem den Aufbau einer groß angelegten, hochpräzisen Messobjektdatenbank, die sowohl das Aussehen des Materials als auch die geometrische Form umfasst. Darüber hinaus werden Forscher einen öffentlichen Benchmark in Richtung Materialschätzung, -klassifizierung und -generierung auf Basis von OpenSVBRDF entwerfen und eine solide Datengarantie bieten, um die zukünftige Entwicklung verwandter Forschung durch objektive und quantitative Standardtests zu fördern.

Das obige ist der detaillierte Inhalt vonOpenSVBRDF veröffentlicht: eine groß angelegte 6-dimensionale Material-Real-Shot-Datenbank auf ImageNet-Ebene in der materiellen Welt. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!