Lancement d'OpenSVBRDF : une base de données réelle de matériaux en 6 dimensions à grande échelle au niveau ImageNet dans le monde matériel

Dans le domaine du graphisme informatique, l'apparition d'un matériau décrit les interactions physiques complexes entre les objets réels et la lumière. Cette description est souvent appelée fonction de distribution de réflectance bidirectionnelle à variation spatiale (SVBRDF). Dans l'informatique visuelle, il fait partie intégrante et est largement utilisé dans des domaines tels que le patrimoine culturel, le commerce électronique, les jeux vidéo et les effets visuels.

Au cours des deux dernières décennies, surtout après la popularité de l'apprentissage en profondeur, il existe une demande croissante dans les milieux universitaires et industriels pour des apparences de matériaux numériques diversifiées et de haute précision. Cependant, en raison de défis techniques, la collecte de grandes bases de données reste une tâche très difficile. Actuellement, le nombre de bases de données réelles disponibles sur l'apparence des matériaux est très limité. L'équipe de recherche du laboratoire et de Hangzhou Xiangxin Technology Co., Ltd. ont proposé conjointement un nouveau système intégré pour l'acquisition robuste, de haute qualité et efficace de l'apparence des matériaux anisotropes planaires. À l’aide de ce système, l’équipe de recherche a construit la Base de données de matériaux publics OpenSVBRDF

.

Ce qui suit est un affichage de quelques échantillons de matériaux dans la base de données OpenSVBRDF, comme le montre la figure 1. Chaque ligne appartient à la même catégorie de matériaux

Il s'agit de la première base de données mesurée à grande échelle de SVBRDF en 6 dimensions, avec un total de 1 000 échantillons plans de haute qualité et une résolution spatiale de 1 024 × 1 024, ce qui équivaut à plus d'un milliard Le BRDF

mesuré couvre 9 catégories dont le bois, le tissu et le métal.

Page d'accueil de la base de données : https://opensvbrdf.github.io/Actuellement, la base de données est entièrement gratuite pour les applications non commerciales. Il vous suffit de soumettre des informations de base sur le site Web pour demander un compte. Après examen, vous pouvez directement télécharger les données et les codes pertinents, y compris les cartes de texture GGX. Le document de recherche connexe « OpenSVBRDF : Une base de données contenant une réflectivité mesurée spatialement variable » a été accepté par la plus grande conférence internationale sur l'infographie ACM SIGGRAPH ASIA 2023 (article de revue)

Veuillez cliquer sur le lien suivant pour consulter le document page d'accueil : https://svbrdf.github.io/

Défi technique

Sans changer le sens original, ce qui doit être réécrit est : selon [Lawrence et al. 2006], la méthode d'échantillonnage direct est dans différentes conditions d'éclairage Mesures intensives de matériaux physiques sous différents angles de vision. Bien que cette méthode puisse obtenir des résultats d’acquisition stables et de haute qualité, elle est moins efficace et nécessite beaucoup de temps et de coûts de stockage. Une autre option consiste à utiliser des méthodes de reconstruction basées sur des connaissances antérieures, qui peuvent reconstruire des matériaux à partir de données échantillonnées clairsemées. Bien que cette méthode améliore l'efficacité, la qualité de la reconstruction peut être insatisfaisante lorsque les conditions préalables ne sont pas remplies [Nam et al. De plus, bien que la technologie actuelle de multiplexage du chemin optique ait atteint une efficacité d'acquisition et une qualité de reconstruction élevées, la robustesse de l'algorithme doit encore être améliorée dans le traitement de matériaux très complexes, tels que le métal brossé et le placage poli [Kang et al. 2018]

.

Figure 2 : Travail représentatif de la recherche sur les collections de matériaux existantes. De gauche à droite, ce sont [Lawrence et al. 2006], [Nam et al. 2018] et [Kang et al. Parmi eux [Kang et al. 2018] figurent les premiers travaux de l'équipe publiés dans ACM SIGGRAPH en 2018.

Matériel

Afin de numériser efficacement l'apparence du matériau, l'équipe de recherche a construit un dispositif de multiplexage d'éclairage en champ proche d'un demi-cube proche avec des dimensions d'environ 70 cm × 70 cm × 40 cm. L'échantillon est placé sur une plaque acrylique transparente et peut être rapidement glissé vers l'intérieur ou l'extérieur via les glissières du tiroir pour atteindre des débits élevés. L'appareil se compose de 2 caméras de vision industrielle et de 16 384 LED haute luminosité. Les deux caméras capturent des échantillons sous des angles d'environ 90 degrés (angle de vision principal) et 45 degrés (angle de vision secondaire). Les LED sont réparties sur 6 côtés de l'appareil. . Le circuit de contrôle haute performance auto-développé est responsable du contrôle indépendant de la luminosité de chaque LED et réalise une synchronisation de haute précision de la projection de la source lumineuse et de l'exposition de la caméra au niveau matériel.

Veuillez voir la figure 3 : L'apparence de l'équipement d'acquisition et les photos prises sous deux angles différents

Acquisition et reconstruction

Ce système combine de manière unique les deux méthodes actuellement populaires basées sur la prédiction et le réglage du réseau. Améliorer l’efficacité de la collecte physique. Optimisation des modèles d'éclairage différenciables tout en améliorant encore la qualité des résultats grâce à un réglage fin. C'est la première fois qu'une acquisition et une reconstruction hautement robustes, de haute qualité et efficaces de SVBRDF planaire sont réalisées

Plus précisément, afin de reconstruire des échantillons physiques, les chercheurs ont d'abord établi deux correspondances de haute précision entre les angles de caméra. Pour l'acquisition physique, le modèle d'éclairage est d'abord optimisé dans le cadre d'un encodeur automatique pour obtenir une acquisition efficace. L'auto-encodeur apprend automatiquement à reconstruire des apparences complexes sur la base de mesures provenant de deux vues et représente les résultats sous forme de représentations neuronales intermédiaires. Par la suite, les expressions neuronales ont été affinées en traçant les erreurs d’image afin d’améliorer la qualité et la robustesse des résultats finaux, sur la base de photos prises par une caméra à vue principale sous 63 sources de lumière linéaires équivalentes. La figure 3 montre le flux de traitement de l'ensemble du système. Pour plus de détails, veuillez vous référer à l'article original

Figure 4 : Processus d'acquisition et de reconstruction de l'ensemble du système.

Résultats

L'équipe de recherche a collecté des données d'apparence et collecté un total de 1 000 échantillons répartis en 9 catégories. Pour faciliter l'utilisation du pipeline de rendu basé sur la physique (PBR), l'étude a également adapté les expressions neuronales aux paramètres du modèle anisotrope GGX BRDF standard de l'industrie. La figure 5 montre les sous-paramètres et les propriétés des résultats de reconstruction matérielle. Chaque échantillon contient 193 photos HDR originales (taille totale 15 Go), des expressions neuronales intermédiaires (290 Mo) et 6 cartes, y compris des cartes de texture et des cartes de transparence représentant les paramètres GGX (taille totale 55 Mo). La résolution spatiale de l'expression neuronale et de la carte de texture est toutes deux de 1 024 × 1 024. etc.)

Pour prouver l'exactitude des résultats de reconstruction, les chercheurs ont comparé les photos de la perspective principale (la première rangée de la figure ci-dessous) et les résultats de la cartographie de l'expression neuronale (la deuxième rangée de la figure ci-dessous). L'erreur quantitative (exprimée en SSIM/PSNR) est notée au bas du graphique. Comme le montrent les résultats de la figure ci-dessous, ce système permet une reconstruction matérielle de haute qualité (SSIM>=0,97, PSNR>=34db).

Figure 6 : Comparaison des photos réelles et des résultats de la cartographie de l'expression neuronale du point de vue principal.

Afin de prouver davantage la généralisabilité des résultats de reconstruction dans le domaine de l'angle de vue, les chercheurs ont comparé les photos prises sous deux angles de vue sous l'éclairage d'une source lumineuse ponctuelle avec les résultats tirés à l'aide des paramètres d'ajustement GGX, vérifiant que les résultats de la reconstruction s'étendent sur l'exactitude de la perspective.

Comparaison des photos réelles prises et des résultats tirés à l'aide des paramètres d'ajustement anisotropes GGX dans deux angles de vue

Les chercheurs ont également démontré l'utilisation de la base de données dans la génération et la classification des matériaux ainsi que trois applications dans la reconstruction matérielle. Veuillez vous référer au document original pour plus de détails.

La figure 8 montre le processus d'utilisation d'OpenSVBRDF pour entraîner MaterialGAN à réaliser la génération et l'interpolation de matériaux

La figure 9 montre le processus d'utilisation d'OpenSVBRDF pour entraîner l'éclairage actif afin d'améliorer la précision de la classification des matériaux

Le contenu réécrit est le suivant : Image 10 : Utilisation d'OpenSVBRDF pour améliorer la qualité de la reconstruction BRDF basée sur l'échantillonnage en un seul point (à gauche) et le multiplexage du chemin optique (à droite)

Outlook

Chercheurs travaillera dur Élargir la base de données existante pour ajouter des échantillons de matériaux montrant diverses apparences. À l’avenir, ils prévoient également de créer une base de données d’objets mesurés à grande échelle et de haute précision, incluant à la fois l’apparence des matériaux et la forme géométrique. En outre, les chercheurs concevront une référence publique dans le sens de l'estimation, de la classification et de la génération des matériaux basée sur OpenSVBRDF, et fourniront une garantie de données solides pour promouvoir le développement futur de la recherche connexe grâce à des tests standards objectifs et quantitatifs.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!