Maison >Périphériques technologiques >IA >Indispensables pour les débutants, les notes d'étude NeRF donnent un aperçu de tout !
Champ de rayonnement : La distribution d'énergie formée lors de la propagation et de la réflexion de la lumière émise par la source lumineuse dans la scène. En termes simples, il s'agit d'une fonction qui enregistre les informations de rayonnement dans une certaine direction à un certain endroit dans l'espace. Les informations de rayonnement (ou distribution d'énergie) sont en fait des informations sur la couleur, la luminosité, l'ombre et d'autres. La direction ici nécessite une attention particulière, c'est l'un des facteurs importants pour que NeRF réalise une véritable reconstruction !
Cela conduit au concept de champ de rayonnement neuronal.
Champ de rayonnement neuronal : utilisez le réseau neuronal pour stocker la espacepositionradiation dans n'importe quelle direction. La description dans l'article original est la suivante :
La formule la plus standardisée est exprimée comme suit :
Saisissez la position 3D (x, y, z) et la direction de visualisation 2D (), et la sortie est densité de couleur et de volume
NeRF Les résultats spécifiques du réseau se réfèrent au texte original comme suit :
méthode de visualisationou méthode de rendu est appelée rendu de volume.
Avant de regarder le rendu du volume. Jetons d'abord un coup d'œil à l'effet du réseau : On peut voir que les couleurs sont différentes sous différents angles de vue ! C'est l'un des avantages très importants de NeRF par rapport à la reconstruction traditionnelle~On peut voir que sans codage de position, le modèle ne peut pas exprimer d'informations géométriques et de texture à haute fréquence~
Adoption multicouche :
Le processus de formation est le suivant :
Indicateurs d'évaluation :
Paramètres expérimentaux :
Les résultats expérimentaux montrent que l'astigmatisme sur les billes de divers matériaux peut également être bien exprimé~
Ablation expérimenter :
Le champ de rayonnement neuronal proposé dans cet article émet un rayon d'échantillonnage à travers le pixel depuis le centre optique de la caméra, sélectionne un point sur le rayon, utilise un MLP pour cartographier sa position tridimensionnelle et direction de visualisation vers la densité du volume et la couleur, puis utilisez l'empilement de rendu du volume pour échantillonner la densité du volume et la couleur sur les rayons afin d'obtenir les valeurs de pixels. L'erreur entre la valeur du pixel et l'image GT est calculée puis rétropropagée pour optimiser les paramètres MLP. Cet article utilise une telle méthode de reconstruction implicite pour obtenir une reconstruction et un rendu de modèle photoréalistes.
Défauts :
Lien original : https://mp.weixin.qq.com/s/ctDBTaLWuHTM9MONrAor4g
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!