recherche
MaisonPériphériques technologiquesIADieu restaure les objets complexes et les détails haute fréquence, la synthèse de vue haute fidélité 4K-NeRF est là

L'ultra haute résolution est saluée par de nombreux chercheurs comme une norme pour l'enregistrement et l'affichage d'images et de vidéos de haute qualité. Par rapport aux résolutions inférieures (format HD 1K), les scènes capturées à haute résolution ont généralement des détails très clairs. amplifié par de petites taches. Cependant, l’application de cette technologie au traitement d’images et à la vision par ordinateur pose encore de nombreux défis.

Dans cet article, des chercheurs d'Alibaba se concentrent sur de nouvelles tâches de synthèse de vues et proposent un cadre appelé 4K-NeRF. Sa méthode de rendu de volume basée sur NeRF peut atteindre une haute fidélité avec une composition de vues 4K ultra-haute.

Dieu restaure les objets complexes et les détails haute fréquence, la synthèse de vue haute fidélité 4K-NeRF est là

Adresse papier : https://arxiv.org/abs/2212.04701

Page d'accueil du projet : https://github.com/frozoul/4K-NeRF

Sans plus loin, jetons un coup d'œil à l'effet d'abord (les vidéos suivantes ont été sous-échantillonnées, veuillez vous référer au projet original pour la vidéo 4K originale).

Méthodes

Voyons ensuite comment la recherche a été menée.

Pipeline 4K-NeRF (comme indiqué ci-dessous) : utilisez la technologie d'échantillonnage de rayons basée sur des patchs pour former conjointement VC-Encoder (View-Consistent) (basé sur DEVO) pour coder des informations géométriques tridimensionnelles dans un espace de résolution inférieure, puis grâce à un décodeur VC, un rendu haute fréquence, de qualité fine et de haute qualité et une amélioration de la cohérence de la vue sont obtenus.

Dieu restaure les objets complexes et les détails haute fréquence, la synthèse de vue haute fidélité 4K-NeRF est là

L'étude instancie l'encodeur sur la base de la formule définie dans DVGO [32] et apprend une représentation basée sur une grille de voxels pour coder explicitement la géométrie :

Dieu restaure les objets complexes et les détails haute fréquence, la synthèse de vue haute fidélité 4K-NeRF est là

Pour chaque Pour chaque point d'échantillonnage, l'interpolation trilinéaire d'estimation de la densité est équipée d'une fonction d'activation softplus pour générer la valeur de densité volumique du point :

Dieu restaure les objets complexes et les détails haute fréquence, la synthèse de vue haute fidélité 4K-NeRF est là

La couleur est estimée à l'aide d'un petit MLP :

Dieu restaure les objets complexes et les détails haute fréquence, la synthèse de vue haute fidélité 4K-NeRF est là

Dans ce De cette manière, la valeur caractéristique de chaque rayon (ou pixel) peut être obtenue en accumulant les caractéristiques des points d'échantillonnage le long de la ligne définie r :

Dieu restaure les objets complexes et les détails haute fréquence, la synthèse de vue haute fidélité 4K-NeRF est là

Afin de mieux utiliser la géométrie intégrée dans les propriétés du VC-Encoder, l'étude a également généré une carte de profondeur en estimant la profondeur de chaque rayon r le long de l'axe du rayon échantillonné. La carte de profondeur estimée fournit un guide solide sur la structure tridimensionnelle de la scène générée par l'encodeur ci-dessus :

Dieu restaure les objets complexes et les détails haute fréquence, la synthèse de vue haute fidélité 4K-NeRF est là

Le réseau transmis ensuite est obtenu en empilant plusieurs blocs de convolution (ni en utilisant une normalisation non paramétrique ni Créé à l'aide d'opérations de sous-échantillonnage) et d'opérations de suréchantillonnage entrelacées. En particulier, au lieu de simplement concaténer la caractéristique F et la carte de profondeur M, cette étude joint le signal de profondeur de la carte de profondeur et l'injecte dans chaque bloc via une transformation apprise pour moduler les activations de blocs.

Dieu restaure les objets complexes et les détails haute fréquence, la synthèse de vue haute fidélité 4K-NeRF est là

Différent du mécanisme au niveau des pixels des méthodes NeRF traditionnelles, la méthode étudiée dans cette étude vise à capturer les informations spatiales entre les rayons (pixels). Par conséquent, la stratégie d’échantillonnage aléatoire des rayons dans NeRF ne convient pas ici. Par conséquent, cette étude propose une stratégie de formation à l’échantillonnage de rayons basée sur des patchs pour faciliter la capture de la dépendance spatiale entre les caractéristiques des rayons. Lors de l'entraînement, l'image de la vue d'entraînement est d'abord divisée en patchs p de taille N_p×N_p pour garantir que la probabilité d'échantillonnage sur les pixels est uniforme. Lorsque la dimension de l'espace image ne peut pas être divisée avec précision par la taille du patch, le patch doit être tronqué jusqu'au bord pour obtenir un ensemble de patchs d'entraînement. Ensuite, un (ou plusieurs) patchs sont sélectionnés au hasard dans l'ensemble, et les rayons des pixels du patch forment un mini-lot pour chaque itération.

Pour résoudre le problème du flou ou du lissage excessif des effets visuels sur les détails fins, cette recherche ajoute la perte contradictoire et la perte de perception pour régulariser la synthèse des détails fins. La perte de perception Dieu restaure les objets complexes et les détails haute fréquence, la synthèse de vue haute fidélité 4K-NeRF est là estime la similarité entre le patch prédit Dieu restaure les objets complexes et les détails haute fréquence, la synthèse de vue haute fidélité 4K-NeRF est là et la vérité terrain p dans l'espace des fonctionnalités via un réseau VGG à 19 couches pré-entraîné :

Dieu restaure les objets complexes et les détails haute fréquence, la synthèse de vue haute fidélité 4K-NeRF est là

L'étude utilise Dieu restaure les objets complexes et les détails haute fréquence, la synthèse de vue haute fidélité 4K-NeRF est là perte Au lieu de MSE pour superviser la reconstruction des détails à haute fréquence

Dieu restaure les objets complexes et les détails haute fréquence, la synthèse de vue haute fidélité 4K-NeRF est là

De plus, l'étude a également ajouté une perte MSE auxiliaire, et la fonction de perte totale finale a la forme suivante :

Dieu restaure les objets complexes et les détails haute fréquence, la synthèse de vue haute fidélité 4K-NeRF est là

Effet expérimental

Analyse qualitative

L'expérience a comparé le 4K-NeRF avec d'autres modèles. On peut voir que les méthodes basées sur le NeRF ordinaire présentent différents degrés de perte de détails et de flou. En revanche, le 4K-NeRF offre un rendu photoréaliste de haute qualité de ces détails complexes et haute fréquence, même sur des scènes avec un champ de vision d'entraînement limité.

Dieu restaure les objets complexes et les détails haute fréquence, la synthèse de vue haute fidélité 4K-NeRF est là

Dieu restaure les objets complexes et les détails haute fréquence, la synthèse de vue haute fidélité 4K-NeRF est là

Analyse quantitative

Cette étude a été comparée à plusieurs méthodes actuelles sur la base de données 4k, notamment Plenoxels, DVGO, JaxNeRF, MipNeRF-360 et NeRF-SR. L'expérience utilise non seulement les indicateurs d'évaluation de la récupération d'image à titre de comparaison, mais fournit également un temps d'inférence et une mémoire cache pour une référence d'évaluation complète. Les résultats sont les suivants :

Dieu restaure les objets complexes et les détails haute fréquence, la synthèse de vue haute fidélité 4K-NeRF est là

Bien que les résultats ne soient pas très différents des résultats de certaines méthodes dans certains indicateurs, grâce à leur méthode basée sur les voxels, ils ont atteint des performances étonnantes en termes d'efficacité de raisonnement et de coût de mémoire. , permettant de restituer une image 4K en 300 ms.

Dieu restaure les objets complexes et les détails haute fréquence, la synthèse de vue haute fidélité 4K-NeRF est là

Résumé et perspectives futures

Cette étude explore les capacités de NeRF en matière de modélisation des détails fins, proposant un nouveau cadre pour améliorer son expressivité dans la récupération de détails fins cohérents avec la vue dans des scènes à des résolutions extrêmement élevées. En outre, cette recherche introduit également une paire de modules codeurs-décodeurs qui maintiennent la cohérence géométrique, modélisent efficacement les propriétés géométriques dans les espaces inférieurs et utilisent des corrélations locales entre les fonctionnalités sensibles à la géométrie pour obtenir des vues dans un espace à grande échelle. Le cadre de formation à l'échantillonnage basé sur l'échantillonnage permet également à la méthode d'intégrer la supervision à partir d'une régularisation orientée perceptron. Cette recherche espère intégrer les effets du cadre dans la modélisation de scènes dynamiques, ainsi que dans les tâches de rendu neuronal comme orientations futures.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration
Cet article est reproduit dans:. en cas de violation, veuillez contacter admin@php.cn Supprimer
Un guide complet de l'extrapolationUn guide complet de l'extrapolationApr 15, 2025 am 11:38 AM

Introduction Supposons qu'il y ait un fermier qui observe quotidiennement les progrès des cultures dans plusieurs semaines. Il regarde les taux de croissance et commence à réfléchir à la hauteur de ses plantes de plus en plus dans quelques semaines. De th

La montée de l'IA douce et ce que cela signifie pour les entreprises aujourd'huiLa montée de l'IA douce et ce que cela signifie pour les entreprises aujourd'huiApr 15, 2025 am 11:36 AM

L'IA souple - définie comme des systèmes d'IA conçus pour effectuer des tâches spécifiques et étroites en utilisant un raisonnement approximatif, une reconnaissance de motifs et une prise de décision flexible - cherche à imiter la pensée humaine en adoptant l'ambiguïté. Mais qu'est-ce que cela signifie pour les activités

Évolution des cadres de sécurité pour la frontière AIÉvolution des cadres de sécurité pour la frontière AIApr 15, 2025 am 11:34 AM

La réponse est claire - tout comme le cloud computing nécessitait un changement vers des outils de sécurité natifs du cloud, l'IA exige une nouvelle race de solutions de sécurité conçues spécifiquement pour les besoins uniques de l'IA. La montée des leçons de cloud computing et de sécurité apprises Dans

3 façons dont l'IA générative amplifie les entrepreneurs: méfiez-vous des moyennes!3 façons dont l'IA générative amplifie les entrepreneurs: méfiez-vous des moyennes!Apr 15, 2025 am 11:33 AM

Entrepreneurs et utilisant l'IA et l'IA génératrice pour améliorer leurs entreprises. Dans le même temps, il est important de se souvenir de l'IA génératrice, comme toutes les technologies, est un amplificateur - ce qui rend le grand grand et le médiocre, pire. Une étude rigoureuse en 2024 o

Nouveau cours court sur les modèles d'intégration par Andrew NgNouveau cours court sur les modèles d'intégration par Andrew NgApr 15, 2025 am 11:32 AM

Déverrouiller la puissance des modèles d'intégration: une plongée profonde dans le nouveau cours d'Andrew Ng Imaginez un avenir où les machines comprennent et répondent à vos questions avec une précision parfaite. Ce n'est pas de la science-fiction; Grâce aux progrès de l'IA, cela devient un R

L'hallucination dans les modèles de grande langue (LLMS) est-elle inévitable?L'hallucination dans les modèles de grande langue (LLMS) est-elle inévitable?Apr 15, 2025 am 11:31 AM

Modèles de grande langue (LLM) et le problème inévitable des hallucinations Vous avez probablement utilisé des modèles d'IA comme Chatgpt, Claude et Gemini. Ce sont tous des exemples de modèles de grande langue (LLMS), de puissants systèmes d'IA formés sur des ensembles de données de texte massifs pour

Le problème de 60% - comment la recherche AI ​​vide votre traficLe problème de 60% - comment la recherche AI ​​vide votre traficApr 15, 2025 am 11:28 AM

Des recherches récentes ont montré que les aperçus de l'IA peuvent entraîner une baisse énorme de 15 à 64% du trafic organique, basé sur l'industrie et le type de recherche. Ce changement radical fait que les spécialistes du marketing reconsidèrent toute leur stratégie concernant la visibilité numérique. Le nouveau

MIT Media Lab pour mettre de l'épanouissement humain au cœur de la R&D de l'IAMIT Media Lab pour mettre de l'épanouissement humain au cœur de la R&D de l'IAApr 15, 2025 am 11:26 AM

Un récent rapport de l'imagination du Future Center de l'Université d'Elon a interrogé près de 300 experts en technologie mondiale. Le rapport qui en résulte, «Être humain en 2035», a conclu que la plupart concernaient l'adoption d'approfondissement des systèmes d'IA sur T

See all articles

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
4 Il y a quelques semainesBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
4 Il y a quelques semainesBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
4 Il y a quelques semainesBy尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Comment déverrouiller tout dans Myrise
1 Il y a quelques moisBy尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

DVWA

DVWA

Damn Vulnerable Web App (DVWA) est une application Web PHP/MySQL très vulnérable. Ses principaux objectifs sont d'aider les professionnels de la sécurité à tester leurs compétences et leurs outils dans un environnement juridique, d'aider les développeurs Web à mieux comprendre le processus de sécurisation des applications Web et d'aider les enseignants/étudiants à enseigner/apprendre dans un environnement de classe. Application Web sécurité. L'objectif de DVWA est de mettre en pratique certaines des vulnérabilités Web les plus courantes via une interface simple et directe, avec différents degrés de difficulté. Veuillez noter que ce logiciel

Version crackée d'EditPlus en chinois

Version crackée d'EditPlus en chinois

Petite taille, coloration syntaxique, ne prend pas en charge la fonction d'invite de code

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Navigateur d'examen sécurisé

Navigateur d'examen sécurisé

Safe Exam Browser est un environnement de navigation sécurisé permettant de passer des examens en ligne en toute sécurité. Ce logiciel transforme n'importe quel ordinateur en poste de travail sécurisé. Il contrôle l'accès à n'importe quel utilitaire et empêche les étudiants d'utiliser des ressources non autorisées.