Une ligne de texte pour changer de visage en 3D ! L'UC Berkeley propose 'Chat-NeRF' pour réaliser un rendu de niveau blockbuster en une seule phrase

Grâce au développement de la technologie de reconstruction neuronale 3D, capturer des représentations caractéristiques de scènes 3D du monde réel n'a jamais été aussi simple.

Cependant, il n'y a jamais eu de solution simple et efficace pour l'édition de scènes 3D au-dessus de cela.

Récemment, des chercheurs de l'UC Berkeley ont proposé une méthode pour éditer des scènes NeRF à l'aide d'instructions textuelles - Instruct-NeRF2NeRF, basée sur le travail précédent InstructPix2Pix.

Adresse papier : https://arxiv.org/abs/2303.12789

En utilisant Instruct-NeRF2NeRF, nous pouvons éditer des scènes du monde réel à grande échelle avec une seule phrase, et c'est plus réel et ciblé que les travaux précédents.

Par exemple, si vous souhaitez qu'il ait une barbe, une touffe de barbe apparaîtra sur son visage !

Ou tout simplement changez de tête et devenez Einstein en quelques secondes.

De plus, étant donné que le modèle peut mettre à jour en permanence l'ensemble de données avec de nouvelles images éditées, l'effet de reconstruction de la scène s'améliorera progressivement.

NeRF + InstructPix2Pix = Instruct-NeRF2NeRF

Plus précisément, les humains reçoivent une image d'entrée et des instructions écrites qui indiquent au modèle quoi faire, et le modèle suit ensuite ces instructions pour modifier l'image.

Les étapes de mise en œuvre sont les suivantes :

1. Rendu une image de la scène dans la perspective de formation.
2. Utilisez le modèle InstructPix2Pix pour modifier cette image en fonction des instructions textuelles globales.
3. Remplacez les images originales de l'ensemble de données d'entraînement par les images modifiées.
4. Le modèle NeRF continue l'entraînement comme d'habitude.

Méthode de mise en œuvre

Par rapport à l'édition tridimensionnelle traditionnelle, NeRF2NeRF est une nouvelle méthode d'édition de scène en trois dimensions. Son plus grand point fort est l'utilisation de la « mise à jour itérative de l'ensemble de données ». technologie.

Bien que l'édition soit effectuée sur une scène 3D, l'article utilise un modèle de diffusion 2D plutôt que 3D pour extraire les a priori de forme et d'apparence car les données utilisées pour entraîner le modèle génératif 3D sont très limitées.

Ce modèle de diffusion 2D est l'InstructPix2Pix récemment développé par l'équipe de recherche - un modèle d'édition d'image 2D basé sur le texte d'instructions En saisissant des instructions d'image et de texte, il peut produire l'image modifiée.

Cependant, ce modèle 2D provoquera des changements inégaux dans différents angles de la scène. Par conséquent, la « mise à jour itérative de l'ensemble de données » a vu le jour. Cette technologie modifie alternativement « l'ensemble de données d'image d'entrée » de NeRF et met à jour la représentation 3D de base.

Cela signifie que le modèle de diffusion guidée par texte (InstructPix2Pix) générera de nouvelles variations d'image selon les instructions et utilisera ces nouvelles images comme entrée pour la formation du modèle NeRF. Par conséquent, la scène 3D reconstruite sera basée sur une nouvelle édition guidée par texte.

Dans les itérations initiales, InstructPix2Pix ne parvient souvent pas à effectuer une édition cohérente sous différents angles de vue. Cependant, pendant le processus de rendu et de mise à jour NeRF, ils convergeront vers une scène globalement cohérente.

En résumé, la méthode NeRF2NeRF améliore l'efficacité de l'édition des scènes 3D en mettant à jour de manière itérative le contenu de l'image et en intégrant ces contenus mis à jour dans la scène 3D, tout en conservant la cohérence et le réalisme de la scène.

On peut dire que ce travail de l'équipe de recherche de l'UC Berkeley est une version étendue du précédent InstructPix2Pix En combinant NeRF avec InstructPix2Pix, couplé à une « mise à jour itérative de l'ensemble de données », l'édition en un clic peut toujours jouer avec. Scènes 3D !

Il y a encore des limites, mais les défauts ne sont pas cachés

Cependant, comme Instruct-NeRF2NeRF est basé sur le précédent InstructPix2Pix, il hérite de nombreuses limitations de ce dernier, comme l'incapacité d'effectuer des opérations spatiales à grande échelle.

De plus, comme DreamFusion, Instruct-NeRF2NeRF ne peut utiliser le modèle de diffusion que sur une vue à la fois, vous pouvez donc également rencontrer des problèmes d'artefact similaires.

L'image ci-dessous montre deux types de cas d'échec :

(1) Pix2Pix ne peut pas effectuer de montage en 2D, donc NeRF2NeRF échoue également en 3D

(2) Pix2Pix en 2D Le montage pourrait être effectué ; , mais il y avait de grosses incohérences en 3D, donc NeRF2NeRF n'a pas réussi non plus.

Un autre exemple est le "panda" ci-dessous. Non seulement il a l'air très féroce (la statue prototype est très féroce), mais la couleur de sa fourrure est aussi un peu bizarre, et ses yeux le sont. évidemment "croisé" lors du déplacement dans le moule".

Depuis que ChatGPT, Diffusion et NeRF ont été mis sous les projecteurs, on peut dire que cet article met pleinement en valeur les avantages des trois, passant du « dessin IA en une phrase » à « l'édition IA » Scènes 3D en une phrase" ».

Bien que la méthode présente certaines limites, elle a toujours ses défauts et fournit une solution simple et réalisable pour l'édition de fonctionnalités 3D, qui devrait devenir une étape importante dans le développement de NeRF.

Modifier des scènes 3D en une phrase

Enfin, jetons un œil aux effets proposés par l'auteur.

Il n'est pas difficile de voir que cet artefact d'édition de scènes 3D PS en un clic est plus conforme aux attentes en termes de capacité de compréhension des commandes et de réalisme de l'image. À l'avenir, il pourrait devenir un « nouveau favori » parmi les universitaires. et les internautes Suite à ChatGPT, un Chat-NeRFs a été créé.

Même si vous modifiez à volonté le contexte environnemental, les caractéristiques des quatre saisons et la météo de l'image, la nouvelle image sera complètement cohérente avec la logique de la réalité.

Photo originale :

Automne :

Jour de neige :

Désert :

Tempête :

Référence : ​​​https://www.php.cn/link/eebeb300882677f350ea818c8f333f5b9​

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!