Open source! Au-delà de ZoeDepth ! DepthFM : estimation rapide et précise de la profondeur monoculaire !

0. A quoi sert cet article ?

Proposed DepthFM : Un modèle d'estimation de profondeur monoculaire génératif de pointe, polyvalent et rapide. En plus des tâches traditionnelles d'estimation de la profondeur, DepthFM démontre également des capacités de pointe dans les tâches en aval telles que l'inpainting en profondeur. DepthFM est efficace et peut synthétiser des cartes de profondeur en quelques étapes d'inférence.

Lisons cet ouvrage ensemble~

1. Informations papier

Titre : DepthFM : Fast Monocular Depth Estimation with Flow Matching

Auteurs : Ming Gui, Johannes S. Fischer, Ulrich Prestel, Pingchuan Ma, Dmytro Kotovenko, Olga Grebenkova, Stefan Andreas Baumann, Vincent Tao Hu, Björn Ommer

Institution : MCML

Lien original : https://arxiv.org/abs/2403.13788

Lien code : https://github.com/ CompVis/degree -fm

Page d'accueil officielle : https://degreefm.github.io/

2 Abstract

est essentielle pour de nombreuses tâches et applications touristiques en aval. Les méthodes discriminantes actuelles pour ce problème sont limitées par des artefacts de flou, tandis que les méthodes génératives de pointe souffrent d'une vitesse d'échantillonnage d'apprentissage lente en raison de leur nature SDE. Au lieu de commencer par le bruit, nous recherchons un mappage direct de l’image d’entrée vers l’image de profondeur. Nous observons que cela peut être construit efficacement par correspondance de flux, car sa trajectoire droite dans l'espace de solution offre efficacité et haute qualité. Notre étude montre que les modèles de diffusion d'images pré-entraînés peuvent être utilisés comme connaissances préalables suffisantes pour les modèles approfondis d'appariement de flux. Sur des benchmarks de scènes naturelles complexes, notre approche légère démontre des performances de pointe à un coût de calcul avantageusement faible, bien qu'elle ait été formée sur seulement une petite quantité de données synthétiques.

3. Démonstration d'effet

DepthFM est un modèle de correspondance de flux d'inférence rapide avec une forte capacité de généralisation sans tir, qui peut utiliser de solides connaissances préalables et se généraliser facilement à des images réelles inconnues. Après un entraînement sur des données synthétiques, le modèle se généralise bien aux images réelles inconnues et correspond avec précision aux images de profondeur.

Comparé à d'autres modèles de pointe, DepthFM obtient des images nettement plus claires avec une seule évaluation de fonction. L'estimation de la profondeur de Marigold prend deux fois plus de temps que celle de DethFM, mais elle ne peut pas générer de cartes de profondeur avec la même granularité.

4. Principales contributions

(1) Proposition de DepthFM, un modèle d'estimation de profondeur monoculaire de pointe, polyvalent et rapide. En plus des tâches traditionnelles d'estimation de la profondeur, DepthFM démontre également des capacités de pointe dans les tâches en aval telles que l'inpainting en profondeur et la synthèse d'images conditionnées en profondeur.

(2) démontre le transfert réussi d'images a priori fortes des modèles de diffusion vers des modèles de correspondance de flux avec peu de dépendance aux données d'entraînement et sans besoin d'images du monde réel.

(3) montre que le modèle d'appariement de flux est efficace et peut synthétiser des cartes de profondeur en une seule étape d'inférence.

(4) Bien qu'il soit formé uniquement sur des données synthétiques, DepthFM fonctionne bien sur des ensembles de données de référence et des images naturelles.

(5) Utilisez la perte normale de surface comme cible auxiliaire pour obtenir une estimation plus précise de la profondeur.

(6) En plus de l'estimation de la profondeur, la confiance de sa prédiction peut également être prédite de manière fiable.

5. Quel est le principe spécifique ?

Pipeline de formations. La formation est limitée par l'appariement de flux et la perte normale de surface : pour l'appariement de flux, l'appariement de flux dépendant des données est utilisé pour régresser le champ vectoriel entre la profondeur de vérité terrain et l'image correspondante. De plus, le réalisme géométrique est obtenu grâce à une perte de normale de surface.

Correspondance de flux liée aux données : DepthFM régresse le champ vectoriel en ligne droite entre la distribution d'image et la distribution de profondeur en utilisant des paires image/profondeur. Cette approche favorise un raisonnement efficace en plusieurs étapes sans sacrifier les performances.

Affinement des priorités de diffusion : Les auteurs démontrent un transfert réussi de puissantes priorités d'images d'un modèle de diffusion de synthèse d'images de base (Stable Diffusion v2-1) vers un modèle d'appariement de flux avec peu de dépendance aux données d'entraînement et sans besoin de réel -Image du monde.

Perte normale de surface auxiliaire : Étant donné que DepthFM est uniquement formé sur des données synthétiques et que la plupart des ensembles de données synthétiques fournissent des normales de surface de vérité terrain, la perte normale de surface est utilisée comme cible auxiliaire pour améliorer la précision de l'estimation de la profondeur de DepthFM.

6. Résultats expérimentaux

DepthFM démontre des capacités de généralisation significatives en s'entraînant sur seulement 63 000 échantillons purement synthétiques et est capable d'estimer la profondeur sans tir sur des ensembles de données intérieurs et extérieurs. Le tableau 1 montre qualitativement la comparaison des performances de DepthFM avec les modèles correspondants de pointe. Alors que d'autres modèles s'appuient souvent sur de grands ensembles de données pour la formation, DepthFM exploite la richesse des connaissances inhérentes au modèle sous-jacent basé sur la diffusion. Cette méthode permet non seulement d'économiser des ressources informatiques, mais met également l'accent sur l'adaptabilité et l'efficacité de la formation du modèle.

Comparaison de l'estimation de la profondeur du souci basée sur la diffusion, du benchmark Flow Matching (FM) et du modèle DepthFM. Chaque méthode est évaluée en utilisant un seul membre d'ensemble et avec un nombre variable d'évaluations de fonctions (NFE) sur deux ensembles de données de référence communs. Par rapport à la ligne de base FM, DepthFM intègre la perte normale et le couplage dépendant des données pendant l'entraînement.

Résultats qualitatifs pour les modèles Marigold et DepthFM dans différents nombres d'évaluations fonctionnelles. Il convient de noter que Marigold ne donne aucun résultat significatif par inférence en une seule étape, alors que les résultats de DepthFM montrent déjà la véritable carte de profondeur.

Achèvement en profondeur sur Hypersim. Gauche : Donner un peu de profondeur. Moyenne : Profondeur estimée à partir de la profondeur partielle donnée. À droite : la vraie profondeur.

7. Résumé

DepthFM, une méthode de correspondance de flux pour l'estimation de la profondeur monoculaire. En apprenant un mappage direct entre l'image d'entrée et la profondeur, plutôt que de débruiter une distribution normale dans une carte de profondeur, cette approche est nettement plus efficace que les solutions actuelles basées sur la diffusion tout en fournissant des cartes de profondeur à grain fin sans artefacts communs du paradigme discriminatif. . DepthFM utilise au préalable un modèle de diffusion d'images pré-entraîné, le transférant efficacement vers un modèle de correspondance de flux profond. Par conséquent, DepthFM n'est formé que sur des données synthétiques mais se généralise toujours bien aux images naturelles lors de l'inférence. De plus, il a été démontré que la perte normale de surface auxiliaire améliore l’estimation de la profondeur. L'approche légère de DepthFM est compétitive, rapide et fournit des estimations de confiance fiables.

Les lecteurs intéressés par plus de résultats expérimentaux et de détails sur l'article peuvent lire l'article original

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!