


Open Source! Jenseits von ZoeDepth! DepthFM: Schnelle und genaue monokulare Tiefenschätzung!
0. Was bewirkt dieser Artikel?
Vorgeschlagenes DepthFM: Ein vielseitiges und schnelles generatives monokulares Tiefenschätzungsmodell auf dem neuesten Stand der Technik. Zusätzlich zu herkömmlichen Tiefenschätzungsaufgaben demonstriert DepthFM auch hochmoderne Fähigkeiten bei nachgelagerten Aufgaben wie dem Tiefen-Inpainting. DepthFM ist effizient und kann Tiefenkarten innerhalb weniger Inferenzschritte synthetisieren.
Lassen Sie uns diese Arbeit gemeinsam lesen~
1. Papierinformationen
Titel: DepthFM: Fast Monocular Depth Estimation with Flow Matching
Autoren: Ming Gui, Johannes S. Fischer, Ulrich Prestel, Pingchuan Ma, Dmytro Kotovenko, Olga Grebenkova, Stefan Andreas Baumann, Vincent Tao Hu, Björn Ommer
Institution: MCML
Originallink: https://arxiv.org/abs/2403.13788
Code-Link: https://github.com/ CompVis/ Depth -fm
Offizielle Homepage: https:// Depthfm.github.io/
2. Zusammenfassung
ist für viele nachgelagerte Besichtigungsaufgaben und -anwendungen von entscheidender Bedeutung. Aktuelle Unterscheidungsmethoden für dieses Problem sind durch verwischende Artefakte eingeschränkt, während generative Methoden auf dem neuesten Stand der Technik aufgrund ihrer SDE-Natur unter einer langsamen Geschwindigkeit der Trainingsproben leiden. Anstatt mit Rauschen zu beginnen, suchen wir nach einer direkten Zuordnung vom Eingabebild zum Tiefenbild. Wir beobachten, dass dies durch Flussanpassung effizient konstruiert werden kann, da seine gerade Flugbahn im Lösungsraum für Effizienz und hohe Qualität sorgt. Unsere Studie zeigt, dass vorab trainierte Bilddiffusionsmodelle als ausreichendes Vorwissen für Deep-Flow-Matching-Modelle verwendet werden können. Bei Benchmarks komplexer Naturszenen zeigt unser leichtgewichtiger Ansatz modernste Leistung bei vorteilhaft niedrigem Rechenaufwand, obwohl er nur auf einer kleinen Menge synthetischer Daten trainiert wird.
3. Effektdemonstration
DepthFM ist ein schnelles Inferenzfluss-Matching-Modell mit starker Zero-Shot-Generalisierungsfähigkeit, das starkes Vorwissen nutzen und leicht auf unbekannte reale Bilder verallgemeinern kann. Nach dem Training mit synthetischen Daten lässt sich das Modell gut auf unbekannte reale Bilder verallgemeinern und passt Tiefenbilder genau an.
Im Vergleich zu anderen hochmodernen Modellen erhält DepthFM mit nur einer Funktionsauswertung deutlich klarere Bilder. Die Tiefenschätzung von Marigold dauert doppelt so lange wie die von DethFM, kann jedoch keine Tiefenkarten mit derselben Granularität erstellen.
4. Hauptbeiträge
(1) Vorgeschlagenes DepthFM, ein hochmodernes, vielseitiges und schnelles monokulares Tiefenschätzungsmodell. Zusätzlich zu herkömmlichen Tiefenschätzungsaufgaben demonstriert DepthFM auch hochmoderne Fähigkeiten bei nachgelagerten Aufgaben wie Tiefeninpainting und tiefenkonditionierter Bildsynthese.
(2) demonstriert die erfolgreiche Übertragung starker Bild-Prioritäten von Diffusionsmodellen auf Flow-Matching-Modelle, wobei die Abhängigkeit von Trainingsdaten gering ist und keine Bilder aus der realen Welt erforderlich sind.
(3) zeigt, dass das Flow-Matching-Modell effizient ist und Tiefenkarten innerhalb eines einzigen Inferenzschritts synthetisieren kann.
(4) Obwohl DepthFM nur auf synthetische Daten trainiert wurde, schneidet es bei Benchmark-Datensätzen und natürlichen Bildern gut ab.
(5) Verwenden Sie den Oberflächennormalverlust als Hilfsziel, um eine genauere Tiefenschätzung zu erhalten.
(6) Zusätzlich zur Tiefenschätzung kann auch die Zuverlässigkeit seiner Vorhersage zuverlässig vorhergesagt werden.
5. Was ist das konkrete Prinzip?
Trainingspipeline. Das Training ist durch Flussanpassung und Oberflächennormalverlust begrenzt: Für Flussanpassung wird datenabhängiges Flussanpassung verwendet, um das Vektorfeld zwischen der Grundwahrheitstiefe und dem entsprechenden Bild zurückzubilden. Darüber hinaus wird geometrischer Realismus durch einen Oberflächennormalenverlust erreicht.
Datenbezogener Flussabgleich: DepthFM regressiert das geradlinige Vektorfeld zwischen der Bildverteilung und der Tiefenverteilung unter Verwendung von Bild-zu-Tiefen-Paaren. Dieser Ansatz fördert effizientes mehrstufiges Denken ohne Einbußen bei der Leistung.
Feinabstimmung von Diffusion Priors: Die Autoren demonstrieren die erfolgreiche Übertragung leistungsstarker Image Priors von einem Basisbildsynthese-Diffusionsmodell (Stable Diffusion v2-1) auf ein Flow-Matching-Modell, wobei kaum auf Trainingsdaten zurückgegriffen wird und keine echten Daten erforderlich sind -Weltbild.
Hilfsflächennormalverlust: Da DepthFM nur auf synthetischen Daten trainiert wird und die meisten synthetischen Datensätze bodenwahre Oberflächennormalen liefern, wird der Oberflächennormalverlust als Hilfsziel verwendet, um die Genauigkeit der DepthFM-Tiefenschätzung zu verbessern.
6. Experimentelle Ergebnisse Tabelle 1 zeigt qualitativ den Leistungsvergleich von DepthFM mit entsprechenden Modellen auf dem neuesten Stand der Technik. Während andere Modelle für das Training häufig auf große Datensätze angewiesen sind, nutzt DepthFM das umfangreiche Wissen, das dem zugrunde liegenden diffusionsbasierten Modell innewohnt. Diese Methode spart nicht nur Rechenressourcen, sondern betont auch die Anpassungsfähigkeit und Trainingseffizienz des Modells.Vergleich der diffusionsbasierten Marigold-Tiefenschätzung, des Flow Matching (FM)-Benchmarks und des DepthFM-Modells. Jede Methode wird mit nur einem Ensemblemitglied und mit unterschiedlicher Anzahl von Funktionsauswertungen (NFE) an zwei gemeinsamen Benchmark-Datensätzen evaluiert. Im Vergleich zur FM-Basislinie integriert DepthFM den normalen Verlust und die datenabhängige Kopplung während des Trainings.
Qualitative Ergebnisse für Marigold- und DepthFM-Modelle in unterschiedlicher Anzahl funktionaler Auswertungen. Es ist erwähnenswert, dass Marigold durch einstufige Inferenz keine aussagekräftigen Ergebnisse liefert, während die Ergebnisse von DepthFM bereits die tatsächliche Tiefenkarte zeigen.
Tiefenvervollständigung auf Hypersim. Links: Etwas Tiefe verleihen. Mittel: Tiefe, geschätzt aus der angegebenen Teiltiefe. Rechts: Wahre Tiefe.
Leser, die an weiteren experimentellen Ergebnissen und Artikeldetails interessiert sind, können den Originalartikel lesen
Das obige ist der detaillierte Inhalt vonOpen Source! Jenseits von ZoeDepth! DepthFM: Schnelle und genaue monokulare Tiefenschätzung!. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

KI verstärken die Zubereitung der Lebensmittel KI -Systeme werden während der Nahten immer noch in der Zubereitung von Nahrungsmitteln eingesetzt. KI-gesteuerte Roboter werden in Küchen verwendet, um Aufgaben zur Zubereitung von Lebensmitteln zu automatisieren, z.

Einführung Das Verständnis der Namespaces, Scopes und des Verhaltens von Variablen in Python -Funktionen ist entscheidend, um effizient zu schreiben und Laufzeitfehler oder Ausnahmen zu vermeiden. In diesem Artikel werden wir uns mit verschiedenen ASP befassen

Einführung Stellen Sie sich vor, Sie gehen durch eine Kunstgalerie, umgeben von lebhaften Gemälden und Skulpturen. Was wäre, wenn Sie jedem Stück eine Frage stellen und eine sinnvolle Antwort erhalten könnten? Sie könnten fragen: „Welche Geschichte erzählst du?

In diesem Monat hat MediaTek in diesem Monat eine Reihe von Ankündigungen gemacht, darunter das neue Kompanio Ultra und die Abmessung 9400. Diese Produkte füllen die traditionelleren Teile von MediaTeks Geschäft aus, die Chips für Smartphone enthalten

#1 Google gestartet Agent2Agent Die Geschichte: Es ist Montagmorgen. Als mit KI betriebener Personalvermittler arbeiten Sie intelligenter, nicht härter. Sie melden sich im Dashboard Ihres Unternehmens auf Ihrem Telefon an. Es sagt Ihnen, dass drei kritische Rollen bezogen, überprüft und geplant wurden

Ich würde vermuten, dass du es sein musst. Wir alle scheinen zu wissen, dass Psychobabble aus verschiedenen Geschwätzern besteht, die verschiedene psychologische Terminologie mischen und oft entweder unverständlich oder völlig unsinnig sind. Alles was Sie tun müssen, um fo zu spucken

Laut einer neuen Studie, die diese Woche veröffentlicht wurde, wurden im Jahr 2022 nur 9,5% der im Jahr 2022 hergestellten Kunststoffe aus recycelten Materialien hergestellt. In der Zwischenzeit häufen sich Plastik weiter in Deponien - und Ökosystemen - um die Welt. Aber Hilfe ist unterwegs. Ein Team von Engin

Mein jüngstes Gespräch mit Andy Macmillan, CEO der führenden Unternehmensanalyse -Plattform Alteryx, zeigte diese kritische, aber unterschätzte Rolle in der KI -Revolution. Wie Macmillan erklärt, die Lücke zwischen Rohgeschäftsdaten und KI-fertigen Informat


Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

Heiße Werkzeuge

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

DVWA
Damn Vulnerable Web App (DVWA) ist eine PHP/MySQL-Webanwendung, die sehr anfällig ist. Seine Hauptziele bestehen darin, Sicherheitsexperten dabei zu helfen, ihre Fähigkeiten und Tools in einem rechtlichen Umfeld zu testen, Webentwicklern dabei zu helfen, den Prozess der Sicherung von Webanwendungen besser zu verstehen, und Lehrern/Schülern dabei zu helfen, in einer Unterrichtsumgebung Webanwendungen zu lehren/lernen Sicherheit. Das Ziel von DVWA besteht darin, einige der häufigsten Web-Schwachstellen über eine einfache und unkomplizierte Benutzeroberfläche mit unterschiedlichen Schwierigkeitsgraden zu üben. Bitte beachten Sie, dass diese Software

SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen

mPDF
mPDF ist eine PHP-Bibliothek, die PDF-Dateien aus UTF-8-codiertem HTML generieren kann. Der ursprüngliche Autor, Ian Back, hat mPDF geschrieben, um PDF-Dateien „on the fly“ von seiner Website auszugeben und verschiedene Sprachen zu verarbeiten. Es ist langsamer und erzeugt bei der Verwendung von Unicode-Schriftarten größere Dateien als Originalskripte wie HTML2FPDF, unterstützt aber CSS-Stile usw. und verfügt über viele Verbesserungen. Unterstützt fast alle Sprachen, einschließlich RTL (Arabisch und Hebräisch) und CJK (Chinesisch, Japanisch und Koreanisch). Unterstützt verschachtelte Elemente auf Blockebene (wie P, DIV),

EditPlus chinesische Crack-Version
Geringe Größe, Syntaxhervorhebung, unterstützt keine Code-Eingabeaufforderungsfunktion