suchen
HeimTechnologie-PeripheriegeräteKIOpen Source! Jenseits von ZoeDepth! DepthFM: Schnelle und genaue monokulare Tiefenschätzung!

0. Was bewirkt dieser Artikel?

Vorgeschlagenes DepthFM: Ein vielseitiges und schnelles generatives monokulares Tiefenschätzungsmodell auf dem neuesten Stand der Technik. Zusätzlich zu herkömmlichen Tiefenschätzungsaufgaben demonstriert DepthFM auch hochmoderne Fähigkeiten bei nachgelagerten Aufgaben wie dem Tiefen-Inpainting. DepthFM ist effizient und kann Tiefenkarten innerhalb weniger Inferenzschritte synthetisieren.

Lassen Sie uns diese Arbeit gemeinsam lesen~

1. Papierinformationen

Titel: DepthFM: Fast Monocular Depth Estimation with Flow Matching

Autoren: Ming Gui, Johannes S. Fischer, Ulrich Prestel, Pingchuan Ma, Dmytro Kotovenko, Olga Grebenkova, Stefan Andreas Baumann, Vincent Tao Hu, Björn Ommer

Institution: MCML

Originallink: https://arxiv.org/abs/2403.13788

Code-Link: https://github.com/ CompVis/ Depth -fm

Offizielle Homepage: https:// Depthfm.github.io/

2. Zusammenfassung

ist für viele nachgelagerte Besichtigungsaufgaben und -anwendungen von entscheidender Bedeutung. Aktuelle Unterscheidungsmethoden für dieses Problem sind durch verwischende Artefakte eingeschränkt, während generative Methoden auf dem neuesten Stand der Technik aufgrund ihrer SDE-Natur unter einer langsamen Geschwindigkeit der Trainingsproben leiden. Anstatt mit Rauschen zu beginnen, suchen wir nach einer direkten Zuordnung vom Eingabebild zum Tiefenbild. Wir beobachten, dass dies durch Flussanpassung effizient konstruiert werden kann, da seine gerade Flugbahn im Lösungsraum für Effizienz und hohe Qualität sorgt. Unsere Studie zeigt, dass vorab trainierte Bilddiffusionsmodelle als ausreichendes Vorwissen für Deep-Flow-Matching-Modelle verwendet werden können. Bei Benchmarks komplexer Naturszenen zeigt unser leichtgewichtiger Ansatz modernste Leistung bei vorteilhaft niedrigem Rechenaufwand, obwohl er nur auf einer kleinen Menge synthetischer Daten trainiert wird.

3. Effektdemonstration

DepthFM ist ein schnelles Inferenzfluss-Matching-Modell mit starker Zero-Shot-Generalisierungsfähigkeit, das starkes Vorwissen nutzen und leicht auf unbekannte reale Bilder verallgemeinern kann. Nach dem Training mit synthetischen Daten lässt sich das Modell gut auf unbekannte reale Bilder verallgemeinern und passt Tiefenbilder genau an.

开源!超越ZoeDepth! DepthFM:快速且精确的单目深度估计!

Im Vergleich zu anderen hochmodernen Modellen erhält DepthFM mit nur einer Funktionsauswertung deutlich klarere Bilder. Die Tiefenschätzung von Marigold dauert doppelt so lange wie die von DethFM, kann jedoch keine Tiefenkarten mit derselben Granularität erstellen.

开源!超越ZoeDepth! DepthFM:快速且精确的单目深度估计!

4. Hauptbeiträge

(1) Vorgeschlagenes DepthFM, ein hochmodernes, vielseitiges und schnelles monokulares Tiefenschätzungsmodell. Zusätzlich zu herkömmlichen Tiefenschätzungsaufgaben demonstriert DepthFM auch hochmoderne Fähigkeiten bei nachgelagerten Aufgaben wie Tiefeninpainting und tiefenkonditionierter Bildsynthese.

(2) demonstriert die erfolgreiche Übertragung starker Bild-Prioritäten von Diffusionsmodellen auf Flow-Matching-Modelle, wobei die Abhängigkeit von Trainingsdaten gering ist und keine Bilder aus der realen Welt erforderlich sind.

(3) zeigt, dass das Flow-Matching-Modell effizient ist und Tiefenkarten innerhalb eines einzigen Inferenzschritts synthetisieren kann.

(4) Obwohl DepthFM nur auf synthetische Daten trainiert wurde, schneidet es bei Benchmark-Datensätzen und natürlichen Bildern gut ab.

(5) Verwenden Sie den Oberflächennormalverlust als Hilfsziel, um eine genauere Tiefenschätzung zu erhalten.

(6) Zusätzlich zur Tiefenschätzung kann auch die Zuverlässigkeit seiner Vorhersage zuverlässig vorhergesagt werden.

5. Was ist das konkrete Prinzip?

Trainingspipeline. Das Training ist durch Flussanpassung und Oberflächennormalverlust begrenzt: Für Flussanpassung wird datenabhängiges Flussanpassung verwendet, um das Vektorfeld zwischen der Grundwahrheitstiefe und dem entsprechenden Bild zurückzubilden. Darüber hinaus wird geometrischer Realismus durch einen Oberflächennormalenverlust erreicht.

开源!超越ZoeDepth! DepthFM:快速且精确的单目深度估计!

Datenbezogener Flussabgleich: DepthFM regressiert das geradlinige Vektorfeld zwischen der Bildverteilung und der Tiefenverteilung unter Verwendung von Bild-zu-Tiefen-Paaren. Dieser Ansatz fördert effizientes mehrstufiges Denken ohne Einbußen bei der Leistung.

Feinabstimmung von Diffusion Priors: Die Autoren demonstrieren die erfolgreiche Übertragung leistungsstarker Image Priors von einem Basisbildsynthese-Diffusionsmodell (Stable Diffusion v2-1) auf ein Flow-Matching-Modell, wobei kaum auf Trainingsdaten zurückgegriffen wird und keine echten Daten erforderlich sind -Weltbild.

Hilfsflächennormalverlust: Da DepthFM nur auf synthetischen Daten trainiert wird und die meisten synthetischen Datensätze bodenwahre Oberflächennormalen liefern, wird der Oberflächennormalverlust als Hilfsziel verwendet, um die Genauigkeit der DepthFM-Tiefenschätzung zu verbessern.

6. Experimentelle Ergebnisse Tabelle 1 zeigt qualitativ den Leistungsvergleich von DepthFM mit entsprechenden Modellen auf dem neuesten Stand der Technik. Während andere Modelle für das Training häufig auf große Datensätze angewiesen sind, nutzt DepthFM das umfangreiche Wissen, das dem zugrunde liegenden diffusionsbasierten Modell innewohnt. Diese Methode spart nicht nur Rechenressourcen, sondern betont auch die Anpassungsfähigkeit und Trainingseffizienz des Modells.

Vergleich der diffusionsbasierten Marigold-Tiefenschätzung, des Flow Matching (FM)-Benchmarks und des DepthFM-Modells. Jede Methode wird mit nur einem Ensemblemitglied und mit unterschiedlicher Anzahl von Funktionsauswertungen (NFE) an zwei gemeinsamen Benchmark-Datensätzen evaluiert. Im Vergleich zur FM-Basislinie integriert DepthFM den normalen Verlust und die datenabhängige Kopplung während des Trainings.

开源!超越ZoeDepth! DepthFM:快速且精确的单目深度估计!

Qualitative Ergebnisse für Marigold- und DepthFM-Modelle in unterschiedlicher Anzahl funktionaler Auswertungen. Es ist erwähnenswert, dass Marigold durch einstufige Inferenz keine aussagekräftigen Ergebnisse liefert, während die Ergebnisse von DepthFM bereits die tatsächliche Tiefenkarte zeigen.

开源!超越ZoeDepth! DepthFM:快速且精确的单目深度估计!

Tiefenvervollständigung auf Hypersim. Links: Etwas Tiefe verleihen. Mittel: Tiefe, geschätzt aus der angegebenen Teiltiefe. Rechts: Wahre Tiefe.

开源!超越ZoeDepth! DepthFM:快速且精确的单目深度估计!

7. Zusammenfassung

开源!超越ZoeDepth! DepthFM:快速且精确的单目深度估计!

DepthFM, eine Flow-Matching-Methode zur monokularen Tiefenschätzung. Durch das Erlernen einer direkten Zuordnung zwischen dem Eingabebild und der Tiefe, anstatt eine Normalverteilung in eine Tiefenkarte zu entrauschen, ist dieser Ansatz deutlich effizienter als aktuelle diffusionsbasierte Lösungen und liefert dennoch feinkörnige Tiefenkarten ohne gemeinsame Artefakte des diskriminierenden Paradigmas . DepthFM verwendet als Vorstufe ein vorab trainiertes Bilddiffusionsmodell und überträgt es effektiv auf ein Deep-Flow-Matching-Modell. Daher wird DepthFM nur auf synthetische Daten trainiert, lässt sich aber während der Inferenz dennoch gut auf natürliche Bilder verallgemeinern. Darüber hinaus hat sich gezeigt, dass der zusätzliche Verlust der Oberflächennormalen die Tiefenschätzung verbessert. Der leichtgewichtige Ansatz von DepthFM ist wettbewerbsfähig, schnell und liefert zuverlässige Vertrauensschätzungen.

Leser, die an weiteren experimentellen Ergebnissen und Artikeldetails interessiert sind, können den Originalartikel lesen

Das obige ist der detaillierte Inhalt vonOpen Source! Jenseits von ZoeDepth! DepthFM: Schnelle und genaue monokulare Tiefenschätzung!. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Stellungnahme
Dieser Artikel ist reproduziert unter:51CTO.COM. Bei Verstößen wenden Sie sich bitte an admin@php.cn löschen
Lassen Sie uns tanzen: Strukturierte Bewegung, um unsere menschlichen neuronalen Netze zu optimierenLassen Sie uns tanzen: Strukturierte Bewegung, um unsere menschlichen neuronalen Netze zu optimierenApr 27, 2025 am 11:09 AM

Wissenschaftler haben ausführlich menschliche und einfachere neuronale Netzwerke (wie die in C. elegans) untersucht, um ihre Funktionalität zu verstehen. Es stellt sich jedoch eine entscheidende Frage: Wie passen wir unsere eigenen neuronalen Netze an, um neben neuartigen Ai S effektiv zu arbeiten

Neues Google Leak zeigt Abonnementänderungen für Gemini AINeues Google Leak zeigt Abonnementänderungen für Gemini AIApr 27, 2025 am 11:08 AM

Googles Gemini Advanced: Neue Abonnements am Horizont Der Zugriff auf Gemini Advanced erfordert derzeit einen Google One AI -Premium -Plan von 19,99 USD/Monat. Ein Bericht von Android Authority hat jedoch auf bevorstehende Änderungen hinweist. Code im neuesten Google P.

Wie die Beschleunigung der Datenanalyse löst den versteckten Engpass von AIWie die Beschleunigung der Datenanalyse löst den versteckten Engpass von AIApr 27, 2025 am 11:07 AM

Trotz des Hype um fortgeschrittene KI -Funktionen lauert eine erhebliche Herausforderung in den Bereitstellungen von Enterprise AI: Datenverarbeitung Engpässe. Während CEOs KI -Fortschritte feiern, kreischen sich die Ingenieure mit langsamen Abfragen, überladenen Pipelines, a

Markitdown MCP kann jedes Dokument in Markdowns umwandeln!Markitdown MCP kann jedes Dokument in Markdowns umwandeln!Apr 27, 2025 am 09:47 AM

Um Dokumente zu handeln, geht es nicht mehr nur darum, Dateien in Ihren KI -Projekten zu öffnen, sondern darum, das Chaos in Klarheit zu verwandeln. Dokumente wie PDFs, Powerpoints und Wort überfluten unsere Workflows in jeder Form und Größe. Strukturiert abrufen

Wie benutze ich Google ADK für Bauagenten? - Analytics VidhyaWie benutze ich Google ADK für Bauagenten? - Analytics VidhyaApr 27, 2025 am 09:42 AM

Nutzen Sie die Macht des Google Agent Development Kit (ADK), um intelligente Agenten mit realen Funktionen zu erstellen! Dieses Tutorial führt Sie durch den Bau von Konversationsagenten mit ADK und unterstützt verschiedene Sprachmodelle wie Gemini und GPT. W

Verwendung von SLM über LLM für eine effektive Problemlösung - Analytics VidhyaVerwendung von SLM über LLM für eine effektive Problemlösung - Analytics VidhyaApr 27, 2025 am 09:27 AM

Zusammenfassung: SLM (Small Language Model) ist für die Effizienz ausgelegt. Sie sind besser als das große Sprachmodell (LLM) in Ressourcenmangel-, Echtzeit- und Datenschutz-sensitiven Umgebungen. Am besten für fokussierte Aufgaben, insbesondere für Domänenspezifität, -kontrollierbarkeit und Interpretierbarkeit wichtiger als allgemeines Wissen oder Kreativität. SLMs sind kein Ersatz für LLMs, aber sie sind ideal, wenn Präzision, Geschwindigkeit und Kostenwirksamkeit kritisch sind. Technologie hilft uns, mehr mit weniger Ressourcen zu erreichen. Es war schon immer ein Promoter, kein Fahrer. Von der Dampfmaschine -Ära bis zur Internetblase -Ära liegt die Kraft der Technologie in dem Ausmaß, in dem sie uns hilft, Probleme zu lösen. Künstliche Intelligenz (KI) und in jüngerer Zeit generativer KI sind keine Ausnahme

Wie benutze ich Google Gemini -Modelle für Computer Vision -Aufgaben? - Analytics VidhyaWie benutze ich Google Gemini -Modelle für Computer Vision -Aufgaben? - Analytics VidhyaApr 27, 2025 am 09:26 AM

Nutzen Sie die Kraft von Google Gemini für Computer Vision: einen umfassenden Leitfaden Google Gemini, ein führender KI -Chatbot, erweitert seine Fähigkeiten über die Konversation hinaus, um leistungsstarke Funktionen von Computer Visionen zu umfassen. In dieser Anleitung wird beschrieben, wie man verwendet wird

Gemini 2.0 Flash gegen O4-Mini: Kann Google besser als OpenAI machen?Gemini 2.0 Flash gegen O4-Mini: Kann Google besser als OpenAI machen?Apr 27, 2025 am 09:20 AM

Die KI-Landschaft von 2025 ist mit der Ankunft von Googles Gemini 2.0 Flash und Openai's O4-Mini elektrisierend. Diese modernen Modelle, die in Abstand von Wochen veröffentlicht wurden, bieten vergleichbare fortschrittliche Funktionen und beeindruckende Benchmark-Ergebnisse. Diese eingehende Vergleiche

See all articles

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

Video Face Swap

Video Face Swap

Tauschen Sie Gesichter in jedem Video mühelos mit unserem völlig kostenlosen KI-Gesichtstausch-Tool aus!

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

Sicherer Prüfungsbrowser

Sicherer Prüfungsbrowser

Safe Exam Browser ist eine sichere Browserumgebung für die sichere Teilnahme an Online-Prüfungen. Diese Software verwandelt jeden Computer in einen sicheren Arbeitsplatz. Es kontrolliert den Zugriff auf alle Dienstprogramme und verhindert, dass Schüler nicht autorisierte Ressourcen nutzen.

VSCode Windows 64-Bit-Download

VSCode Windows 64-Bit-Download

Ein kostenloser und leistungsstarker IDE-Editor von Microsoft

WebStorm-Mac-Version

WebStorm-Mac-Version

Nützliche JavaScript-Entwicklungstools

PHPStorm Mac-Version

PHPStorm Mac-Version

Das neueste (2018.2.1) professionelle, integrierte PHP-Entwicklungstool