開源！超越ZoeDepth！ DepthFM：快速且精確的單目深度估計！

0. 這篇文章做了啥？

提出了DepthFM：一個多功能且快速的最先進的生成式單目深度估計模型。除了傳統的深度估計任務外，DepthFM還展示了在深度修復等下游任務中的最先進能力。 DepthFM效率高，可以在少數推理步驟內合成深度圖。

下面一起來閱讀這項工作~

##1. 論文資訊

標題：DepthFM: Fast Monocular Depth Estimation with Flow Matching

作者：Ming Gui, Johannes S. Fischer, Ulrich Prestel, Pingchuan Ma, Dmytro Kotovenko, Olga Grebenkova, Stefan Andreas Baumann, Vincent Tao Hu, Björn Ommer

. #原文連結：https://arxiv.org/abs/2403.13788

程式碼連結：https://github.com/CompVis/depth-fm

官方首頁：https:// depthfm.github.io/

2. 摘要

#針對許多下游觀光任務和應用至關重要。目前針對此問題的判別式方法受到模糊偽影的限制，而最先進的生成方法由於其SDE性質導致訓練樣本速度緩慢。我們不是從雜訊開始，而是尋求從輸入影像到深度影像的直接映射。我們觀察到這可透過流匹配來有效地構建，因為其在解空間中的直線軌跡提供了效率和高品質。我們的研究表明，預先訓練的影像擴散模型可用於作為流匹配深度模型的充分先驗知識。在複雜自然場景的基準測試中，儘管僅在少量合成資料上進行訓練，我們的輕量級方法以有利的低計算成本表現出最先進的性能。

3. 效果展示

DepthFM是一種具有強零樣本泛化能力的快速推理流匹配模型，可利用強大的先驗知識，並且很容易地泛化到未知的真實影像中。在合成資料上進行訓練後，模型可以很好地泛化到未知的真實影像中，並對深度影像進行精確匹配。

與其他最先進的模型相比，DepthFM僅用一個函數評估就獲得了明顯更清晰的圖像。 Marigold的深度估計耗時是DepthFM的兩倍，但無法產生相同粒度的深度圖。

4. 主要貢獻

#（1）提出了DepthFM，一種最先進的、多功能的、快速的單目深度估計模型。除了傳統的深度估計任務外，DepthFM還展示了在深度修補和深度條件影像合成等下游任務中的最新能力。

（2）展示了將強大的圖像先驗從擴散模型成功轉移到流匹配模型，幾乎不依賴訓練數據，也不需要真實世界的圖像。

（3）表明，流匹配模型高效，並能在單一推理步驟內合成深度圖。

（4）儘管僅在合成資料上進行訓練，但DepthFM在基準資料集和自然影像上表現出色。

（5）將表面法線損失作為輔助目標，以獲得更準確的深度估計。

（6）除了深度估計，還可可靠地預測其預測的置信度。

5. 具體原理是啥？

訓練Pipeline。

 訓練受到流匹配和表面法向損失的限制：對於流匹配，使用資料依賴的流匹配來回歸地面真實深度與對應影像之間的向量場。此外，透過一個表面法向損失來實現幾何真實感。

資料相關的流匹配：

 DepthFM透過利用影像到深度對，回歸出影像分佈和深度分佈之間的直線向量場。這種方法在不犧牲性能的情況下促進了高效的幾步推理。

從擴散先驗微調：

 作者展示了成功將強大的圖像先驗從基礎圖像合成擴散模型（Stable Diffusion v2-1）轉移到流匹配模型，幾乎不依賴訓練數據，並且不需要真實世界的圖像。

輔助表面法線損失：

 考慮到DepthFM只在合成資料上進行訓練，大多數合成資料集提供了地面真實表面法線，並將表面法線損失作為輔助目標，以增強DepthFM深度估計的準確性。

6. Результаты экспериментов

DepthFM демонстрирует значительную способность к обобщению, обучаясь только на 63 тысячах чисто синтетических образцов, и может выполнять обучение нулевого уровня на наборах данных внутри и снаружи. Оценка глубины выстрела. В таблице 1 качественно показано сравнение производительности DepthFM с соответствующими современными моделями. В то время как другие модели часто полагаются на большие наборы данных для обучения, DepthFM использует богатые знания, присущие базовой модели, основанной на диффузии. Этот метод не только экономит вычислительные ресурсы, но и подчеркивает адаптивность и эффективность обучения модели.

Сравнение оценки глубины Marigold на основе диффузии, эталонного теста Flow Matching (FM) и модели DepthFM. Каждый метод оценивается с использованием только одного члена ансамбля и с различным количеством оценок функций (NFE) на двух общих эталонных наборах данных. По сравнению с базовой линией FM, DepthFM объединяет нормальные потери и связь, зависящую от данных во время обучения.

Качественные результаты для моделей Marigold и DepthFM при различном количестве функциональных оценок. Стоит отметить, что Marigold не дает никаких значимых результатов посредством одношагового вывода, в то время как результаты DepthFM уже показывают реальную карту глубины.

Выполните глубокое завершение в Hypersim. Слева: придание глубины. Средняя: Глубина оценивается на основе заданной частичной глубины. Справа: Истинная глубина.

#7.Резюме

DepthFM, метод сопоставления потоков для монокулярной оценки глубины. Путем изучения прямого сопоставления между входным изображением и глубиной, а не шумоподавления нормального распределения в карте глубины, этот подход значительно более эффективен, чем текущие решения на основе диффузии, но при этом обеспечивает мелкозернистые карты глубины без общих артефактов дискриминационной парадигмы. . DepthFM использует предварительно обученную модель диффузии изображения в качестве априорной, эффективно передавая ее в модель сопоставления глубокого потока. Таким образом, DepthFM обучается только на синтетических данных, но при этом хорошо обобщает естественные изображения во время вывода. Кроме того, было показано, что нормальные потери на вспомогательной поверхности улучшают оценку глубины. Облегченный подход DepthFM является конкурентоспособным, быстрым и обеспечивает надежные достоверные оценки.

Читатели, которых интересуют дополнительные экспериментальные результаты и подробности статьи, могут прочитать оригинальную статью

以上是開源！超越ZoeDepth！ DepthFM：快速且精確的單目深度估計！的詳細內容。更多資訊請關注PHP中文網其他相關文章！