찾다
기술 주변기기일체 포함오픈 소스! ZoeDepth를 넘어! DepthFM: 빠르고 정확한 단안 깊이 추정!

0. 이 글은 어떤 내용을 담고 있나요?

제안된 DepthFM: 다양하고 빠른 최첨단 생성 단안 깊이 추정 모델. DepthFM은 전통적인 깊이 추정 작업 외에도 깊이 인페인팅과 같은 다운스트림 작업에서 최첨단 기능을 보여줍니다. DepthFM은 효율적이며 몇 가지 추론 단계 내에서 깊이 맵을 합성할 수 있습니다.

이 작품을 함께 읽어보세요~

1. 논문 정보

제목: DepthFM: Fast Monocular Depth Estimation with Flow Matching

저자: Ming Gui, Johannes S. Fischer, Ulrich Prestel, Pingchuan Ma, Dmytro Kotovenko, Olga Grebenkova, Stefan Andreas Baumann, Vincent Tao Hu, Björn Ommer

기관: MCML

원본 링크: https://arxiv.org/abs/2403.13788

코드 링크: https://github.com/ CompVis/깊이 -fm

공식 홈페이지: https://lengthfm.github.io/

2. Abstract

은 많은 하류 관광 작업 및 응용 프로그램에 중요합니다. 이 문제에 대한 현재 판별 방법은 흐림 현상으로 인해 제한되는 반면, 최첨단 생성 방법은 SDE 특성으로 인해 훈련 ​​샘플 속도가 느려지는 문제가 있습니다. 노이즈로 시작하는 대신 입력 이미지에서 깊이 이미지로의 직접 매핑을 추구합니다. 솔루션 공간의 직선 궤적이 효율성과 높은 품질을 제공하므로 흐름 일치를 통해 효율적으로 구성할 수 있음을 관찰했습니다. 우리의 연구는 사전 훈련된 이미지 확산 모델이 흐름 매칭의 심층 모델에 대한 충분한 사전 지식으로 사용될 수 있음을 보여줍니다. 복잡한 자연 장면의 벤치마크에서 우리의 경량 접근 방식은 소량의 합성 데이터로만 교육을 받았음에도 불구하고 유리하게 낮은 계산 비용으로 최첨단 성능을 보여줍니다.

3. 효과 시연

DepthFM은 강력한 제로샷 일반화 능력을 갖춘 빠른 ​​추론 흐름 매칭 모델로, 강력한 사전 지식을 활용하고 알려지지 않은 실제 이미지로 쉽게 일반화할 수 있습니다. 합성 데이터를 학습한 후 모델은 알려지지 않은 실제 이미지에 대해 잘 일반화하고 깊이 이미지를 정확하게 일치시킵니다.

开源!超越ZoeDepth! DepthFM:快速且精确的单目深度估计!

DepthFM은 단 한 번의 기능 평가만으로 다른 최신 모델에 비해 훨씬 더 선명한 이미지를 얻습니다. Marigold의 깊이 추정은 DethFM보다 두 배나 오래 걸리지만 동일한 세분성으로 깊이 맵을 생성할 수는 없습니다.

开源!超越ZoeDepth! DepthFM:快速且精确的单目深度估计!

4. 주요 기여

(1) 최첨단의 다목적이며 빠른 단안 깊이 추정 모델인 DepthFM을 제안했습니다. DepthFM은 전통적인 깊이 추정 작업 외에도 깊이 인페인팅 및 깊이 조절 이미지 합성과 같은 다운스트림 작업에서 최첨단 기능을 보여줍니다.

(2)는 훈련 데이터에 거의 의존하지 않고 실제 이미지가 필요하지 않은 확산 모델에서 흐름 일치 모델로 강력한 사전 이미지를 성공적으로 전송하는 것을 보여줍니다.

(3)은 흐름 매칭 모델이 효율적이며 단일 추론 단계 내에서 깊이 맵을 합성할 수 있음을 보여줍니다.

(4) 합성 데이터에 대해서만 교육을 받았음에도 불구하고 DepthFM은 벤치마크 데이터세트와 자연 이미지에서 좋은 성능을 발휘합니다.

(5) 보다 정확한 깊이 추정을 얻으려면 표면 법선 손실을 보조 목표로 사용합니다.

(6) 깊이 추정 외에도 예측의 신뢰도도 안정적으로 예측할 수 있습니다.

5. 구체적인 원리는 무엇인가요?

훈련 파이프라인. 훈련은 흐름 일치 및 표면 법선 손실로 인해 제한됩니다. 흐름 일치의 경우 데이터 종속 흐름 일치를 사용하여 실제 깊이와 해당 이미지 사이의 벡터장을 회귀합니다. 또한 기하학적 현실감은 표면 법선 손실을 통해 달성됩니다.

开源!超越ZoeDepth! DepthFM:快速且精确的单目深度估计!

데이터 관련 흐름 매칭: DepthFM은 이미지 대 깊이 쌍을 활용하여 이미지 분포와 깊이 분포 사이의 직선 벡터장을 회귀합니다. 이 접근 방식은 성능 저하 없이 효율적인 여러 단계 추론을 촉진합니다.

확산 사전 변수의 미세 조정: 저자는 훈련 데이터에 거의 의존하지 않고 실제 데이터가 필요 없는 기본 이미지 합성 확산 모델(Stable Diffusion v2-1)에서 흐름 일치 모델로 강력한 이미지 사전 변수를 성공적으로 전송하는 방법을 보여줍니다. -세계 이미지.

보조 표면 법선 손실: DepthFM이 합성 데이터에만 훈련되고 대부분의 합성 데이터 세트가 실제 표면 법선을 제공한다는 점을 고려하면 표면 법선 손실은 DepthFM 깊이 추정의 정확성을 높이기 위한 보조 목표로 사용됩니다.

6. 실험 결과

DepthFM은 63k개의 순수 합성 샘플에 대해서만 학습하여 상당한 일반화 기능을 보여 주며 실내 및 실외 데이터 세트에 대한 제로 샷 깊이 추정이 가능합니다. 표 1은 DepthFM과 최신 해당 모델의 성능 비교를 정성적으로 보여줍니다. 다른 모델은 훈련을 위해 대규모 데이터 세트에 의존하는 경우가 많지만 DepthFM은 기본 확산 기반 모델에 내재된 풍부한 지식을 활용합니다. 이 방법은 컴퓨팅 리소스를 절약할 뿐만 아니라 모델의 적응성과 훈련 효율성을 강조합니다.

开源!超越ZoeDepth! DepthFM:快速且精确的单目深度估计!

확산 기반 Marigold 깊이 추정, FM(Flow Matching) 벤치마크 및 DepthFM 모델 비교. 각 방법은 하나의 앙상블 멤버만 사용하고 두 개의 공통 벤치마크 데이터 세트에 대한 다양한 수의 함수 평가(NFE)를 사용하여 평가됩니다. FM 기준과 비교하여 DepthFM은 훈련 중 정상 손실과 데이터 종속 결합을 통합합니다.

开源!超越ZoeDepth! DepthFM:快速且精确的单目深度估计!

다양한 기능 평가를 통해 Marigold 및 DepthFM 모델에 대한 정성적 결과를 얻었습니다. 주목할 점은 Marigold는 1단계 추론을 통해 의미 있는 결과를 제공하지 않는 반면, DepthFM의 결과는 이미 실제 깊이 맵을 보여줍니다.

开源!超越ZoeDepth! DepthFM:快速且精确的单目深度估计!

Hypersim의 깊이 완성. 왼쪽: 깊이를 더합니다. 중간: 주어진 부분 깊이로부터 추정된 깊이입니다. 오른쪽: 진정한 깊이.

开源!超越ZoeDepth! DepthFM:快速且精确的单目深度估计!

7. 요약

DepthFM, 단안 깊이 추정을 위한 흐름 매칭 방법입니다. 정규 분포를 깊이 맵으로 제거하는 대신 입력 이미지와 깊이 사이의 직접 매핑을 학습함으로써 이 접근 방식은 현재의 확산 기반 솔루션보다 훨씬 효율적이면서도 차별적 패러다임의 공통 아티팩트 없이 세분화된 깊이 맵을 제공합니다. . DepthFM은 사전 훈련된 이미지 확산 모델을 사전에 사용하여 이를 심층 흐름 매칭 모델로 효과적으로 전달합니다. 따라서 DepthFM은 합성 데이터에 대해서만 교육을 받았지만 추론 중에 자연 이미지에 대해 여전히 잘 일반화됩니다. 추가적으로, 보조 표면 법선 손실은 깊이 추정을 향상시키는 것으로 나타났습니다. DepthFM의 경량 접근 방식은 경쟁력 있고 빠르며 신뢰할 수 있는 신뢰도 추정을 제공합니다.

더 많은 실험 결과와 기사 내용에 관심이 있는 독자들은 원본 논문을 읽어보실 수 있습니다

위 내용은 오픈 소스! ZoeDepth를 넘어! DepthFM: 빠르고 정확한 단안 깊이 추정!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51CTO.COM에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
解读CRISP-ML(Q):机器学习生命周期流程解读CRISP-ML(Q):机器学习生命周期流程Apr 08, 2023 pm 01:21 PM

译者 | 布加迪审校 | 孙淑娟目前,没有用于构建和管理机器学习(ML)应用程序的标准实践。机器学习项目组织得不好,缺乏可重复性,而且从长远来看容易彻底失败。因此,我们需要一套流程来帮助自己在整个机器学习生命周期中保持质量、可持续性、稳健性和成本管理。图1. 机器学习开发生命周期流程使用质量保证方法开发机器学习应用程序的跨行业标准流程(CRISP-ML(Q))是CRISP-DM的升级版,以确保机器学习产品的质量。CRISP-ML(Q)有六个单独的阶段:1. 业务和数据理解2. 数据准备3. 模型

人工智能的环境成本和承诺人工智能的环境成本和承诺Apr 08, 2023 pm 04:31 PM

人工智能(AI)在流行文化和政治分析中经常以两种极端的形式出现。它要么代表着人类智慧与科技实力相结合的未来主义乌托邦的关键,要么是迈向反乌托邦式机器崛起的第一步。学者、企业家、甚至活动家在应用人工智能应对气候变化时都采用了同样的二元思维。科技行业对人工智能在创建一个新的技术乌托邦中所扮演的角色的单一关注,掩盖了人工智能可能加剧环境退化的方式,通常是直接伤害边缘人群的方式。为了在应对气候变化的过程中充分利用人工智能技术,同时承认其大量消耗能源,引领人工智能潮流的科技公司需要探索人工智能对环境影响的

找不到中文语音预训练模型?中文版 Wav2vec 2.0和HuBERT来了找不到中文语音预训练模型?中文版 Wav2vec 2.0和HuBERT来了Apr 08, 2023 pm 06:21 PM

Wav2vec 2.0 [1],HuBERT [2] 和 WavLM [3] 等语音预训练模型,通过在多达上万小时的无标注语音数据(如 Libri-light )上的自监督学习,显著提升了自动语音识别(Automatic Speech Recognition, ASR),语音合成(Text-to-speech, TTS)和语音转换(Voice Conversation,VC)等语音下游任务的性能。然而这些模型都没有公开的中文版本,不便于应用在中文语音研究场景。 WenetSpeech [4] 是

条形统计图用什么呈现数据条形统计图用什么呈现数据Jan 20, 2021 pm 03:31 PM

条形统计图用“直条”呈现数据。条形统计图是用一个单位长度表示一定的数量,根据数量的多少画成长短不同的直条,然后把这些直条按一定的顺序排列起来;从条形统计图中很容易看出各种数量的多少。条形统计图分为:单式条形统计图和复式条形统计图,前者只表示1个项目的数据,后者可以同时表示多个项目的数据。

自动驾驶车道线检测分类的虚拟-真实域适应方法自动驾驶车道线检测分类的虚拟-真实域适应方法Apr 08, 2023 pm 02:31 PM

arXiv论文“Sim-to-Real Domain Adaptation for Lane Detection and Classification in Autonomous Driving“,2022年5月,加拿大滑铁卢大学的工作。虽然自主驾驶的监督检测和分类框架需要大型标注数据集,但光照真实模拟环境生成的合成数据推动的无监督域适应(UDA,Unsupervised Domain Adaptation)方法则是低成本、耗时更少的解决方案。本文提出对抗性鉴别和生成(adversarial d

数据通信中的信道传输速率单位是bps,它表示什么数据通信中的信道传输速率单位是bps,它表示什么Jan 18, 2021 pm 02:58 PM

数据通信中的信道传输速率单位是bps,它表示“位/秒”或“比特/秒”,即数据传输速率在数值上等于每秒钟传输构成数据代码的二进制比特数,也称“比特率”。比特率表示单位时间内传送比特的数目,用于衡量数字信息的传送速度;根据每帧图像存储时所占的比特数和传输比特率,可以计算数字图像信息传输的速度。

数据分析方法有哪几种数据分析方法有哪几种Dec 15, 2020 am 09:48 AM

数据分析方法有4种,分别是:1、趋势分析,趋势分析一般用于核心指标的长期跟踪;2、象限分析,可依据数据的不同,将各个比较主体划分到四个象限中;3、对比分析,分为横向对比和纵向对比;4、交叉分析,主要作用就是从多个维度细分数据。

聊一聊Python 实现数据的序列化操作聊一聊Python 实现数据的序列化操作Apr 12, 2023 am 09:31 AM

​在日常开发中,对数据进行序列化和反序列化是常见的数据操作,Python提供了两个模块方便开发者实现数据的序列化操作,即 json 模块和 pickle 模块。这两个模块主要区别如下:json 是一个文本序列化格式,而 pickle 是一个二进制序列化格式;json 是我们可以直观阅读的,而 pickle 不可以;json 是可互操作的,在 Python 系统之外广泛使用,而 pickle 则是 Python 专用的;默认情况下,json 只能表示 Python 内置类型的子集,不能表示自定义的

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

Atom Editor Mac 버전 다운로드

Atom Editor Mac 버전 다운로드

가장 인기 있는 오픈 소스 편집기

Dreamweaver Mac版

Dreamweaver Mac版

시각적 웹 개발 도구

VSCode Windows 64비트 다운로드

VSCode Windows 64비트 다운로드

Microsoft에서 출시한 강력한 무료 IDE 편집기

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.

에디트플러스 중국어 크랙 버전

에디트플러스 중국어 크랙 버전

작은 크기, 구문 강조, 코드 프롬프트 기능을 지원하지 않음