0. 이 글은 어떤 내용을 담고 있나요?
제안된 DepthFM: 다양하고 빠른 최첨단 생성 단안 깊이 추정 모델. DepthFM은 전통적인 깊이 추정 작업 외에도 깊이 인페인팅과 같은 다운스트림 작업에서 최첨단 기능을 보여줍니다. DepthFM은 효율적이며 몇 가지 추론 단계 내에서 깊이 맵을 합성할 수 있습니다.
이 작품을 함께 읽어보세요~
1. 논문 정보
제목: DepthFM: Fast Monocular Depth Estimation with Flow Matching
저자: Ming Gui, Johannes S. Fischer, Ulrich Prestel, Pingchuan Ma, Dmytro Kotovenko, Olga Grebenkova, Stefan Andreas Baumann, Vincent Tao Hu, Björn Ommer
기관: MCML
원본 링크: https://arxiv.org/abs/2403.13788
코드 링크: https://github.com/ CompVis/깊이 -fm
공식 홈페이지: https://lengthfm.github.io/
2. Abstract
은 많은 하류 관광 작업 및 응용 프로그램에 중요합니다. 이 문제에 대한 현재 판별 방법은 흐림 현상으로 인해 제한되는 반면, 최첨단 생성 방법은 SDE 특성으로 인해 훈련 샘플 속도가 느려지는 문제가 있습니다. 노이즈로 시작하는 대신 입력 이미지에서 깊이 이미지로의 직접 매핑을 추구합니다. 솔루션 공간의 직선 궤적이 효율성과 높은 품질을 제공하므로 흐름 일치를 통해 효율적으로 구성할 수 있음을 관찰했습니다. 우리의 연구는 사전 훈련된 이미지 확산 모델이 흐름 매칭의 심층 모델에 대한 충분한 사전 지식으로 사용될 수 있음을 보여줍니다. 복잡한 자연 장면의 벤치마크에서 우리의 경량 접근 방식은 소량의 합성 데이터로만 교육을 받았음에도 불구하고 유리하게 낮은 계산 비용으로 최첨단 성능을 보여줍니다.
3. 효과 시연
DepthFM은 강력한 제로샷 일반화 능력을 갖춘 빠른 추론 흐름 매칭 모델로, 강력한 사전 지식을 활용하고 알려지지 않은 실제 이미지로 쉽게 일반화할 수 있습니다. 합성 데이터를 학습한 후 모델은 알려지지 않은 실제 이미지에 대해 잘 일반화하고 깊이 이미지를 정확하게 일치시킵니다.
DepthFM은 단 한 번의 기능 평가만으로 다른 최신 모델에 비해 훨씬 더 선명한 이미지를 얻습니다. Marigold의 깊이 추정은 DethFM보다 두 배나 오래 걸리지만 동일한 세분성으로 깊이 맵을 생성할 수는 없습니다.
4. 주요 기여
(1) 최첨단의 다목적이며 빠른 단안 깊이 추정 모델인 DepthFM을 제안했습니다. DepthFM은 전통적인 깊이 추정 작업 외에도 깊이 인페인팅 및 깊이 조절 이미지 합성과 같은 다운스트림 작업에서 최첨단 기능을 보여줍니다.
(2)는 훈련 데이터에 거의 의존하지 않고 실제 이미지가 필요하지 않은 확산 모델에서 흐름 일치 모델로 강력한 사전 이미지를 성공적으로 전송하는 것을 보여줍니다.
(3)은 흐름 매칭 모델이 효율적이며 단일 추론 단계 내에서 깊이 맵을 합성할 수 있음을 보여줍니다.
(4) 합성 데이터에 대해서만 교육을 받았음에도 불구하고 DepthFM은 벤치마크 데이터세트와 자연 이미지에서 좋은 성능을 발휘합니다.
(5) 보다 정확한 깊이 추정을 얻으려면 표면 법선 손실을 보조 목표로 사용합니다.
(6) 깊이 추정 외에도 예측의 신뢰도도 안정적으로 예측할 수 있습니다.
5. 구체적인 원리는 무엇인가요?
훈련 파이프라인. 훈련은 흐름 일치 및 표면 법선 손실로 인해 제한됩니다. 흐름 일치의 경우 데이터 종속 흐름 일치를 사용하여 실제 깊이와 해당 이미지 사이의 벡터장을 회귀합니다. 또한 기하학적 현실감은 표면 법선 손실을 통해 달성됩니다.
데이터 관련 흐름 매칭: DepthFM은 이미지 대 깊이 쌍을 활용하여 이미지 분포와 깊이 분포 사이의 직선 벡터장을 회귀합니다. 이 접근 방식은 성능 저하 없이 효율적인 여러 단계 추론을 촉진합니다.
확산 사전 변수의 미세 조정: 저자는 훈련 데이터에 거의 의존하지 않고 실제 데이터가 필요 없는 기본 이미지 합성 확산 모델(Stable Diffusion v2-1)에서 흐름 일치 모델로 강력한 이미지 사전 변수를 성공적으로 전송하는 방법을 보여줍니다. -세계 이미지.
보조 표면 법선 손실: DepthFM이 합성 데이터에만 훈련되고 대부분의 합성 데이터 세트가 실제 표면 법선을 제공한다는 점을 고려하면 표면 법선 손실은 DepthFM 깊이 추정의 정확성을 높이기 위한 보조 목표로 사용됩니다.
6. 실험 결과
DepthFM은 63k개의 순수 합성 샘플에 대해서만 학습하여 상당한 일반화 기능을 보여 주며 실내 및 실외 데이터 세트에 대한 제로 샷 깊이 추정이 가능합니다. 표 1은 DepthFM과 최신 해당 모델의 성능 비교를 정성적으로 보여줍니다. 다른 모델은 훈련을 위해 대규모 데이터 세트에 의존하는 경우가 많지만 DepthFM은 기본 확산 기반 모델에 내재된 풍부한 지식을 활용합니다. 이 방법은 컴퓨팅 리소스를 절약할 뿐만 아니라 모델의 적응성과 훈련 효율성을 강조합니다.
확산 기반 Marigold 깊이 추정, FM(Flow Matching) 벤치마크 및 DepthFM 모델 비교. 각 방법은 하나의 앙상블 멤버만 사용하고 두 개의 공통 벤치마크 데이터 세트에 대한 다양한 수의 함수 평가(NFE)를 사용하여 평가됩니다. FM 기준과 비교하여 DepthFM은 훈련 중 정상 손실과 데이터 종속 결합을 통합합니다.
다양한 기능 평가를 통해 Marigold 및 DepthFM 모델에 대한 정성적 결과를 얻었습니다. 주목할 점은 Marigold는 1단계 추론을 통해 의미 있는 결과를 제공하지 않는 반면, DepthFM의 결과는 이미 실제 깊이 맵을 보여줍니다.
Hypersim의 깊이 완성. 왼쪽: 깊이를 더합니다. 중간: 주어진 부분 깊이로부터 추정된 깊이입니다. 오른쪽: 진정한 깊이.
7. 요약
DepthFM, 단안 깊이 추정을 위한 흐름 매칭 방법입니다. 정규 분포를 깊이 맵으로 제거하는 대신 입력 이미지와 깊이 사이의 직접 매핑을 학습함으로써 이 접근 방식은 현재의 확산 기반 솔루션보다 훨씬 효율적이면서도 차별적 패러다임의 공통 아티팩트 없이 세분화된 깊이 맵을 제공합니다. . DepthFM은 사전 훈련된 이미지 확산 모델을 사전에 사용하여 이를 심층 흐름 매칭 모델로 효과적으로 전달합니다. 따라서 DepthFM은 합성 데이터에 대해서만 교육을 받았지만 추론 중에 자연 이미지에 대해 여전히 잘 일반화됩니다. 추가적으로, 보조 표면 법선 손실은 깊이 추정을 향상시키는 것으로 나타났습니다. DepthFM의 경량 접근 방식은 경쟁력 있고 빠르며 신뢰할 수 있는 신뢰도 추정을 제공합니다.
더 많은 실험 결과와 기사 내용에 관심이 있는 독자들은 원본 논문을 읽어보실 수 있습니다
위 내용은 오픈 소스! ZoeDepth를 넘어! DepthFM: 빠르고 정확한 단안 깊이 추정!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

과학자들은 C. el 그러나 중요한 질문이 발생합니다. 새로운 AI S와 함께 효과적으로 작동하도록 우리 자신의 신경망을 어떻게 조정합니까?

Google의 Gemini Advanced : 수평선의 새로운 가입 계층 현재 Gemini Advanced에 액세스하려면 $ 19.99/월 Google One AI Premium Plan이 필요합니다. 그러나 Android Authority 보고서는 다가오는 변경 사항을 암시합니다. 최신 Google p. 내 코드

고급 AI 기능을 둘러싼 과대 광고에도 불구하고 Enterprise AI 배포 내에서 상당한 도전 과제 : 데이터 처리 병목 현상. CEO는 AI 발전을 축하하는 동안 엔지니어는 느린 쿼리 시간, 과부하 파이프 라인,

문서 처리는 더 이상 AI 프로젝트에서 파일을 여는 것이 아니라 혼돈을 명확하게 전환하는 것입니다. PDF, PowerPoint 및 Word와 같은 문서는 모든 모양과 크기로 워크 플로우를 범람합니다. 구조화 된 검색

Google의 에이전트 개발 키트 (ADK)의 전력을 활용하여 실제 기능을 갖춘 지능형 에이전트를 만듭니다! 이 튜토리얼은 Gemini 및 GPT와 같은 다양한 언어 모델을 지원하는 ADK를 사용하여 대화 에이전트를 구축하는 것을 안내합니다. w

요약: SLM (Small Language Model)은 효율성을 위해 설계되었습니다. 자원 결핍, 실시간 및 개인 정보 보호 환경에서 LLM (Large Language Model)보다 낫습니다. 초점 기반 작업, 특히 도메인 특이성, 제어 성 및 해석 성이 일반적인 지식이나 창의성보다 더 중요합니다. SLM은 LLM을 대체하지는 않지만 정밀, 속도 및 비용 효율성이 중요 할 때 이상적입니다. 기술은 더 적은 자원으로 더 많은 것을 달성하는 데 도움이됩니다. 그것은 항상 운전자가 아니라 프로모터였습니다. 증기 엔진 시대부터 인터넷 버블 시대에 이르기까지 기술의 힘은 문제를 해결하는 데 도움이되는 정도입니다. 인공 지능 (AI) 및보다 최근에 생성 AI가 예외는 아닙니다.

컴퓨터 비전을위한 Google Gemini의 힘을 활용 : 포괄적 인 가이드 주요 AI 챗봇 인 Google Gemini는 강력한 컴퓨터 비전 기능을 포괄하기 위해 대화를 넘어서 기능을 확장합니다. 이 안내서는 사용 방법에 대해 자세히 설명합니다

2025 년의 AI 환경은 Google의 Gemini 2.0 Flash와 Openai의 O4-Mini가 도착하면서 전기가 전환됩니다. 이 최첨단 모델은 몇 주 간격으로 발사되어 비슷한 고급 기능과 인상적인 벤치 마크 점수를 자랑합니다. 이 심층적 인 비교


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

Video Face Swap
완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

인기 기사

뜨거운 도구

Atom Editor Mac 버전 다운로드
가장 인기 있는 오픈 소스 편집기

SecList
SecLists는 최고의 보안 테스터의 동반자입니다. 보안 평가 시 자주 사용되는 다양한 유형의 목록을 한 곳에 모아 놓은 것입니다. SecLists는 보안 테스터에게 필요할 수 있는 모든 목록을 편리하게 제공하여 보안 테스트를 더욱 효율적이고 생산적으로 만드는 데 도움이 됩니다. 목록 유형에는 사용자 이름, 비밀번호, URL, 퍼징 페이로드, 민감한 데이터 패턴, 웹 셸 등이 포함됩니다. 테스터는 이 저장소를 새로운 테스트 시스템으로 간단히 가져올 수 있으며 필요한 모든 유형의 목록에 액세스할 수 있습니다.

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

DVWA
DVWA(Damn Vulnerable Web App)는 매우 취약한 PHP/MySQL 웹 애플리케이션입니다. 주요 목표는 보안 전문가가 법적 환경에서 자신의 기술과 도구를 테스트하고, 웹 개발자가 웹 응용 프로그램 보안 프로세스를 더 잘 이해할 수 있도록 돕고, 교사/학생이 교실 환경 웹 응용 프로그램에서 가르치고 배울 수 있도록 돕는 것입니다. 보안. DVWA의 목표는 다양한 난이도의 간단하고 간단한 인터페이스를 통해 가장 일반적인 웹 취약점 중 일부를 연습하는 것입니다. 이 소프트웨어는
