찾다
기술 주변기기일체 포함Graph-DETR3D: 다중 뷰 3D 객체 감지에서 겹치는 영역에 대한 재고

arXiv 논문 "Graph-DETR3D: 다중 뷰 3D 물체 감지를 위한 중첩 영역 재검토", 6월 22일, 중국 과학기술대학교, Harbin Institute of Technology 및 SenseTime의 연구.

Graph-DETR3D: 다중 뷰 3D 객체 감지에서 겹치는 영역에 대한 재고

다양한 이미지 뷰에서 3D 개체를 감지하는 것은 시각적 장면 이해에 있어 기본이면서도 어려운 작업입니다. 저렴한 비용과 높은 효율성으로 인해 다중 뷰 3D 물체 감지는 광범위한 응용 가능성을 보여줍니다. 그러나 깊이 정보가 부족하기 때문에 3차원 공간에서 원근법을 통해 물체를 정확하게 감지하는 것은 극히 어렵습니다. 최근 DETR3D는 3D 객체 감지를 위해 다시점 이미지를 집계하기 위한 새로운 3D-2D 쿼리 패러다임을 도입하고 최첨단 성능을 달성합니다.

강력한 안내 실험을 통해 이 논문은 다양한 영역에 위치한 대상을 수량화하고 "잘린 인스턴스"(즉, 각 이미지의 경계 영역)가 DETR3D 성능을 방해하는 주요 병목 현상임을 발견했습니다. 겹치는 영역에서 인접한 두 뷰의 여러 기능을 병합함에도 불구하고 DETR3D는 여전히 기능 집계가 불충분하여 감지 성능을 완전히 향상시킬 수 있는 기회를 놓치고 있습니다.

이 문제를 해결하기 위해 그래프 구조 학습(GSL)을 통해 다시점 이미지 정보를 자동으로 집계하는 Graph-DETR3D가 제안되었습니다. 동적 3D 맵은 각 대상 쿼리와 2D 기능 맵 사이에 구성되어 특히 경계 영역에서 대상 표현을 향상시킵니다. 또한 Graph-DETR3D는 이미지 크기와 대상 깊이를 동시에 확장하여 시각적 깊이 일관성을 유지하는 새로운 깊이 불변 다중 규모 훈련 전략의 이점을 활용합니다.

Graph-DETR3D는 그림에 표시된 것처럼 두 가지 점에서 다릅니다. (1) 동적 그래프 기능의 집계 모듈 (2) 깊이 불변 다중 규모 훈련 전략. 이는 DETR3D의 기본 구조를 따르며 이미지 인코더, 변환기 디코더 및 타겟 예측 헤드의 세 가지 구성 요소로 구성됩니다. 이미지 세트 I = {I1, I2,…,IK}(N개의 페리 뷰 카메라로 캡처)가 주어지면 Graph-DETR3D는 관심 있는 경계 상자의 위치와 범주를 예측하는 것을 목표로 합니다. 먼저 이미지 인코더(ResNet 및 FPN 포함)를 사용하여 이러한 이미지를 상대적으로 L 기능 맵 수준 기능 F의 집합으로 변환합니다. 그런 다음 DGFA(Dynamic Graph Feature Aggregation) 모듈을 통해 2차원 정보를 광범위하게 집계하는 동적 3차원 그래프를 구성하여 대상 쿼리의 표현을 최적화합니다. 마지막으로 향상된 타겟 쿼리를 활용하여 최종 예측을 출력합니다.

Graph-DETR3D: 다중 뷰 3D 객체 감지에서 겹치는 영역에 대한 재고

그림은 DFGA(동적 그래프 특징 집계) 프로세스를 보여줍니다. 먼저 각 대상 쿼리에 대해 학습 가능한 3D 그래프를 구성한 다음 2D 이미지 평면에서 특징을 샘플링합니다. 마지막으로 그래프 연결을 통해 대상 쿼리의 표현이 향상됩니다. 이 상호 연결된 메시지 전파 방식은 그래프 구조 구성 및 기능 향상의 반복적 개선을 지원합니다.

Graph-DETR3D: 다중 뷰 3D 객체 감지에서 겹치는 영역에 대한 재고

다중 규모 훈련은 2D 및 3D 개체 감지 작업에서 일반적으로 사용되는 데이터 증대 전략으로 효과적이고 저렴한 추론으로 입증되었습니다. 그러나 비전 기반의 3D 검사 방법에서는 거의 나타나지 않습니다. 다양한 입력 이미지 크기를 고려하면 모델의 견고성을 향상시키는 동시에 이미지 크기를 조정하고 카메라 내부 매개변수를 수정하여 일반적인 다중 규모 훈련 전략을 구현할 수 있습니다.

흥미로운 현상은 최종 성적이 급격하게 떨어진다는 것입니다. 입력 데이터를 신중하게 분석함으로써 우리는 단순히 이미지 크기를 조정하면 관점 모호성 문제가 발생한다는 것을 발견했습니다. 대상의 크기가 더 크거나 작은 크기로 조정되면 대상의 절대 속성(예: 대상의 크기, 자아까지의 거리) point) 변경하지 마세요.

구체적인 예로 그림은 다음과 같은 모호한 문제를 보여줍니다. (a)와 (b)에서 선택한 영역의 절대 3D 위치는 동일하지만 이미지 픽셀 수가 다릅니다. 깊이 예측 네트워크는 이미지가 차지하는 영역을 기반으로 깊이를 추정하는 경향이 있습니다. 따라서 그림의 이러한 훈련 패턴은 깊이 예측 모델을 혼란스럽게 하고 최종 성능을 더욱 저하시킬 수 있습니다.

Graph-DETR3D: 다중 뷰 3D 객체 감지에서 겹치는 영역에 대한 재고

이를 위해 픽셀 관점에서 깊이를 다시 계산합니다. 알고리즘의 의사 코드는 다음과 같습니다.

Graph-DETR3D: 다중 뷰 3D 객체 감지에서 겹치는 영역에 대한 재고

다음은 디코딩 작업입니다.

Graph-DETR3D: 다중 뷰 3D 객체 감지에서 겹치는 영역에 대한 재고

다시 계산된 픽셀 크기는 다음과 같습니다.

Graph-DETR3D: 다중 뷰 3D 객체 감지에서 겹치는 영역에 대한 재고

스케일 팩터 r = rx = ry를 가정하면 단순화됩니다. 결과는 다음과 같습니다:

Graph-DETR3D: 다중 뷰 3D 객체 감지에서 겹치는 영역에 대한 재고

실험 결과는 다음과 같습니다.

Graph-DETR3D: 다중 뷰 3D 객체 감지에서 겹치는 영역에 대한 재고

Graph-DETR3D: 다중 뷰 3D 객체 감지에서 겹치는 영역에 대한 재고

Graph-DETR3D: 다중 뷰 3D 객체 감지에서 겹치는 영역에 대한 재고

Graph-DETR3D: 다중 뷰 3D 객체 감지에서 겹치는 영역에 대한 재고

참고: DI = 깊이 불변

위 내용은 Graph-DETR3D: 다중 뷰 3D 객체 감지에서 겹치는 영역에 대한 재고의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51CTO.COM에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
최고의 프롬프트 엔지니어링 기술의 최신 연간 편집최고의 프롬프트 엔지니어링 기술의 최신 연간 편집Apr 10, 2025 am 11:22 AM

내 칼럼을 처음 접할 수있는 분들을 위해, 나는 구체화 된 AI, AI 추론, AI의 첨단 획기적인 혁신, AI 교육, AI의 수비, ai re

유럽의 AI 대륙 행동 계획 : 기가 팩토리, 데이터 실험실 및 녹색 AI유럽의 AI 대륙 행동 계획 : 기가 팩토리, 데이터 실험실 및 녹색 AIApr 10, 2025 am 11:21 AM

유럽의 야심 찬 AI 대륙 행동 계획은 EU를 인공 지능의 글로벌 리더로 설립하는 것을 목표로합니다. 핵심 요소는 AI Gigafactories 네트워크를 만드는 것입니다. 각각 약 100,000 개의 고급 AI 칩을 보유하고 있습니다 - Capaci의 4 배

Microsoft의 간단한 에이전트 스토리가 더 많은 팬을 만들기에 충분합니까?Microsoft의 간단한 에이전트 스토리가 더 많은 팬을 만들기에 충분합니까?Apr 10, 2025 am 11:20 AM

AI 에이전트 애플리케이션에 대한 Microsoft의 통합 접근 방식 : 비즈니스를위한 명확한 승리 새로운 AI 에이전트 기능에 관한 Microsoft의 최근 발표는 명확하고 통합 된 프레젠테이션에 깊은 인상을 받았습니다. 많은 기술 발표와는 달리 TE에서 멍청한 것입니다

직원에게 AI 전략 판매 : Shopify CEO의 선언문직원에게 AI 전략 판매 : Shopify CEO의 선언문Apr 10, 2025 am 11:19 AM

Shopify CEO Tobi Lütke의 최근 메모는 AI 숙련도가 모든 직원에 대한 근본적인 기대를 대담하게 선언하여 회사 내에서 중요한 문화적 변화를 표시합니다. 이것은 도망가는 트렌드가 아닙니다. 그것은 p에 통합 된 새로운 운영 패러다임입니다

IBM은 전체 AI 통합으로 Z17 메인 프레임을 출시합니다IBM은 전체 AI 통합으로 Z17 메인 프레임을 출시합니다Apr 10, 2025 am 11:18 AM

IBM의 Z17 메인 프레임 : 향상된 비즈니스 운영을 위해 AI를 통합합니다 지난 달, IBM의 뉴욕 본사에서 Z17의 기능을 미리 보았습니다. Z16의 성공을 기반으로 (2022 년에 시작되어 지속적인 수익을 보여주는 시연

5 Chatgpt가 다른 사람에 따라 멈추고 자신을 완전히 믿으라고 프롬프트5 Chatgpt가 다른 사람에 따라 멈추고 자신을 완전히 믿으라고 프롬프트Apr 10, 2025 am 11:17 AM

흔들리지 않는 자신감을 해제하고 외부 검증의 필요성을 제거하십시오! 이 다섯 개의 chatgpt 프롬프트는 완전한 자립과 자기 인식의 변형적인 변화로 당신을 안내 할 것입니다. 간단히 괄호를 복사, 붙여 넣기 및 사용자 정의하십시오

AI는 당신의 마음과 위험합니다AI는 당신의 마음과 위험합니다Apr 10, 2025 am 11:16 AM

인공 지능 보안 및 연구 회사 인 Anthropic의 최근 [연구]는 이러한 복잡한 과정에 대한 진실을 밝히기 시작하여 우리 자신의인지 영역과 방해가되는 복잡성을 보여줍니다. 자연 지능과 인공 지능은 우리가 생각하는 것보다 더 유사 할 수 있습니다. 내부 스누핑 : 의인성 해석 가능성 연구 Anthropic이 수행 한 연구에서 얻은 새로운 연구 결과는 AI의 내부 컴퓨팅을 역 엔지니어링하는 것을 목표로하는 기계적 해석 성 분야에서 상당한 발전을 나타냅니다. AI가하는 일을 관찰 할뿐만 아니라 인공 뉴런 수준에서 어떻게 수행하는지 이해합니다. 누군가가 특정한 대상을 보거나 특정한 아이디어에 대해 생각할 때 어떤 뉴런이 발사하는지 그림으로 뇌를 이해하려고한다고 상상해보십시오. 에이

Dragonwing은 Qualcomm의 가장자리 모멘텀을 보여줍니다Dragonwing은 Qualcomm의 가장자리 모멘텀을 보여줍니다Apr 10, 2025 am 11:14 AM

Qualcomm 's Dragonwing : 기업 및 인프라로의 전략적 도약 Qualcomm은 새로운 Dragonwing 브랜드를 통해 전 세계적으로 엔터프라이즈 및 인프라 시장을 대상으로 모바일을 넘어 범위를 적극적으로 확장하고 있습니다. 이것은 단지 Rebran이 아닙니다

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

인기 기사

R.E.P.O. 에너지 결정과 그들이하는 일 (노란색 크리스탈)
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 최고의 그래픽 설정
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 아무도들을 수없는 경우 오디오를 수정하는 방법
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25 : Myrise에서 모든 것을 잠금 해제하는 방법
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

Atom Editor Mac 버전 다운로드

Atom Editor Mac 버전 다운로드

가장 인기 있는 오픈 소스 편집기

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

SecList

SecList

SecLists는 최고의 보안 테스터의 동반자입니다. 보안 평가 시 자주 사용되는 다양한 유형의 목록을 한 곳에 모아 놓은 것입니다. SecLists는 보안 테스터에게 필요할 수 있는 모든 목록을 편리하게 제공하여 보안 테스트를 더욱 효율적이고 생산적으로 만드는 데 도움이 됩니다. 목록 유형에는 사용자 이름, 비밀번호, URL, 퍼징 페이로드, 민감한 데이터 패턴, 웹 셸 등이 포함됩니다. 테스터는 이 저장소를 새로운 테스트 시스템으로 간단히 가져올 수 있으며 필요한 모든 유형의 목록에 액세스할 수 있습니다.

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.