찾다
기술 주변기기일체 포함Transformer는 3D 객체 감지를 위해 복셀 기반 표현을 통합합니다.

arXiv 논문 "Unifying Voxel-based Representation with Transformer for 3D ObjectDetection", 6월 22일, 홍콩 중문 대학교, 홍콩 대학교, Megvii Technology(Sun Jian 박사를 기념하여) 및 Simou Technology 등

Transformer는 3D 객체 감지를 위해 복셀 기반 표현을 통합합니다.

본 논문에서는 UVTR이라는 통합 다중 모드 3D 개체 감지 프레임워크를 제안합니다. 이 방법은 복셀 공간의 다중 모드 표현을 통합하고 정확하고 강력한 단일 모드 또는 교차 모드 3D 감지를 가능하게 하는 것을 목표로 합니다. 이를 위해 양식별 공간은 먼저 복셀 특징 공간에 대한 다양한 입력을 나타내도록 설계되었습니다. 높이 압축 없이 복셀 공간을 보존하고 의미적 모호성을 완화하며 공간 상호 작용을 가능하게 합니다. 이러한 통합 접근 방식을 기반으로 지식 전달 및 모드 융합을 포함하여 다양한 센서의 고유한 특성을 완전히 활용하기 위한 교차 모드 상호 작용이 제안됩니다. 이러한 방식으로 포인트 클라우드의 형상 인식 표현과 이미지의 상황에 맞는 특징을 잘 활용하여 성능과 견고성을 높일 수 있습니다.

변환기 디코더는 학습 가능한 위치가 있는 통합 공간에서 특징을 효율적으로 샘플링하는 데 사용되며, 이는 개체 수준 상호 작용을 용이하게 합니다. 일반적으로 UVTR은 통합 프레임워크에서 다양한 양식을 표현하려는 초기 시도를 나타내며 단일 및 다중 모드 입력에 대한 이전 작업을 능가하고 nuScenes 테스트 세트, LiDAR, 카메라 및 다중 모드 출력의 NDS에서 최고의 성능을 달성합니다. 각각 69.7%, 55.1%, 71.1%였다.

코드: https://github.com/dvlab-research/UVTR.

그림과 같이

Transformer는 3D 객체 감지를 위해 복셀 기반 표현을 통합합니다.

표현 통일 과정에서 입력은 다음과 같습니다. 크게 레벨흐름 표현과 특성 레벨흐름 표현으로 구분됩니다. 첫 번째 접근 방식의 경우 다중 모드 데이터가 네트워크 시작 부분에 정렬됩니다. 특히, (a)의 의사 포인트 클라우드는 예측된 깊이 보조 이미지에서 변환되고, (b)의 거리 뷰 이미지는 포인트 클라우드에서 투영됩니다. 의사 점 구름의 깊이 부정확성과 범위 보기 이미지의 3차원 기하학적 붕괴로 인해 데이터의 공간 구조가 파괴되어 결과가 좋지 않습니다. 특징 수준 방법의 경우 일반적인 방법은 그림 (c)와 같이 이미지 특징을 절두체로 변환한 다음 이를 BEV 공간으로 압축하는 것입니다. 그러나 광선과 같은 궤적 때문에 각 위치의 높이 정보(높이) 압축은 다양한 대상의 특징을 집계하여 의미적 모호성을 유발합니다. 동시에, 암시적 접근 방식은 3D 공간에서 명시적인 기능 상호 작용을 지원하기 어렵고 추가 지식 전달을 제한합니다. 따라서 모달 격차를 해소하고 다면적인 상호 작용을 촉진하려면 보다 통일된 표현이 필요합니다.

이 글에서 제안하는 프레임워크는 복셀 기반 표현과 변환기를 통합합니다. 특히, 복셀 기반의 명시적 공간에서 이미지와 포인트 클라우드의 특징 표현 및 상호 작용. 이미지의 경우 그림 (d)에 표시된 대로 예측된 ​​깊이와 기하학적 제약 조건에 따라 이미지 평면에서 특징을 샘플링하여 복셀 공간이 구성됩니다. 포인트 클라우드의 경우 정확한 위치를 통해 자연스럽게 기능을 복셀과 연결할 수 있습니다. 그런 다음 공간적 상호 작용을 위해 복셀 인코더가 도입되어 인접한 특징 간의 관계를 설정합니다. 이러한 방식으로 교차 모달 상호 작용은 각 복셀 공간의 기능과 자연스럽게 진행됩니다. 대상 수준 상호 작용의 경우 그림 (d)에 표시된 대로 변형 가능한 변환기가 디코더로 사용되어 통합 복셀 공간의 각 위치(x, y, z)에서 대상 쿼리 관련 기능을 샘플링합니다. 동시에, 3차원 쿼리 위치의 도입은 BEV 공간에서 높이 정보(높이) 압축으로 인해 발생하는 의미 모호성을 효과적으로 완화합니다.

그림에 표시된 것처럼 다중 모달 입력의 UVTR 아키텍처는 다음과 같습니다. 단일 프레임 또는 다중 프레임 이미지와 포인트 클라우드가 주어지면 먼저 단일 백본에서 처리되고 양식별 공간 VI 및 VP로 변환됩니다. 여기서 뷰 변환은 이미지로 이루어집니다. 복셀 인코더에서는 기능이 공간적으로 상호 작용하며 훈련 중에 지식 전달이 쉽게 지원됩니다. 설정에 따라 모달 스위치를 통해 단일 모드 또는 다중 모드 기능을 선택하십시오. 마지막으로 학습 가능한 위치가 있는 통합 공간 VU에서 특징을 샘플링하고 변환기 디코더를 사용하여 예측합니다.

Transformer는 3D 객체 감지를 위해 복셀 기반 표현을 통합합니다.

그림은 뷰 변환의 세부 사항을 보여줍니다.

Transformer는 3D 객체 감지를 위해 복셀 기반 표현을 통합합니다.

그림은 지식 이전의 세부 사항을 보여줍니다.

Transformer는 3D 객체 감지를 위해 복셀 기반 표현을 통합합니다.

실험 결과는 다음과 같습니다.

Transformer는 3D 객체 감지를 위해 복셀 기반 표현을 통합합니다.

Transformer는 3D 객체 감지를 위해 복셀 기반 표현을 통합합니다.

위 내용은 Transformer는 3D 객체 감지를 위해 복셀 기반 표현을 통합합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51CTO.COM에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
최고의 프롬프트 엔지니어링 기술의 최신 연간 편집최고의 프롬프트 엔지니어링 기술의 최신 연간 편집Apr 10, 2025 am 11:22 AM

내 칼럼을 처음 접할 수있는 분들을 위해, 나는 구체화 된 AI, AI 추론, AI의 첨단 획기적인 혁신, AI 교육, AI의 수비, ai re

유럽의 AI 대륙 행동 계획 : 기가 팩토리, 데이터 실험실 및 녹색 AI유럽의 AI 대륙 행동 계획 : 기가 팩토리, 데이터 실험실 및 녹색 AIApr 10, 2025 am 11:21 AM

유럽의 야심 찬 AI 대륙 행동 계획은 EU를 인공 지능의 글로벌 리더로 설립하는 것을 목표로합니다. 핵심 요소는 AI Gigafactories 네트워크를 만드는 것입니다. 각각 약 100,000 개의 고급 AI 칩을 보유하고 있습니다 - Capaci의 4 배

Microsoft의 간단한 에이전트 스토리가 더 많은 팬을 만들기에 충분합니까?Microsoft의 간단한 에이전트 스토리가 더 많은 팬을 만들기에 충분합니까?Apr 10, 2025 am 11:20 AM

AI 에이전트 애플리케이션에 대한 Microsoft의 통합 접근 방식 : 비즈니스를위한 명확한 승리 새로운 AI 에이전트 기능에 관한 Microsoft의 최근 발표는 명확하고 통합 된 프레젠테이션에 깊은 인상을 받았습니다. 많은 기술 발표와는 달리 TE에서 멍청한 것입니다

직원에게 AI 전략 판매 : Shopify CEO의 선언문직원에게 AI 전략 판매 : Shopify CEO의 선언문Apr 10, 2025 am 11:19 AM

Shopify CEO Tobi Lütke의 최근 메모는 AI 숙련도가 모든 직원에 대한 근본적인 기대를 대담하게 선언하여 회사 내에서 중요한 문화적 변화를 표시합니다. 이것은 도망가는 트렌드가 아닙니다. 그것은 p에 통합 된 새로운 운영 패러다임입니다

IBM은 전체 AI 통합으로 Z17 메인 프레임을 출시합니다IBM은 전체 AI 통합으로 Z17 메인 프레임을 출시합니다Apr 10, 2025 am 11:18 AM

IBM의 Z17 메인 프레임 : 향상된 비즈니스 운영을 위해 AI를 통합합니다 지난 달, IBM의 뉴욕 본사에서 Z17의 기능을 미리 보았습니다. Z16의 성공을 기반으로 (2022 년에 시작되어 지속적인 수익을 보여주는 시연

5 Chatgpt가 다른 사람에 따라 멈추고 자신을 완전히 믿으라고 프롬프트5 Chatgpt가 다른 사람에 따라 멈추고 자신을 완전히 믿으라고 프롬프트Apr 10, 2025 am 11:17 AM

흔들리지 않는 자신감을 해제하고 외부 검증의 필요성을 제거하십시오! 이 다섯 개의 chatgpt 프롬프트는 완전한 자립과 자기 인식의 변형적인 변화로 당신을 안내 할 것입니다. 간단히 괄호를 복사, 붙여 넣기 및 사용자 정의하십시오

AI는 당신의 마음과 위험합니다AI는 당신의 마음과 위험합니다Apr 10, 2025 am 11:16 AM

인공 지능 보안 및 연구 회사 인 Anthropic의 최근 [연구]는 이러한 복잡한 과정에 대한 진실을 밝히기 시작하여 우리 자신의인지 영역과 방해가되는 복잡성을 보여줍니다. 자연 지능과 인공 지능은 우리가 생각하는 것보다 더 유사 할 수 있습니다. 내부 스누핑 : 의인성 해석 가능성 연구 Anthropic이 수행 한 연구에서 얻은 새로운 연구 결과는 AI의 내부 컴퓨팅을 역 엔지니어링하는 것을 목표로하는 기계적 해석 성 분야에서 상당한 발전을 나타냅니다. AI가하는 일을 관찰 할뿐만 아니라 인공 뉴런 수준에서 어떻게 수행하는지 이해합니다. 누군가가 특정한 대상을 보거나 특정한 아이디어에 대해 생각할 때 어떤 뉴런이 발사하는지 그림으로 뇌를 이해하려고한다고 상상해보십시오. 에이

Dragonwing은 Qualcomm의 가장자리 모멘텀을 보여줍니다Dragonwing은 Qualcomm의 가장자리 모멘텀을 보여줍니다Apr 10, 2025 am 11:14 AM

Qualcomm 's Dragonwing : 기업 및 인프라로의 전략적 도약 Qualcomm은 새로운 Dragonwing 브랜드를 통해 전 세계적으로 엔터프라이즈 및 인프라 시장을 대상으로 모바일을 넘어 범위를 적극적으로 확장하고 있습니다. 이것은 단지 Rebran이 아닙니다

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

인기 기사

R.E.P.O. 에너지 결정과 그들이하는 일 (노란색 크리스탈)
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 최고의 그래픽 설정
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 아무도들을 수없는 경우 오디오를 수정하는 방법
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25 : Myrise에서 모든 것을 잠금 해제하는 방법
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

PhpStorm 맥 버전

PhpStorm 맥 버전

최신(2018.2.1) 전문 PHP 통합 개발 도구

Dreamweaver Mac版

Dreamweaver Mac版

시각적 웹 개발 도구

스튜디오 13.0.1 보내기

스튜디오 13.0.1 보내기

강력한 PHP 통합 개발 환경

맨티스BT

맨티스BT

Mantis는 제품 결함 추적을 돕기 위해 설계된 배포하기 쉬운 웹 기반 결함 추적 도구입니다. PHP, MySQL 및 웹 서버가 필요합니다. 데모 및 호스팅 서비스를 확인해 보세요.

SublimeText3 중국어 버전

SublimeText3 중국어 버전

중국어 버전, 사용하기 매우 쉽습니다.