찾다
기술 주변기기일체 포함Transformer는 3D 객체 감지를 위해 복셀 기반 표현을 통합합니다.

arXiv 논문 "Unifying Voxel-based Representation with Transformer for 3D ObjectDetection", 6월 22일, 홍콩 중문 대학교, 홍콩 대학교, Megvii Technology(Sun Jian 박사를 기념하여) 및 Simou Technology 등

Transformer는 3D 객체 감지를 위해 복셀 기반 표현을 통합합니다.

본 논문에서는 UVTR이라는 통합 다중 모드 3D 개체 감지 프레임워크를 제안합니다. 이 방법은 복셀 공간의 다중 모드 표현을 통합하고 정확하고 강력한 단일 모드 또는 교차 모드 3D 감지를 가능하게 하는 것을 목표로 합니다. 이를 위해 양식별 공간은 먼저 복셀 특징 공간에 대한 다양한 입력을 나타내도록 설계되었습니다. 높이 압축 없이 복셀 공간을 보존하고 의미적 모호성을 완화하며 공간 상호 작용을 가능하게 합니다. 이러한 통합 접근 방식을 기반으로 지식 전달 및 모드 융합을 포함하여 다양한 센서의 고유한 특성을 완전히 활용하기 위한 교차 모드 상호 작용이 제안됩니다. 이러한 방식으로 포인트 클라우드의 형상 인식 표현과 이미지의 상황에 맞는 특징을 잘 활용하여 성능과 견고성을 높일 수 있습니다.

변환기 디코더는 학습 가능한 위치가 있는 통합 공간에서 특징을 효율적으로 샘플링하는 데 사용되며, 이는 개체 수준 상호 작용을 용이하게 합니다. 일반적으로 UVTR은 통합 프레임워크에서 다양한 양식을 표현하려는 초기 시도를 나타내며 단일 및 다중 모드 입력에 대한 이전 작업을 능가하고 nuScenes 테스트 세트, LiDAR, 카메라 및 다중 모드 출력의 NDS에서 최고의 성능을 달성합니다. 각각 69.7%, 55.1%, 71.1%였다.

코드: https://github.com/dvlab-research/UVTR.

그림과 같이

Transformer는 3D 객체 감지를 위해 복셀 기반 표현을 통합합니다.

표현 통일 과정에서 입력은 다음과 같습니다. 크게 레벨흐름 표현과 특성 레벨흐름 표현으로 구분됩니다. 첫 번째 접근 방식의 경우 다중 모드 데이터가 네트워크 시작 부분에 정렬됩니다. 특히, (a)의 의사 포인트 클라우드는 예측된 깊이 보조 이미지에서 변환되고, (b)의 거리 뷰 이미지는 포인트 클라우드에서 투영됩니다. 의사 점 구름의 깊이 부정확성과 범위 보기 이미지의 3차원 기하학적 붕괴로 인해 데이터의 공간 구조가 파괴되어 결과가 좋지 않습니다. 특징 수준 방법의 경우 일반적인 방법은 그림 (c)와 같이 이미지 특징을 절두체로 변환한 다음 이를 BEV 공간으로 압축하는 것입니다. 그러나 광선과 같은 궤적 때문에 각 위치의 높이 정보(높이) 압축은 다양한 대상의 특징을 집계하여 의미적 모호성을 유발합니다. 동시에, 암시적 접근 방식은 3D 공간에서 명시적인 기능 상호 작용을 지원하기 어렵고 추가 지식 전달을 제한합니다. 따라서 모달 격차를 해소하고 다면적인 상호 작용을 촉진하려면 보다 통일된 표현이 필요합니다.

이 글에서 제안하는 프레임워크는 복셀 기반 표현과 변환기를 통합합니다. 특히, 복셀 기반의 명시적 공간에서 이미지와 포인트 클라우드의 특징 표현 및 상호 작용. 이미지의 경우 그림 (d)에 표시된 대로 예측된 ​​깊이와 기하학적 제약 조건에 따라 이미지 평면에서 특징을 샘플링하여 복셀 공간이 구성됩니다. 포인트 클라우드의 경우 정확한 위치를 통해 자연스럽게 기능을 복셀과 연결할 수 있습니다. 그런 다음 공간적 상호 작용을 위해 복셀 인코더가 도입되어 인접한 특징 간의 관계를 설정합니다. 이러한 방식으로 교차 모달 상호 작용은 각 복셀 공간의 기능과 자연스럽게 진행됩니다. 대상 수준 상호 작용의 경우 그림 (d)에 표시된 대로 변형 가능한 변환기가 디코더로 사용되어 통합 복셀 공간의 각 위치(x, y, z)에서 대상 쿼리 관련 기능을 샘플링합니다. 동시에, 3차원 쿼리 위치의 도입은 BEV 공간에서 높이 정보(높이) 압축으로 인해 발생하는 의미 모호성을 효과적으로 완화합니다.

그림에 표시된 것처럼 다중 모달 입력의 UVTR 아키텍처는 다음과 같습니다. 단일 프레임 또는 다중 프레임 이미지와 포인트 클라우드가 주어지면 먼저 단일 백본에서 처리되고 양식별 공간 VI 및 VP로 변환됩니다. 여기서 뷰 변환은 이미지로 이루어집니다. 복셀 인코더에서는 기능이 공간적으로 상호 작용하며 훈련 중에 지식 전달이 쉽게 지원됩니다. 설정에 따라 모달 스위치를 통해 단일 모드 또는 다중 모드 기능을 선택하십시오. 마지막으로 학습 가능한 위치가 있는 통합 공간 VU에서 특징을 샘플링하고 변환기 디코더를 사용하여 예측합니다.

Transformer는 3D 객체 감지를 위해 복셀 기반 표현을 통합합니다.

그림은 뷰 변환의 세부 사항을 보여줍니다.

Transformer는 3D 객체 감지를 위해 복셀 기반 표현을 통합합니다.

그림은 지식 이전의 세부 사항을 보여줍니다.

Transformer는 3D 객체 감지를 위해 복셀 기반 표현을 통합합니다.

실험 결과는 다음과 같습니다.

Transformer는 3D 객체 감지를 위해 복셀 기반 표현을 통합합니다.

Transformer는 3D 객체 감지를 위해 복셀 기반 표현을 통합합니다.

위 내용은 Transformer는 3D 객체 감지를 위해 복셀 기반 표현을 통합합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51CTO.COM에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
AI Index 2025 읽기 : AI는 친구, 적 또는 부조종사입니까?AI Index 2025 읽기 : AI는 친구, 적 또는 부조종사입니까?Apr 11, 2025 pm 12:13 PM

Stanford University Institute for Human-Oriented Intificial Intelligence가 발표 한 2025 인공 지능 지수 보고서는 진행중인 인공 지능 혁명에 대한 훌륭한 개요를 제공합니다. 인식 (무슨 일이 일어나고 있는지 이해), 감사 (혜택보기), 수용 (얼굴 도전) 및 책임 (우리의 책임 찾기)의 네 가지 간단한 개념으로 해석합시다. 인지 : 인공 지능은 어디에나 있고 빠르게 발전하고 있습니다 인공 지능이 얼마나 빠르게 발전하고 확산되고 있는지 잘 알고 있어야합니다. 인공 지능 시스템은 끊임없이 개선되어 수학 및 복잡한 사고 테스트에서 우수한 결과를 얻고 있으며 1 년 전만해도 이러한 테스트에서 비참하게 실패했습니다. AI 복잡한 코딩 문제 또는 대학원 수준의 과학적 문제를 해결한다고 상상해보십시오-2023 년 이후

Meta Llama 3.2- 분석 Vidhya를 시작합니다Meta Llama 3.2- 분석 Vidhya를 시작합니다Apr 11, 2025 pm 12:04 PM

메타의 라마 3.2 : 멀티 모달 및 모바일 AI의 도약 Meta는 최근 AI에서 강력한 비전 기능과 모바일 장치에 최적화 된 가벼운 텍스트 모델을 특징으로하는 AI의 상당한 발전 인 Llama 3.2를 공개했습니다. 성공을 바탕으로 o

AV 바이트 : Meta ' S Llama 3.2, Google의 Gemini 1.5 등AV 바이트 : Meta ' S Llama 3.2, Google의 Gemini 1.5 등Apr 11, 2025 pm 12:01 PM

이번 주 AI 환경 : 발전의 회오리 바람, 윤리적 고려 사항 및 규제 토론. OpenAi, Google, Meta 및 Microsoft와 같은 주요 플레이어

기계와 대화하는 사람의 비용 : 챗봇이 실제로 신경 쓰일 수 있습니까?기계와 대화하는 사람의 비용 : 챗봇이 실제로 신경 쓰일 수 있습니까?Apr 11, 2025 pm 12:00 PM

연결의 편안한 환상 : 우리는 AI와의 관계에서 진정으로 번성하고 있습니까? 이 질문은 MIT Media Lab의 "AI (AI)를 사용하여 인간의 발전"심포지엄의 낙관적 톤에 도전했습니다. 이벤트는 절단 -EDG를 보여주었습니다

파이썬의 Scipy 라이브러리 이해파이썬의 Scipy 라이브러리 이해Apr 11, 2025 am 11:57 AM

소개 차등 방정식, 최적화 문제 또는 푸리에 분석과 같은 복잡한 문제를 해결하는 과학자 또는 엔지니어라고 상상해보십시오. Python의 사용 편의성 및 그래픽 기능은 매력적이지만 이러한 작업에는 강력한 도구가 필요합니다.

LLAMA 3.2를 실행하는 3 가지 방법 분석 VidhyaLLAMA 3.2를 실행하는 3 가지 방법 분석 VidhyaApr 11, 2025 am 11:56 AM

메타의 라마 3.2 : 멀티 모달 AI 강국 Meta의 최신 멀티 모드 모델 인 LLAMA 3.2는 AI의 상당한 발전으로 향상된 언어 이해력, 개선 된 정확도 및 우수한 텍스트 생성 기능을 자랑합니다. 그것의 능력 t

Dagster와 데이터 품질 검사 자동화Dagster와 데이터 품질 검사 자동화Apr 11, 2025 am 11:44 AM

데이터 품질 보증 : Dagster로 점검 자동화 및 큰 기대치 데이터 품질이 높다는 것은 데이터 중심 비즈니스에 중요합니다. 데이터 볼륨 및 소스가 증가함에 따라 수동 품질 관리는 비효율적이며 오류가 발생하기 쉽습니다.

메인 프레임은 AI 시대에 역할을합니까?메인 프레임은 AI 시대에 역할을합니까?Apr 11, 2025 am 11:42 AM

메인 프레임 : AI 혁명의 이름없는 영웅 서버는 일반 목적 애플리케이션 및 여러 클라이언트를 처리하는 데 탁월하지만 메인 프레임은 대량의 미션 크리티컬 작업을 위해 구축됩니다. 이 강력한 시스템은 자주 무거움에서 발견됩니다

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

인기 기사

R.E.P.O. 에너지 결정과 그들이하는 일 (노란색 크리스탈)
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 최고의 그래픽 설정
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 아무도들을 수없는 경우 오디오를 수정하는 방법
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25 : Myrise에서 모든 것을 잠금 해제하는 방법
3 몇 주 전By尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

SecList

SecList

SecLists는 최고의 보안 테스터의 동반자입니다. 보안 평가 시 자주 사용되는 다양한 유형의 목록을 한 곳에 모아 놓은 것입니다. SecLists는 보안 테스터에게 필요할 수 있는 모든 목록을 편리하게 제공하여 보안 테스트를 더욱 효율적이고 생산적으로 만드는 데 도움이 됩니다. 목록 유형에는 사용자 이름, 비밀번호, URL, 퍼징 페이로드, 민감한 데이터 패턴, 웹 셸 등이 포함됩니다. 테스터는 이 저장소를 새로운 테스트 시스템으로 간단히 가져올 수 있으며 필요한 모든 유형의 목록에 액세스할 수 있습니다.

SublimeText3 Mac 버전

SublimeText3 Mac 버전

신 수준의 코드 편집 소프트웨어(SublimeText3)

에디트플러스 중국어 크랙 버전

에디트플러스 중국어 크랙 버전

작은 크기, 구문 강조, 코드 프롬프트 기능을 지원하지 않음

메모장++7.3.1

메모장++7.3.1

사용하기 쉬운 무료 코드 편집기

VSCode Windows 64비트 다운로드

VSCode Windows 64비트 다운로드

Microsoft에서 출시한 강력한 무료 IDE 편집기