찾다
기술 주변기기일체 포함저 멀리! BEVHeight++: 길가의 시각적 3D 타겟 감지를 위한 새로운 솔루션!

거리에 구애받지 않는 공식을 달성하기 위해 지면 높이로 회귀하여 카메라 인식 전용 방법에 대한 최적화 프로세스를 단순화합니다. 도로변 카메라의 3D 감지 벤치마크에서 이 방법은 이전의 모든 비전 중심 방법을 크게 능가합니다. BEVDepth에 비해 NDS +1.9% 및 mAP +1.1%의 상당한 개선이 이루어졌습니다. nuScenes 테스트 세트에서 이 방법은 NDS와 mAP가 각각 +2.8%와 +1.7% 증가하는 등 상당한 진전을 이루었습니다.

제목: BEVHeight++: 강력한 시각 중심 3D 객체 감지를 향하여

논문 링크: https://arxiv.org/pdf/2309.16179.pdf

저자 소속: Tsinghua University, Sun Yat-sen University, Cainiao Network, Beijing University

중국 최초의 자율주행 커뮤니티에서: 마침내 20개 이상의 기술 방향 학습 경로 구축 완료(BEV 인식/3D 감지/다중 센서 융합/SLAM 및 계획 등)

최근 자율주행 운전 시스템은 차량 센서를 위한 감지 방법 개발에 중점을 두고 있지만 종종 간과되는 대안은 감지 기능을 가시 범위 이상으로 확장하기 위해 스마트 길가 카메라를 사용하는 것입니다. 저자는 최첨단 비전 중심 BEV 감지 방법이 길가 카메라에서 제대로 작동하지 않는다는 것을 발견했습니다. 왜냐하면 이들 방법은 주로 자동차와 지면의 깊이 차이가 거리에 따라 급격히 줄어드는 카메라 중심 부근의 깊이를 회복하는 데 중점을 두기 때문입니다. 이 기사에서 저자는 이 문제를 해결하기 위해 BEVHeight++라는 간단하면서도 효과적인 방법을 제안합니다. 기본적으로 저자는 거리에 구애받지 않는 공식을 달성하기 위해 지면의 높이로 회귀하여 카메라 인식 전용 방법의 최적화 프로세스를 단순화합니다. 높이와 깊이 인코딩 기술을 결합함으로써 2D에서 BEV 공간으로의 보다 정확하고 강력한 투영이 달성됩니다. 이 방법은 도로변 카메라에 대한 인기 있는 3D 감지 벤치마크에서 이전의 모든 비전 중심 방법보다 훨씬 뛰어납니다. 자가 차량 장면의 경우 BEVHeight++는 깊이 전용 방법보다 성능이 뛰어납니다

특히 nuScenes 검증 세트에서 평가할 때 BEVDepth에 비해 NDS +1.9% 및 mAP +1.1%의 상당한 개선이 이루어졌습니다. 또한, nuScenes 테스트 세트에서 이 방법은 NDS와 mAP가 각각 +2.8%와 +1.7% 증가하는 등 상당한 진전을 이루었습니다.

저 멀리! BEVHeight++: 길가의 시각적 3D 타겟 감지를 위한 새로운 솔루션!

그림 1: (a) 단안 이미지에서 3D 경계 상자를 생성하기 위해 최첨단 방법은 먼저 명시적 또는 암시적으로 픽셀당 깊이를 예측하여 전경 객체와 객체의 3D 위치를 결정합니다. 배경. 그러나 이미지의 픽셀당 깊이를 플롯했을 때 자동차가 카메라에서 멀어짐에 따라 지붕 위의 점과 주변 지면 사이의 차이가 빠르게 줄어들어 특히 원거리 객체의 경우 최적화가 최적이 아닌 것으로 나타났습니다. . (b) 대신, 픽셀당 높이를 지면에 플롯하고 이 차이가 거리에 관계없이 불가지론적이며 네트워크가 객체를 감지하는 데 시각적으로 더 적합하다는 것을 관찰합니다. 그러나 높이 예측만으로는 3D 위치를 직접 회귀할 수 없습니다. (c) 이를 위해 우리는 이 문제를 해결하기 위한 새로운 프레임워크 BEVHeight++를 제안합니다. 경험적 결과에 따르면 우리의 방법은 깨끗한 설정에서 5.49%, 잡음이 많은 설정에서 28.2%만큼 최상의 방법보다 성능이 뛰어난 것으로 나타났습니다.

네트워크 구조

저 멀리! BEVHeight++: 길가의 시각적 3D 타겟 감지를 위한 새로운 솔루션!

예측 높이와 깊이 비교. (a) 이전 깊이 기반 방법과 제안된 높이 기반 파이프라인에 대한 개요입니다. 본 논문은 새로운 2D to 3D 프로젝션 모듈을 제안한다는 점에 유의하시기 바랍니다. (b) 픽셀당 깊이(상단)와 지면 높이(하단)의 히스토그램을 플로팅하면 깊이 범위가 200m를 넘는 반면 높이는 5m 이내이므로 높이를 배우기 더 쉬운 것을 명확하게 관찰할 수 있습니다.

저 멀리! BEVHeight++: 길가의 시각적 3D 타겟 감지를 위한 새로운 솔루션!

이미지에는 대상의 행 좌표와 깊이 및 높이 사이에 상관관계가 있습니다. 이미지에서 대상의 위치는 (u, v)로 정의할 수 있습니다. 여기서 v는 이미지의 행 좌표를 나타냅니다. (a)에서는 정규 분포에 롤 및 피치 방향의 회전 오프셋을 추가하여 노이즈를 도입하는 시각적 예를 보여줍니다. (b)에서는 깊이 분포의 산점도를 보여줍니다. (c)에서는지면 위의 높이를 보여줍니다. 높이에 대한 노이즈 설정이 깊이에 비해 원래 분포와 더 많이 겹치는 것을 볼 수 있으며 이는 높이 추정이 더 강력하다는 것을 나타냅니다

저 멀리! BEVHeight++: 길가의 시각적 3D 타겟 감지를 위한 새로운 솔루션!

BEVHeight++의 전체 프레임워크에는 깊이 기반 분기(청록색), 높이 기반 분기(녹색) 및 기능 융합 프로세스(회색)라는 세 가지 하위 네트워크가 포함되어 있습니다. 깊이 기반 파이프라인은 추정된 픽셀당 깊이를 사용하여 이미지 보기 기능을 깊이 기반 BEV 기능(D 기반 BEV)으로 변환합니다. 높이 기반 파이프라인은 이미지 뷰의 리프트 기능에 대한 지상 높이 예측을 사용하여 높이 기반 BEV 기능(H 기반 BEV)을 생성합니다. 특징 융합에는 이미지 융합과 조감도 융합이 포함됩니다. 이미지-뷰 융합은 후속 업그레이드 작업에 사용되는 계단식 높이 분포와 이미지 특징을 통해 융합 특징을 얻습니다. 조감도 융합은 Deformable Cross Attention을 통해 높이 기반 BEV 특징과 깊이 기반 BEV 특징으로부터 융합된 BEV 특징을 얻은 후 이를 감지 헤드의 입력으로 사용합니다

저 멀리! BEVHeight++: 길가의 시각적 3D 타겟 감지를 위한 새로운 솔루션!

저 멀리! BEVHeight++: 길가의 시각적 3D 타겟 감지를 위한 새로운 솔루션!

실험 결과

저 멀리! BEVHeight++: 길가의 시각적 3D 타겟 감지를 위한 새로운 솔루션!

저 멀리! BEVHeight++: 길가의 시각적 3D 타겟 감지를 위한 새로운 솔루션!

저 멀리! BEVHeight++: 길가의 시각적 3D 타겟 감지를 위한 새로운 솔루션!

저 멀리! BEVHeight++: 길가의 시각적 3D 타겟 감지를 위한 새로운 솔루션!

다시 작성해야 하는 내용은 다음과 같습니다. 원본 링크: https://mp.weixin.qq.com/s/AdCXYzHIy2lTfAHk2AZ4_w

위 내용은 저 멀리! BEVHeight++: 길가의 시각적 3D 타겟 감지를 위한 새로운 솔루션!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 51CTO.COM에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
하나의 프롬프트는 모든 주요 LLM의 보호 조치를 우회 할 수 있습니다하나의 프롬프트는 모든 주요 LLM의 보호 조치를 우회 할 수 있습니다Apr 25, 2025 am 11:16 AM

Hiddenlayer의 획기적인 연구는 LLMS (Leading Lange Language Models)에서 중요한 취약점을 드러냅니다. 그들의 연구 결과는 "정책 인형극"이라는 보편적 인 바이 패스 기술을 보여줍니다.

5 가지 실수 대부분의 기업은 올해 지속 가능성으로 만듭니다.5 가지 실수 대부분의 기업은 올해 지속 가능성으로 만듭니다.Apr 25, 2025 am 11:15 AM

환경 책임과 폐기물 감소에 대한 추진은 기본적으로 비즈니스 운영 방식을 바꾸는 것입니다. 이 혁신은 제품 개발, 제조 프로세스, 고객 관계, 파트너 선택 및 새로운 채택에 영향을 미칩니다.

H20 Chip Ban Jolts China AI 회사이지만 오랫동안 충격을 받기 위해 자랑했습니다.H20 Chip Ban Jolts China AI 회사이지만 오랫동안 충격을 받기 위해 자랑했습니다.Apr 25, 2025 am 11:12 AM

Advanced AI 하드웨어에 대한 최근 제한은 AI 지배에 대한 확대 된 지정 학적 경쟁을 강조하여 중국의 외국 반도체 기술에 대한 의존도를 드러냅니다. 2024 년에 중국은 3,800 억 달러 상당의 반도체를 수입했습니다.

OpenAi가 Chrome을 구매하면 AI는 브라우저 전쟁을 지배 할 수 있습니다.OpenAi가 Chrome을 구매하면 AI는 브라우저 전쟁을 지배 할 수 있습니다.Apr 25, 2025 am 11:11 AM

Google의 Chrome의 잠재적 인 강제 매각은 기술 산업 내에서 강력한 논쟁을 불러 일으켰습니다. OpenAi가 65%의 글로벌 시장 점유율을 자랑하는 주요 브라우저를 인수 할 가능성은 TH의 미래에 대한 중요한 의문을 제기합니다.

AI가 소매 미디어의 고통을 해결할 수있는 방법AI가 소매 미디어의 고통을 해결할 수있는 방법Apr 25, 2025 am 11:10 AM

전반적인 광고 성장을 능가 함에도 불구하고 소매 미디어의 성장은 느려지고 있습니다. 이 성숙 단계는 생태계 조각화, 비용 상승, 측정 문제 및 통합 복잡성을 포함한 과제를 제시합니다. 그러나 인공 지능

'AI는 우리이고 우리보다 더 많아요''AI는 우리이고 우리보다 더 많아요'Apr 25, 2025 am 11:09 AM

깜박 거리는 스크린 모음 속에서 정적으로 오래된 라디오가 딱딱합니다. 이 불안정한 전자 제품 더미, 쉽게 불안정하게, 몰입 형 전시회에서 6 개의 설치 중 하나 인 "The-Waste Land"의 핵심을 형성합니다.

Google Cloud는 다음 2025 년 인프라에 대해 더 진지하게 생각합니다.Google Cloud는 다음 2025 년 인프라에 대해 더 진지하게 생각합니다.Apr 25, 2025 am 11:08 AM

Google Cloud의 다음 2025 : 인프라, 연결 및 AI에 대한 초점 Google Cloud의 다음 2025 회의는 수많은 발전을 선보였으며 여기에서 자세히 설명하기에는 너무 많았습니다. 특정 공지 사항에 대한 심도있는 분석은 My의 기사를 참조하십시오.

Talking Baby ai Meme, Arcana의 550 만 달러 AI 영화 파이프 라인, IR의 비밀 후원자 공개Talking Baby ai Meme, Arcana의 550 만 달러 AI 영화 파이프 라인, IR의 비밀 후원자 공개Apr 25, 2025 am 11:07 AM

이번 주 AI 및 XR : AI 구동 창의성의 물결은 음악 세대에서 영화 제작에 이르기까지 미디어와 엔터테인먼트를 통해 휩쓸고 있습니다. 헤드 라인으로 뛰어 들자. AI 생성 콘텐츠의 영향력 증가 : 기술 컨설턴트 인 Shelly Palme

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

Video Face Swap

Video Face Swap

완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

뜨거운 도구

WebStorm Mac 버전

WebStorm Mac 버전

유용한 JavaScript 개발 도구

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse용 SAP NetWeaver 서버 어댑터

Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.

에디트플러스 중국어 크랙 버전

에디트플러스 중국어 크랙 버전

작은 크기, 구문 강조, 코드 프롬프트 기능을 지원하지 않음

안전한 시험 브라우저

안전한 시험 브라우저

안전한 시험 브라우저는 온라인 시험을 안전하게 치르기 위한 보안 브라우저 환경입니다. 이 소프트웨어는 모든 컴퓨터를 안전한 워크스테이션으로 바꿔줍니다. 이는 모든 유틸리티에 대한 액세스를 제어하고 학생들이 승인되지 않은 리소스를 사용하는 것을 방지합니다.