새로운 Range View3D 감지 아이디어: RangePerception

제목 재작성: 범위 인식: 효율적이고 정확한 3D 개체 감지를 위한 LiDAR 범위 보기 길들이기

논문을 보려면 다음 링크를 클릭하세요: https://openreview.net/pdf?id=9kFQEJSyCM

저자 소속: Shanghai Artificial 지능 연구실 복단대학교 개작 후: 단위: 푸단대학교 상하이 인공지능 연구실

논문 아이디어:

현재 LiDAR 기반 3D 탐지 방법은 주로 조감도(BEV) 또는 범위 보기(RV)를 기반으로 합니다. . BEV 방법은 복셀화 및 3D 컨볼루션에 의존하므로 교육 및 추론 프로세스의 효율성이 떨어집니다. 이에 비해 RV 방식은 콤팩트하고 2D 컨볼루션과의 호환성으로 인해 더 높은 효율성을 보이지만 여전히 BEV 방식에 비해 성능이 뒤떨어진다. RV 방법의 효율성을 유지하면서 성능 격차를 해소하기 위해 본 연구에서는 RangePerception이라는 효율적이고 정확한 RV 기반 3D 객체 탐지 ​​프레임워크를 제안합니다. 본 연구는 신중한 분석을 통해 기존 RV 방법의 성능을 방해하는 두 가지 주요 과제를 식별했습니다. 1) 출력에 사용된 3D 세계 좌표와 입력에 사용된 2D 범위 이미지 좌표 간에 자연스러운 도메인 간격이 있습니다. 2) 원본 거리 이미지는 시각적 손상 문제가 있어 범위 이미지 가장자리에 위치한 대상의 탐지 정확도에 영향을 미칩니다. 이러한 문제를 해결하기 위해 이 논문에서는 범위 이미지 표현과 세계 좌표 3D 감지 결과의 정보 흐름을 촉진하는 RAK(Range Aware Kernel) 및 VRM(Vision Restoration Module)이라는 두 가지 새로운 알고리즘을 제안합니다. RAK 및 VRM의 도움으로 RangePerception은 Waymo Open Dataset의 이전 최첨단 RV 방법 RangeDet에 비해 평균 L1/L2 AP를 3.25/4.18 향상합니다. RangePerception은 최초의 RV 기반 3D 감지 방법으로 유명한 BEV 기반 방법인 CenterPoint에 비해 평균 AP가 약간 더 높으며 추론 속도는 CenterPoint의 1.3배입니다.

네트워크 설계:

이 기사 RangePerception이라는 효율적이고 정확한 RV 기반 3D 감지 프레임워크를 보여줍니다. 위의 주요 과제를 극복하기 위해 RAK(Range Aware Kernel) 및 VRM(Vision Restoration Module)이라는 두 가지 새로운 알고리즘이 제안되어 RangePerception 프레임워크에 통합되었습니다. 두 알고리즘 모두 범위 이미지 표현과 테스트 결과의 세계 조정 3D 정보 흐름을 용이하게 합니다. RAK 및 VRM의 도움으로 당사의 RangePerception은 차량, 보행자 및 자전거 이용자를 위한 WOD에서 73.62, 80.24 및 70.33 L1 3D AP를 제공하여 범위 뷰 기반 3D 감지 방법으로 최첨단 성능을 달성합니다. 이 글의 기여는 다음과 같습니다.

RangePerception 프레임워크. 이 문서에서는 RangePerception이라는 새로운 고성능 3D 감지 프레임워크를 소개합니다. RangePerception은 최초의 RV 기반 3D 감지기로 WOD에서 74.73/69.17의 평균 L1/L2 AP를 달성합니다. 이는 평균 L1/L2를 갖는 이전 최첨단 RV 기반 감지기 RangeDet보다 우수합니다. AP는 71.48/64.99로 3.25/4.18의 개선을 보여줍니다. RangePerception은 또한 평균 L1/L2 AP 74.25/68.04를 달성하는 널리 사용되는 BEV 기반 방법인 CenterPoint[6]에 비해 약간 우수한 성능을 보여줍니다. 특히 RangePerception의 추론 속도는 CenterPoint보다 1.3배 빨라 자율주행 차량의 실시간 배포에 더 적합하다는 것이 입증되었습니다.

Range Aware Kernel. RangePerception 기능 추출기의 일부인 RAK(Range Aware Kernel)는 RV 기반 네트워크에 맞춰진 획기적인 알고리즘입니다. RAK는 범위 이미지 공간을 여러 부분 공간으로 분해하고 각 부분 공간에서 독립적으로 특징을 추출하여 공간 정렬 문제를 극복합니다. 실험 결과에 따르면 RAK는 무시할 수 있는 계산 비용으로 평균 L1/L2 AP를 5.75/5.99 향상시키는 것으로 나타났습니다.

시력 복원 모듈 시력 손상 문제(Vision Corruption Issue)를 해결하기 위해 본 연구에서는 VRM(Vision Restoration Module)을 제안합니다. VRM은 이전에 손상된 영역을 복원하여 백본 네트워크의 수용 필드를 확장합니다. VRM은 실험 섹션에서 볼 수 있듯이 차량 감지에 특히 유용합니다.

그림 2: RangePerception 프레임워크는 범위 이미지 I를 입력으로 사용하여 조밀한 예측을 생성합니다. 표현 학습 효과를 향상시키기 위해 프레임워크는 Range Backbone 이전에 VRM 및 RAK 모듈을 순차적으로 통합합니다. 그런 다음 특별히 설계된 Redundancy Pruner를 사용하여 심층 기능의 중복성을 제거함으로써 후속 Region Proposal Network 및 후처리 레이어의 계산 비용을 줄입니다

그림 1: (a-d) 각각 RV 및 BEV로 표시되는 상단 LiDAR 신호의 예제 프레임. (e) 공간적 오정렬 현상. (f) 시력 손상 현상.

그림 3: 범위 인식 커널은 범위 이미지 공간을 여러 하위 공간으로 분해하고 각 하위 공간에서 독립적인 특징을 추출하여 공간 정렬 문제를 극복합니다.

그림 5: 시력 복원 모듈. VRM은 복구 각도 δ를 미리 정의함으로써 방위각 θ ∈ [−δ, 2π + δ]로 확장된 구형 공간을 구성합니다. 따라서 범위 이미지 I의 양쪽 측면의 시각적 손상 문제가 해결되어 I의 가장자리에서 특징을 추출하는 과정이 크게 단순화됩니다.

실험 결과:

요약:

이 문서에서는 효과적으로 문제를 해결할 수 있는 RV 기반 3차원 감지 프레임워크인 공간 RangePerception에 대해 설명합니다. 정렬 불량 및 시각적 손상 수수께끼. RAK 및 VRM 기술을 도입함으로써 RangePerception은 WOD에 대한 탁월한 감지 기능을 입증하는 동시에 효율적이고 정확한 실제 배포 잠재력도 입증했습니다.

인용:

@inproceedings{bai2023rangeperception,title={RangePerception: Taming Li{DAR} Range View for Efficient and Accurate 3D Object Detection},author={Yeqi BAI and Ben Fei and Youquan Liu and Tao MA and Yuenan Hou and Botian Shi and Yikang LI},booktitle={Thirty-seventh Conference on Neural Information Processing Systems},year={2023},url={https://openreview.net/forum?id=9kFQEJSyCM}}

원본 링크: https://mp .weixin.qq .com/s/EJCl5kLxhHaa7lh98g2I6w

위 내용은 새로운 Range View3D 감지 아이디어: RangePerception의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!