新的Range View3D检测思路：RangePerception

标题重写：范围感知：驯服LiDAR范围视图以实现高效准确的3D物体检测

请点击以下链接查看论文：https://openreview.net/pdf?id=9kFQEJSyCM

作者单位：上海人工智能实验室 复旦大学 重写后：单位：上海人工智能实验室 复旦大学

论文思路：

目前，基于 LiDAR 的 3D 检测方法主要使用鸟瞰图（BEV）或 range view（RV）作为基础。BEV 方法依赖于体素化和 3D 卷积，这导致了训练和推理过程的效率较低。相反，RV 方法由于其紧凑性和与 2D 卷积的兼容性而表现出更高的效率，但其性能仍然落后于 BEV 方法。为了消除性能差距，同时保持 RV 方法的效率，本研究提出了一种高效且准确的基于 RV 的 3D 目标检测框架，称为 RangePerception。通过细致的分析，本研究确定了阻碍现有 RV 方法性能的两个关键挑战：1）输出中使用的 3D 世界坐标与输入中使用的 2D range image 坐标之间存在自然域差距，这导致从 range images 中提取信息变得困难；2）原始 range image 存在视觉损坏问题，影响位于 range image 边缘的目标的检测精度。为了解决这些挑战，本文提出了两种新颖算法，名为 Range Aware Kernel（RAK）和 Vision Restoration Module（VRM），它们促进了 range image 表示和世界坐标 3D 检测结果的信息流。在 RAK 和 VRM 的帮助下，在 Waymo Open Dataset 上，RangePerception 的平均 L1/L2 AP 较之前最先进的 RV 方法 RangeDet 提高了 3.25/4.18。RangePerception 是首个基于 RV 的 3D 检测方法，与著名的基于 BEV 的方法 CenterPoint 相比，其平均 AP 稍高，且推理速度是 CenterPoint 的 1.3 倍

网络设计：

本文展示了一种高效且准确的基于 RV 的 3D 检测框架，称为 RangePerception。为了克服上述关键挑战，提出了两种名为 Range Aware Kernel (RAK) 和 Vision Restoration Module (VRM) 的新颖算法，并将其集成到 RangePerception 框架中，两者都促进了 range image 表示和世界坐标 3D 检测结果的信息流。在 RAK 和 VRM 的帮助下，本文的 RangePerception 在 WOD 上为 vehicle & pedestrian & cyclist 提供了 73.62、80.24 和 70.33 L1 3D AP，作为 range-view-based 3D 检测方法，实现了最先进的性能。本文的贡献如下。

RangePerception Framework. 本文介绍了一种新颖的高性能 3D 检测框架，名为 RangePerception。RangePerception 是第一个基于 RV 的 3D 检测器，在 WOD 上实现了 74.73/69.17 平均 L1/L2 AP，优于之前最先进的基于 RV 的检测器 RangeDet，后者的平均 L1/L2 AP 为 71.48/64.99，呈现 3.25/4.18 的改进。与广泛使用的基于 BEV 的方法 CenterPoint [6] 相比，RangePerception 还表现出了稍微优越的性能，后者的平均 L1/L2 AP 为 74.25/68.04。值得注意的是，RangePerception 的推理速度是 CenterPoint 的 1.3 倍，这证明其更适合自动驾驶车辆上的实时部署。

Range Aware Kernel. 作为 RangePerception 特征提取器的一部分， Range Aware Kernel (RAK) 是一种专为基于 RV 的网络量身定制的开创性算法。RAK 将 range image 空间分解为多个子空间，并通过从每个子空间中独立提取特征来克服空间错位问题(Spatial Misalignment issue)。实验结果表明，RAK 将平均 L1/L2 AP 提高了 5.75/5.99，而计算成本可以忽略不计。

Vision Restoration Module. 为了解决视觉损坏问题(Vision Corruption issue)，本研究提出了 Vision Restoration Module（VRM）。VRM 通过恢复先前损坏的区域来扩展 backbone 网络的感受野。VRM 对于车辆检测特别有帮助，如实验部分所示。

图2：RangePerception 框架采用 range image I 作为输入，并生成密集预测。为了提高表示学习效果，该框架在 Range Backbone 之前依次集成了 VRM 和 RAK 模块。接着，采用专门设计的 Redundancy Pruner 消除深层特征中的冗余，从而减轻后续 Region Proposal Network 和后处理层的计算成本

图 1：(a-d) 顶部 LiDAR 信号的示例帧，分别以 RV 和 BEV 表示。(e) 空间错位现象(Spatial Misalignment phenomena)。(f) 视觉损坏现象(Vision Corruption phenomena)。

图 3：Range Aware Kernel 将 range image 空间分解为多个子空间，并通过从每个子空间提取独立的特征来克服空间错位问题(Spatial Misalignment issue)。

图 5：Vision Restoration Module。通过预先定义恢复角 δ，VRM 构建了一个方位角 θ ∈ [−δ, 2π + δ] 的扩展球面空间。因此， range image  I 两侧的视觉损坏问题都得到了解决，显着简化了从 I 边缘提取特征的过程。

实验结果：

总结：

本篇文章阐述了RangePerception，是一种基于RV的三维检测框架，能够有效地解决空间错位和视觉损坏的难题。通过引入RAK和VRM技术，RangePerception在WOD上展现了卓越的检测能力，同时也展示了其高效、准确的实际部署潜力

引用：

@inproceedings{bai2023rangeperception,title={RangePerception: Taming Li{DAR} Range View for Efficient and Accurate 3D Object Detection},author={Yeqi BAI and Ben Fei and Youquan Liu and Tao MA and Yuenan Hou and Botian Shi and Yikang LI},booktitle={Thirty-seventh Conference on Neural Information Processing Systems},year={2023},url={https://openreview.net/forum?id=9kFQEJSyCM}}

原文链接：https://mp.weixin.qq.com/s/EJCl5kLxhHaa7lh98g2I6w

以上是新的Range View3D检测思路：RangePerception的详细内容。更多信息请关注PHP中文网其他相关文章！