cv::dnn::nmsboxes在cpu上慢是因为纯c++未向量化实现、o(n²)两两iou计算，且忽略置信度排序等先验；建议改用nmsboxesbatched、预筛高分框、手写avx2加速（限top-k）、确保索引一致与类别分组优化。
为什么 cv::dnn::NMSBoxes 在 CPU 上慢得明显？
因为 OpenCV 默认的 cv::dnn::NMSBoxes 是纯 C++ 实现、未向量化，且对每个框都做完整 IoU 两两比较（O(N²)），当检测框超 2000 个时，耗时常突破 10ms —— 这在实时推理链路里已成瓶颈。它不区分 float/double，也不利用 box 坐标已排序的先验（比如 YOLO 输出通常按置信度降序排列）。
实操建议：
- 若用 OpenCV 4.5.5+，优先改用
cv::dnn::NMSBoxesBatched，它支持分组批处理 + 早期剪枝，比原版快 2–3 倍 - 禁用
score_threshold参数做后过滤；应在 NMS 前用std::partition预筛，避免无效计算 - 确保输入
boxes是std::vector<:rect></:rect>或std::vector<:rect2f></:rect2f>，别传std::vector<:vector>></:vector>—— 否则触发隐式转换开销
手写 AVX2 加速的 IoU 计算怎么写？
核心是把 8 个 box 的 x1/y1/x2/y2 打包进 __m256，用 _mm256_max_ps/_mm256_min_ps 并行算交集，再广播单个 reference box 去比。关键不是“全量向量化”，而是“对 top-K 高分框做向量化 IoU”，K 控制在 32–64 内最稳。
实操建议：
- 用
_mm256_storeu_ps存结果时，确保目标内存 32 字节对齐，否则 AVX2 指令可能 fallback 到 SSE - 不要对全部 N 个框两两向量化 —— cache miss 严重；只对当前 candidate 框 vs 已保留的前 M 个框（M ≤ 64）做向量化 IoU
- IoU 公式中除法用
_mm256_div_ps但要防分母为 0：提前用_mm256_cmp_ps屏蔽掉 area ≤ 1e-6 的项
如何让 NMS 输出稳定且兼容 TensorRT/ONNX Runtime？
不同框架对 NMS 输出索引的语义不一致：TensorRT 返回的是原始输入顺序索引，而 ONNX Runtime 默认返回按 score 排序后的索引。如果你在后处理里做了 std::sort，又没同步更新 box/score/corner 数组，就会错位。
实操建议：
- 始终用
std::vector<size_t></size_t>保存原始索引，在排序时用std::sort(idx.begin(), idx.end(), [&](size_t i, size_t j){ return scores[i] > scores[j]; }) - 输出最终保留框时，用
std::vector<:rect2f></:rect2f>+std::vector<float></float>+std::vector<int></int>三数组结构，别打包成 struct —— 多数部署引擎只认 flat 数组 - 阈值参数统一用
float类型传入，避免double隐式转float导致阈值偏差（如 0.49999997 被截断）
多类别 NMS 怎么避免跨类误抑制？
YOLOv5/v8 输出含 class id，但 OpenCV 的 NMSBoxes 不支持 per-class 处理 —— 它会把猫和狗的高分框一起压掉。常见错误是先按 class 分组再各自 NMS，但分组本身遍历耗时，且破坏 cache 局部性。
实操建议：
- 用
std::stable_partition把同类别框连续存放（按 class id 排序），再用指针偏移切片，避免 vector 拷贝 - 对每个类别段调用一次 NMS，但传入
score_threshold=0.0f，靠类别内排序保证不漏低分但合理的框 - 如果类别数 > 80（如 COCO），改用 bucket sort + 基数排序预分组，比
std::sort快 3×，且稳定 O(N)
真正难的不是写快，而是让快的结果和模型训练时的 NMS 行为对齐 —— 比如 YOLO 的 iou_thres 是 0.45，但你实现里用了 0.449，边界 case 就可能漏检。实测中，浮点精度、坐标归一化方式、IoU 是否包含面积补偿，三个地方差一点，mAP 就掉 0.3%。
C++免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 C++ 的入门与实战技巧！
