本文介绍如何通过融合 ml kit 的对象检测与人脸检测能力，实现对指定人物的稳定追踪与头部姿态估计，有效避免背景人员运动导致的误识别，并支持实时人数粗略统计。
本文介绍如何通过融合 ml kit 的对象检测与人脸检测能力，实现对指定人物的稳定追踪与头部姿态估计，有效避免背景人员运动导致的误识别，并支持实时人数粗略统计。
在使用 ML Kit 进行人脸检测（如 getHeadEulerAngleY() 获取头部偏航角）时，若视频中存在多人且无明确目标区分机制，系统默认会返回检测到的第一个（或置信度最高）人脸的姿态数据——这极易导致后台移动人员干扰主目标分析，尤其在头部旋转检测等精细任务中严重影响鲁棒性。
根本原因在于：ML Kit 原生 FaceDetector 不提供跨帧人脸 ID、轨迹跟踪或优先级选择能力，其每次调用均为独立帧检测，无法天然区分“主讲人”与“背景路人”。
✅ 推荐解决方案：分层检测 + 轨迹绑定
采用「对象检测先行、人脸验证后置、ID 持续绑定」的两级流水线：
-
第一层：使用 ML Kit Object Detection（带跟踪）定位所有人体/上半身区域
启用 ObjectDetectorOptions 的 enableTracking = true，获取带唯一 trackingId 和稳定 boundingBox 的检测结果：val objectOptions = ObjectDetectorOptions.Builder() .setDetectorType(ObjectDetectorOptions.DETECTOR_TYPE_PERSON) .enableClassification() // 可选：辅助判断人体类别 .enableTracking() // 关键！启用跨帧 ID 跟踪 .build() -
第二层：对每个 tracked object 区域裁剪后，单独调用人脸检测器
仅在该 ROI（Region of Interest）内运行 FaceDetector，避免全局搜索干扰：val roiBitmap = Bitmap.createBitmap( fullFrame, object.boundingBox.left.toInt(), object.boundingBox.top.toInt(), object.boundingBox.width().toInt(), object.boundingBox.height().toInt() ) val faceInput = InputImage.fromBitmap(roiBitmap, 0) faceDetector.process(faceInput) .addOnSuccessListener { faces -> if (faces.isNotEmpty()) { // ✅ 此人脸属于当前 trackingId 对应的目标对象 val headYaw = faces[0].headEulerAngleY ?: 0f updateRotationForTrackId(object.trackingId, headYaw) } } -
实现目标锁定与人数统计
- 人数统计：objectDetector 输出的 List
- 目标锁定：用户首次点击/框选某 trackingId 后，后续仅处理该 ID 对应的人脸姿态，彻底隔离背景干扰。
⚠️ 注意事项：
- Object Detection 的 PERSON 模型需 Android 6.0+ 且推荐使用 STREAM_MODE 以保障实时性；
- ROI 裁剪务必做坐标映射校验（如考虑预览尺寸缩放、镜像翻转）；
- 避免高频创建 Bitmap —— 建议复用 BitmapFactory.Options 或使用 Allocation（RenderScript）提升性能；
- 若需更高精度人脸 ID，可引入轻量级 Re-ID 模型（如 TensorFlow Lite MobileNetV3 + 特征比对），但会增加复杂度。
总结：ML Kit 本身不提供“多目标人脸追踪”能力，但通过对象检测的 trackingId 作为桥梁，构建 ROI 级人脸检测闭环，即可在不依赖服务端、不牺牲实时性的前提下，实现稳定的目标人物头部姿态分析与背景抗干扰能力。
