本文介绍一种基于价格区间与相邻差值双校验的算法，用于高效清洗含噪声的价格数据，剔除0、明显偏离的高价或低价等异常值，适用于千级规模数组。
本文介绍一种基于价格区间与相邻差值双校验的算法，用于高效清洗含噪声的价格数据，剔除0、明显偏离的高价或低价等异常值，适用于千级规模数组。
在电商、比价或爬虫采集的价格数据中，常混入异常值：如归零值（0）、突跳高价（如300紧接207）、离群小数或错误上报值。若仅依赖相邻差值判断（如 |当前值 − 前一有效值| > 50），会因异常值本身参与计算而导致后续正常值被误判（例如 207 → 300 → 209 中，300污染了209的判定）。因此，必须先过滤明显无效值，再进行差值校验。
✅ 推荐方案：两阶段过滤法（区间优先 + 差值校验）
第一阶段：硬性区间过滤
明确业务合理价格范围（如 200–400），直接排除所有超出该范围的值（如 0、301 等）。这一步快速剔除绝大多数噪声，且不依赖前后关系。第二阶段：平滑差值校验
对通过区间筛选的值，与上一个已保留的有效价格计算差值；若绝对差值超过阈值（如 50），则视为突变，予以剔除。关键点在于：$latest 必须只更新为已确认有效的价格，而非原始数组中的每个元素。
以下是优化后的 PHP 实现（兼容千级数组，时间复杂度 O(n)）：
<?php $arr = [200, 201, 203, 205, 207, 300, 209, 212, 0, 211, 0, 0, 301, 213, 214];
$fresharray = [];
$latest = null; // 初始化为 null，避免首项误判
foreach ($arr as $price) {
// 阶段一：严格区间过滤（核心防线）
if ($price < 200 || $price > 400 || $price === 0) {
continue; // 直接跳过 0 和超限值
}
// 阶段二：差值校验（仅对有效值进行）
if ($latest !== null) {
$diff = $price - $latest;
// 若与上一个有效价格偏差过大，视为异常突变
if (abs($diff) > 50) {
continue; // 跳过该突变值
}
}
// 通过双重检验 → 保留并更新 latest
$fresharray[] = $price;
$latest = $price;
}
print_r($fresharray);
// 输出: Array ( [0] => 200 [1] => 201 [2] => 203 [3] => 205 [4] => 207 [5] => 209 [6] => 212 [7] => 211 [8] => 213 [9] => 214 )
?>
⚠️ 关键注意事项
- $latest 必须仅由合法值更新：这是防止“污染传播”的核心。原代码中 $latest 随循环无条件递增，导致 300 成为 209 的参考基准，造成误判。
- 0 应作为独立异常处理：即使 0 在区间外，也建议显式排除（如 || $price === 0），避免浮点或空值干扰。
- 阈值 50 需按业务调整：若价格波动剧烈（如高端商品），可设为 100；若为日用品，建议 20–30。
- JavaScript 版本可无缝迁移：将 foreach 替换为 for...of，abs() 使用 Math.abs()，逻辑完全一致。
该方法兼顾鲁棒性与性能，无需排序或额外依赖，单次遍历即可完成清洗，特别适合实时价格监控、批量数据预处理等场景。
