本文介绍如何在 Laravel 中通过单次数据库操作，针对指定 hash 值的重复记录，仅保留按 created_at 排序的最新 5 条，安全、高效地批量删除多余数据，避免 N+1 查询与内存遍历。
本文介绍如何在 laravel 中通过单次数据库操作，针对指定 `hash` 值的重复记录，仅保留按 `created_at` 排序的最新 5 条，安全、高效地批量删除多余数据，避免 n+1 查询与内存遍历。
在处理高频写入场景（如爬虫去重、日志归档或表单防重提交）时，常需对具有相同标识字段（如 hash）的记录进行“保新删旧”清理。核心诉求是：对每个 hash 值，只保留 created_at 最新的 N 条（如 5 条），其余全部删除，且必须保证原子性、高性能与低内存开销。
直接使用 limit() + 循环删除（如原 getDuplicateApplications 方法）存在严重缺陷：它仅获取前 5 条，而非排除前 5 条；若用于删除，则逻辑完全相反，且会触发多次查询与 PHP 层遍历，极易造成性能瓶颈与事务不一致。
正确做法是采用 “跳过 + 截取 + 批量删除” 策略，借助 Eloquent 的 skip() 和 take() 构建反向选择集：
protected function deleteDuplicateApplications($hash = '', $keepCount = 5)
{
// 1. 获取该 hash 下总记录数
$totalCount = Application::where('hash', $hash)->count();
// 2. 若总数 ≤ 保留数，无需删除
if ($totalCount orderBy('created_at', 'desc')
->skip($keepCount)
->take($totalCount - $keepCount)
->delete(); // 返回实际删除行数（整型）
}
✅ 关键要点说明：
- 排序方向必须为 desc：确保 skip(5) 跳过的是 最新的 5 条，后续 take() 获取的是更早的冗余记录；若用 asc，则会误删最新数据。
- delete() 是批量原生 SQL 删除：底层执行 DELETE FROM ... WHERE ... ORDER BY ... LIMIT ... OFFSET ...（MySQL/PostgreSQL 支持），全程在数据库层完成，零 PHP 内存加载，毫秒级响应。
- 边界安全：if ($totalCount
⚠️ 注意事项：
- 此方法适用于 单个 hash 值 的清理。如需对全表所有重复 hash 批量处理（例如清理整个 applications 表中所有 hash 的冗余项），需结合 groupBy('hash') + 子查询或原生 SQL（如 MySQL 8.0+ 的 ROW_NUMBER() 窗口函数），Eloquent 原生不支持跨分组的 skip/take。
- 确保 created_at 字段有索引（INDEX(hash, created_at) 复合索引最佳），否则 orderBy + where 将导致全表扫描。
- 生产环境建议包裹在事务中，并添加日志记录删除数量，便于审计：
DB::transaction(function () use ($hash, $keepCount) { $deleted = $this->deleteDuplicateApplications($hash, $keepCount); \Log::info("Deleted {$deleted} duplicate applications for hash: {$hash}"); });
综上，该方案以最少数据库交互、最高执行效率，精准实现“保新删旧”，是 Laravel 应用中处理重复数据清理的推荐实践。
