本文介绍在 Laravel 中基于指定字段（如 hash）识别重复数据，并仅保留按时间排序的最新 N 条记录、安全批量删除其余重复项的高效实现方案，避免 N+1 查询与内存加载。
本文介绍在 laravel 中基于指定字段（如 `hash`）识别重复数据，并**仅保留按时间排序的最新 n 条记录、安全批量删除其余重复项**的高效实现方案，避免 n+1 查询与内存加载。
在 Laravel 应用中处理重复数据时，常见的需求是：对某一列（如 hash）值相同的多条记录，只保留按 created_at（或 id）降序排列的最新 N 条，其余全部删除。关键在于：既要逻辑严谨（如总数 ≤ N 时不误删），又要性能高效（单次数据库操作完成，不加载模型实例到 PHP 内存）。
以下是一个生产就绪的封装方法：
protected function deleteDuplicateApplications($hash = '', $keep = 5)
{
// 安全校验：确保至少保留 1 条，且 $keep 为正整数
$keep = max(1, (int) $keep);
// 获取该 hash 下的总记录数
$totalCount = Application::where('hash', $hash)->count();
// 若总数 ≤ 期望保留数，则无需删除
if ($totalCount orderBy('created_at', 'desc')
->skip($keep)
->take($totalCount - $keep)
->delete();
}
✅ 调用示例：
// 删除 hash = 'ABC' 的所有重复项，仅保留最新的 5 条
$deletedCount = $this->deleteDuplicateApplications('ABC', 5);
echo "已删除 {$deletedCount} 条重复记录";
⚠️ 重要注意事项：
- delete() 是硬删除：它直接执行 SQL DELETE 语句，绕过 Eloquent 模型事件（如 deleting/deleted）和软删除逻辑。若需触发事件或使用软删除，请改用 get()->each(...->delete())（但会牺牲性能，不推荐用于大量数据）。
-
索引优化：务必为 (hash, created_at) 创建联合索引，大幅提升 WHERE + ORDER BY 查询效率：
// 在迁移中添加 Schema::table('applications', function (Blueprint $table) { $table->index(['hash', 'created_at']); }); - 批量处理多个 hash：若需对全表所有重复 hash 统一执行（如“每个 hash 最多留 5 条”），应结合 groupBy('hash') 和原始查询或分块处理，避免内存溢出。
- 事务安全：高并发场景下建议包裹在数据库事务中，防止中间状态不一致。
该方案以单次 COUNT + 单次 DELETE 完成操作，零模型实例化，符合 Laravel 最佳实践中的“数据库优先”原则，兼顾可读性、健壮性与性能。
