如何安全地删除海量历史数据_通过SQL分段删除技术防止事务日志爆满

秋静酱_6410

秋静酱_6410

2026-05-30

604人浏览

原创

直接DELETE会引发雪崩,安全路径是分批删除:必须ORDER BY主键+LIMIT+索引,每批后COMMIT并SLEEP,避免全表扫描与锁升级。

如何安全地删除海量历史数据_通过sql分段删除技术防止事务日志爆满

直接 DELETE FROM logs WHERE dt 在亿级表上不是删数据,是触发数据库雪崩——锁表、日志暴涨、主从延迟飙升、甚至被 DBA 杀掉连接。真正安全的路径只有一条:把大事务切碎,每批控制在可提交、可释放、可监控的粒度。

MySQL 分段删除必须带 ORDER BY + LIMIT

不加 ORDER BY 的 DELETE ... LIMIT 是伪分批:MySQL 优化器可能每次扫描顺序不同,导致重复删或漏删,尤其在并发写入时。更糟的是,没索引支撑的 ORDER BY 会触发 filesort,让 IO 直接拉满。

  • 正确写法:DELETE FROM logs WHERE create_time
  • id 必须有索引(通常是主键),否则排序成本远超删除本身
  • 别用 OFFSET(如 LIMIT 10000, 5000),偏移越大越慢,且中间插入新行会导致跳过
  • 每批后必须 COMMIT,否则 InnoDB 不释放 undo log 和行锁

SQL Server 中用 TOP + WAITFOR 控制日志压力

SQL Server 的 DELETE 默认全量进一个事务,每行都记完整日志。不控制就等于往日志文件里狂灌水,Transaction log is full 报错几乎是必然结果。

  • 必须写成:DELETE TOP (5000) FROM logs WHERE create_time
  • ORDER BY id 不可省——没确定性排序,TOP 无法保证下一批不重复处理同一行
  • 每次删完立刻 WAITFOR DELAY '00:00:00.1',给 CHECKPOINT 和日志截断留出窗口
  • 用 @@ROWCOUNT 判断是否继续,别查 EXISTS(SELECT ...),它可能扫全表

PostgreSQL 大删慎用 LIMIT,优先走主键区间切片

PostgreSQL 的 DELETE ... LIMIT 在高并发下行为不稳定:新插入的行可能挤进下一批范围,导致漏删;同时 LIMIT 不影响 MVCC 扫描路径,仍可能触发全表膨胀。

  • 更稳的做法是先查边界:SELECT MIN(id), MAX(id) FROM logs WHERE create_time
  • 再按步长分段删:DELETE FROM logs WHERE id BETWEEN 100001 AND 105000
  • 步长建议 1000–5000,超过 10000 容易让单次事务 undo 占用过高
  • 删完立刻执行 ANALYZE logs,否则后续查询可能因统计信息陈旧而选错执行计划

所有方案都绕不开的硬约束:外键、复制延迟与备份恢复

再完美的分批逻辑,撞上外键或主从延迟,照样失败。而且删完发现错了?别指望 binlog 或 WAL 回滚——DROP PARTITION 或 TRUNCATE 后只有 DDL 记录,没有逐行数据快照。

  • 涉及外键的表,删前必须 SET CONSTRAINTS ALL DEFERRED(PostgreSQL)或临时禁用检查(MySQL:SET FOREIGN_KEY_CHECKS = 0)
  • 删分区或大表前,先看从库延迟:SHOW SLAVE STATUS 中的 Seconds_Behind_Master 必须接近 0
  • 物理备份(xtrabackup / pg_basebackup)必须覆盖被删分区对应的数据文件路径,例如 MySQL 的 ./logs/#P#p202212.ibd
  • ClickHouse 的 ReplacingMergeTree TTL 删除后,必须手动 OPTIMIZE TABLE ... FINAL 才能真正缩容

最常被忽略的一点:分批只是“怎么删”,但没解决“为什么还会再爆”。如果应用层没改写入路由,下个月老数据照进,删得再勤也是白忙。轮转策略的核心不在 SQL,而在应用配置是否动态拼接表名或路由到新分区。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

4523

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

951

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

1189

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

6501

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

3263

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

6460

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

8841

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1210

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1052

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134万人学习