mysql删除旧数据如何减少I/O负载_分段删除与Sleep间隔

老墨小哥_4360

老墨小哥_4360

2026-03-21

849人浏览

原创

直接delete不加limit是i/o炸弹;event串行执行易阻塞且不感知i/o压力;应由外部脚本分批执行delete limit 1000并检查row_count()。

mysql删除旧数据如何减少i/o负载_分段删除与sleep间隔

DELETE语句不加LIMIT就是I/O炸弹

直接 DELETE FROM logs WHERE created_at 会锁表、占满undo log、触发大量随机磁盘写,尤其在机械盘或高并发库上,可能拖垮整个实例。MySQL不是为单次扫千万行删数据设计的。

真正可行的做法是切片 + 控制节奏:

  • 每次只删 1000 行(LIMIT 1000 必须有,且需配合主键/索引字段做游标)
  • 删完立刻 COMMIT,释放锁和undo空间
  • 用 SLEEP(0.1) 或更长间隔(单位秒),给I/O喘息时间;别用 SELECT SLEEP(),它会阻塞连接,改用应用层休眠
  • 避免用 OFFSET 分页(LIMIT 1000 OFFSET 10000 越往后越慢),改用 WHERE id > ? ORDER BY id LIMIT 1000

为什么不能依赖事件调度器自动跑大DELETE

MySQL EVENT 默认在单一线程里串行执行,一旦某次删除卡住(比如遇到长事务阻塞、索引失效),后续所有事件堆积,反而加剧延迟和锁等待。它不感知I/O压力,也不会自动降频。

更稳妥的方式是把分段逻辑交给外部脚本控制:

  • Python/Shell脚本调用 mysql -e "DELETE ... LIMIT 1000",每次执行后检查 ROW_COUNT() 是否为 0(表示删完了)
  • 用 SELECT MAX(id) FROM ... WHERE created_at 预估总量,但别拿来分页,只作进度参考
  • 监控 Innodb_row_lock_waits 和 Threads_running,超过阈值就暂停下一轮

ORDER BY + LIMIT 删除时索引失效的典型陷阱

写成 DELETE FROM logs WHERE created_at 看似合理,但 MySQL 5.7+ 在这种 DELETE 中往往无法利用 <code>created_at 索引做范围扫描,转而全表扫描再过滤,CPU和I/O双爆。

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载

正确姿势是显式用主键推进:

DELETE FROM logs 
WHERE id 
<p>但更推荐拆成两步:先查出一批 <code>id</code>(<code>SELECT id FROM logs WHERE created_at ),再 <code>DELETE FROM logs WHERE id IN (...)</code> —— 这样能确保走主键索引,且方便加 <code>FOR UPDATE</code> 避免重复删。</code></p>

<h3>sleep间隔不是越长越好,要看binlog和复制延迟</h3>
<p>设成 <code>SLEEP(1)</code> 看似安全,但如果主库启用了 <code>binlog_format=STATEMENT</code>,每个 <code>DELETE ... LIMIT</code> 会被记为独立事件,从库重放时可能因顺序或并发问题导致数据不一致;而 <code>ROW</code> 格式虽安全,但大事务拆小后,binlog文件增长更快,备份和传输压力上升。</p>
<p>实操建议:</p>
  • 优先用 binlog_format=ROW,并确认从库 slave_parallel_workers > 0
  • sleep 时间建议从 0.05 起步,观察 Seconds_Behind_Master 和 io_utilization(如 iostat -x 1 中 %util)再微调
  • 别在高峰期运行;如果必须在线清理,提前在从库验证相同SQL的I/O表现

最易被忽略的一点:删除过程中如果表上有 ON DELETE CASCADE 外键,每删一行都可能触发额外查询和更新,实际I/O放大远超预期——这种场景务必先禁用外键或改用归档迁移方式处理。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

mysql

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

2253

6

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.21

1379

5

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.18

815

5

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.19

3112

5

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.25

5288

4

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2023.08.08

1179

3

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.11

5551

4

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

2023.08.14

4862

7

mysql事务隔离级别
mysql事务隔离级别

mysql规范中定义了四种事务隔离级别,不同的隔离级别对事务的处理有所不同。本专题为大家提供mysql事务隔离级别相关的文章内容,大家可以免费体验。

2023.08.16

6454

11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 188人学习