在SQL数据库中如何安全地更新大量数据而不阻塞服务?

P粉602998670

P粉602998670

2026-07-30

999人浏览

原创

核心解法是将百万级update分批为小事务,确保where走索引、用主键范围分片、每批独立提交并控制节奏。否则必然导致锁表、iops暴增或磁盘打满。

在sql数据库中如何安全地更新大量数据而不阻塞服务?

直接执行百万级 UPDATE 几乎必然导致服务卡顿或中断——不是“会不会”,而是“卡多久、影响多广”的问题。核心解法只有一个:把大更新切成可控小事务,同时确保每批都能快速定位、稳定执行、不抢锁。

WHERE 条件必须走索引,否则等于主动锁表

这是最常被跳过的致命检查。MySQL 在 WHERE copyright != 6 这类条件上若 copyright 无索引,就会全表扫描;InnoDB 行锁可能升级为表锁(尤其在 REPEATABLE READ 隔离级别下),其他查询全部排队。PostgreSQL 虽保持行锁,但全表扫描会吃光 shared_buffers,WAL 写入暴增。

  • EXPLAIN UPDATE ...(MySQL)或 EXPLAIN (ANALYZE) UPDATE ...(PostgreSQL)验证 key 列是否非 NULL
  • 避免函数操作:WHERE DATE(created_at) = '2024-01-01' → 改成 WHERE created_at >= '2024-01-01' AND created_at
  • 复合索引注意最左前缀:要查 status = 'pending' AND created_at > '2023-01-01',索引必须是 (status, created_at),而非仅 created_at

分批必须用主键/有序字段 + 稳定范围,别信 LIMIT

LIMIT 在 PostgreSQL 中根本不能直接用于 UPDATE;在 MySQL 中虽支持,但若期间有新数据插入或删除,WHERE id > ? LIMIT 1000 会漏行或重复更新——因为 OFFSET 类逻辑本质不可靠。

神卷标书
神卷标书

神卷标书,专注于AI智能标书制作、管理与咨询服务,提供高效、专业的招投标解决方案。支持一站式标书生成、模板下载,助力企业轻松投标,提升中标率。

下载
  • 安全做法:用主键范围,例如 WHERE id BETWEEN 10001 AND 15000 AND status = 0,每次递增固定步长
  • PostgreSQL 必须用子查询兜底:UPDATE t SET x = 1 WHERE id IN (SELECT id FROM t WHERE status = 0 ORDER BY id LIMIT 1000)
  • ORDER BY 字段必须有索引,否则 LIMIT 失效且触发全表扫描
  • 每批大小建议 500–5000 行,取决于单行体积和 innodb_log_file_size(MySQL)或 wal_writer_delay(PG)容量

每批独立事务 + 显式控制节奏,别包进一个大事务

把 100 万行塞进一个事务,等于要求数据库全程持有所有行锁、写满 undo log、阻塞所有并发写入。更危险的是:长事务会阻止 VACUUM(PG)或 purge(MySQL),undo 日志持续膨胀,最终磁盘打满。

  • 每批执行前 BEGIN,成功后立刻 COMMIT;失败则 ROLLBACK 并重试
  • 批次间加 SLEEP(0.1)(PG)或 DO SLEEP(0.5)(MySQL 存储过程),缓解 IOPS 突刺
  • 应用层必须检查 ROW_COUNT()(MySQL)或 GET DIAGNOSTICS row_count = ROW_COUNT(PG),返回 0 才终止循环
  • 严禁在存储过程中裸写循环更新——MySQL 多线程调用时若访问顺序不一致(如未 ORDER BY id),极易触发死锁错误 1205

复杂场景优先用临时表 + JOIN,而不是硬拼 WHERE

当更新值依赖计算、关联其他表、或来自外部文件(如 CSV 导入),硬写 WHERE 条件不仅难调试,还容易因条件膨胀导致执行计划失效。

  • 先建临时表:CREATE TEMPORARY TABLE tmp_update (id INT PRIMARY KEY, new_value VARCHAR(32))
  • 批量写入:INSERT INTO tmp_update VALUES (1,'a'),(2,'b'),...;(每批 ≤ 1000 行防 max_allowed_packet 溢出)
  • tmp_update.id 加索引(即使临时表也要加)
  • 再执行:UPDATE users u JOIN tmp_update t ON u.id = t.id SET u.status = t.new_value
  • 避免在 SET 中调用 NOW() 等非确定性函数,否则优化器可能放弃使用索引

真正难的不是写出能跑的 SQL,而是在高负载生产环境里让每一行更新都可预期、可中断、可回溯。索引有效性、事务边界、批次稳定性,三者缺一不可——少验一个,就可能半夜被报警叫醒。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

2448

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

448

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

613

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

3945

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

1324

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

3540

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

3464

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

639

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

525

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.4万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 131.8万人学习