如何在SQL存储过程中处理大批量数据循环插入

大杰酱_4695

大杰酱_4695

2026-11-21

950人浏览

原创

应避免在存储过程中用 WHILE 循环逐行 INSERT,因其触发百万次 redo 刷盘、重复解析和单行锁校验,吞吐常低于 300 行/秒;正确做法是显式事务分批提交(如每 1000 行 COMMIT 一次)、禁用 OFFSET 分页、优先选用 LOAD DATA INFILE 或 INSERT ... SELECT 等集操作方案,并配合关闭 unique_checks、foreign_key_checks 等参数优化。

如何在sql存储过程中处理大批量数据循环插入

别在存储过程里写 WHILE 循环逐行 INSERT,这是性能杀手,不是语法问题——它默认触发百万次 redo 刷盘、重复解析、单行锁校验,吞吐常卡在 300 行/秒以下。真要插几十万条,必须绕开单行路径。

MySQL 存储过程中显式事务 + 分批提交怎么写

裸写 WHILE 不加事务控制,等于每条 INSERT 都是独立事务(autocommit = ON),日志刷盘次数 = 行数。必须手动包裹 START TRANSACTION,并按固定批次提交。

  • 在 BEGIN 后立刻写 START TRANSACTION
  • 用 IF i % 1000 = 0 THEN COMMIT; START TRANSACTION; 控制节奏,1000 是经验值,可根据单行大小和 innodb_log_file_size 调整到 2000–5000
  • 循环结束后补一次 COMMIT,否则最后一批数据会丢失
  • 避免在循环内调用 RAND() 或 NOW() 多次——它们每次求值,无法复用;如需时间戳,提前 SELECT NOW() INTO v_ts 缓存

示例片段:

INSERT INTO t1 SELECT * FROM t2
  • 它不等于“快”,只等于“代码短”;扫描范围大时,即使有索引,也可能退化为大量行锁
  • autocommit = OFF 下更危险——整个存储过程就一个事务,失败就得全滚
  • 正确做法是用主键游标分片:WHERE id > last_id ORDER BY id LIMIT 2000,每次取完更新 last_id
  • 禁用 OFFSET 分页(LIMIT 100000, 2000),越往后越慢,IO 翻倍

比循环更优的替代方案有哪些

存储过程只是“能做”,不代表“该做”。百万级插入优先走非循环路径,绕过解释器开销,直奔优化器执行计划。

ClawUsage Windows Hardlock
ClawUsage Windows Hardlock

一款AI工具,主要用于通过聊天(Telegram / 飞书)执行本地 `clawusage` 监控命令。当用户输入 `/clawusage ...`,或提出“查看 Codex 用量”、“开启/关闭自动…”等请求时触发使用,适合需要提升相关任务效率的用户。

下载
  • LOAD DATA INFILE:跳过 SQL 解析层,速度通常快 5–10 倍,但要求文件可被 MySQL 服务端访问
  • 递归 CTE(MySQL 8.0+):WITH RECURSIVE number_sequence(n) AS (...) 生成序列,配合单条 INSERT ... SELECT 完成,无过程、无循环
  • 幂次连接法:用两个小结果集 CROSS JOIN 快速撑大行数(如 100 × 1000 = 10 万),适合模板化模拟数据
  • 数字辅助表:提前建好 numbers(n),INSERT ... SELECT FROM numbers WHERE n ,稳定易读,且可复用

容易被忽略的硬伤:参数与约束临时关闭

哪怕用了分批,不调数据库参数,性能仍被拖累。这些开关必须配对操作,不能只开不关:

  • SET SESSION autocommit = OFF:防止每行自动提交,但结束后得 SET SESSION autocommit = ON
  • SET SESSION unique_checks = OFF:跳过唯一索引校验,插入完立即 ON,否则后续查询可能用错索引
  • SET SESSION foreign_key_checks = OFF:禁用外键检查,仅限目标表无依赖关系时使用
  • bulk_insert_buffer_size 调大(如 100M)对直接路径插入有效,但对循环插入提升有限,别迷信

真正关键的是:事务边界是否清晰、日志刷盘是否可控、有没有把计算逻辑塞进 SQL 层而非循环体内——这些细节没控住,再花哨的写法也救不了性能。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

存储过程

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

5163

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

1051

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

1349

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

7281

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

3883

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

7260

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

10201

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1390

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1212

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
布尔教育燕十八mysql高级视频教程
布尔教育燕十八mysql高级视频教程

共24课时 | 8.7万人学习

魔乐科技oracle视频教程
魔乐科技oracle视频教程

共27课时 | 6.7万人学习

肖文吉Oracle视频教程
肖文吉Oracle视频教程

共33课时 | 9.2万人学习