如何在MySQL中通过存储过程快速生成百万级测试数据?

浅婷酱_8732

浅婷酱_8732

2026-06-30

719人浏览

原创

必须分批插入并显式事务控制,每1000–5000行commit一次,避免锁表、日志爆炸和超时;禁用自动提交,插入前禁用二级索引,慎用memory表和递归cte。

如何在mysql中通过存储过程快速生成百万级测试数据?

存储过程单次循环插入百万行太慢,必须分批+事务控制

直接用 WHILE 循环插入 100 万次,每条 INSERT 都走一次磁盘刷写,实际耗时可能超 30 分钟甚至失败。关键不是“能不能”,而是“怎么避免锁表、日志爆炸和超时”。

  • 必须用 START TRANSACTION 包裹整个循环,而不是每次 INSERT 都开事务
  • 建议每 10000 行 COMMIT 一次(SET i = i + 1 后加判断),避免 undo log 膨胀导致 ERROR 1205 (HY000): Deadlock found
  • 调用前先关掉自动提交:SET autocommit = 0,否则 COMMIT 无效
  • 如果目标表有大量二级索引,插入前执行 ALTER TABLE t DISABLE KEYS,插完再 ENABLE KEYS

MySQL 5.7 和 8.0 的随机数据生成函数写法差异

RAND() 本身没问题,但拼接字符串、生成身份证号或手机号时,5.7 缺少 GENERATED COLUMN 和更严格的类型推断,容易在 CONCAT 中隐式转成科学计数法(比如 13800000000+i 到 100 万时变成 1.38e10)。

  • 手机号务必用 LPAD(FLOOR(RAND()*10000000000), 11, '1') 或固定前缀 + FLOOR(RAND()*1000000) 拼接,别直接加整数
  • MySQL 8.0 可用 UUID_SHORT() 替代自增主键做分布式 ID,但注意它不连续,不适合性能压测场景
  • 身份证号不能纯随机——最后一位是校验码,简单模拟可用 CONCAT('110101', LPAD(FLOOR(RAND()*999999), 6, '0'), '0000', FLOOR(RAND()*10)),跳过校验逻辑但保证长度合法

内存表(MEMORY)加速写入的实操陷阱

把数据先写进 ENGINE=MEMORY 表再 INSERT INTO ... SELECT 到目标表,确实能提速 3–5 倍,但这个“快”是有代价的。

MySQL
MySQL

编写正确的MySQL查询,避免字符集、索引和锁方面的常见陷阱。

下载
  • max_heap_table_size 必须大于预估内存表总大小(行数 × 平均行长),否则插入中途报 ERROR 1114 (HY000): The table is full
  • 修改该参数后必须重启 MySQL,且重启后所有 MEMORY 表数据丢失——别指望它持久化
  • MEMORY 表不支持 BLOB/TEXT 字段,含长文本的表无法用此法加速
  • 如果目标表有外键约束,先在内存表里建相同结构(不含外键),插入完成后再关外键检查:SET FOREIGN_KEY_CHECKS = 0

为什么递归 CTE 在 MySQL 8.0 中慎用于百万级生成

虽然 WITH RECURSIVE 看起来简洁,但它的执行模型是深度优先递归展开,内存占用随层级指数增长。生成 100 万行时,MySQL 常因 ERROR 1643 (HY000): Recursive query aborted after 1000 iterations 中断。

  • 默认递归深度限制是 1000,可通过 SET cte_max_recursion_depth = 1000000 临时调高,但极易触发 OOM
  • CTE 生成的数据无法被优化器重写为批量插入,仍是一行一行构造,实际速度不如带事务的存储过程
  • 真正适合 CTE 的是生成有序序列(如日期范围、ID 区间),而非带随机计算的业务字段

真正卡点不在语法对不对,而在你有没有提前算过:单行平均占多少字节、内存表够不够、binlog 日志会不会撑爆磁盘、以及那条没加 DELIMITER $$ 就执行的存储过程,已经悄悄把你的会话搞崩了。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

mysql

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

2313

6

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.21

1419

5

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.18

835

5

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.19

3232

5

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.25

5488

4

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2023.08.08

1199

3

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.11

5751

4

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

2023.08.14

5002

7

mysql事务隔离级别
mysql事务隔离级别

mysql规范中定义了四种事务隔离级别,不同的隔离级别对事务的处理有所不同。本专题为大家提供mysql事务隔离级别相关的文章内容,大家可以免费体验。

2023.08.16

6694

11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 189人学习