如何在SQL存储过程中批量插入百万级数据_通过BULK INSERT或游标分批提交

酷萱姑娘_3802

酷萱姑娘_3802

2026-04-28

531人浏览

原创

mysql存储过程不支持bulk insert,仅可用多值insert或load data infile;游标因单行处理性能极差,应避免用于百万级插入;推荐关事务+批量拼接+分段循环,每批2000行并禁用唯一检查以提升效率。

如何在sql存储过程中批量插入百万级数据_通过bulk insert或游标分批提交

MySQL 存储过程中没法用 BULK INSERT —— 那是 SQL Server 的语法,直接写会报错 ERROR 1064;游标在百万级插入里基本等于自废武功,性能极差,别用。

MySQL 存储过程里根本不存在 BULK INSERT

SQL Server 的 BULK INSERT 是原生命令,MySQL 没有对应实现。你在 MySQL 里写 BULK INSERT ... FROM ...,只会收到类似这样的错误:

ERROR 1064 (42000): You have an error in your SQL syntax near 'BULK INSERT ...'

MySQL 原生支持的高效批量导入方式只有两个:LOAD DATA INFILE(最快)和 INSERT ... VALUES (...), (...), ...(多值插入)。存储过程里能用的,只有后者 —— 但必须规避逐行 INSERT 的陷阱。

为什么游标在百万插入中完全不适用

MySQL 游标本质是单行提取 + 单行执行,配合 INSERT 就是「查一行、插一行、刷一次日志、更新一次索引」,I/O 和锁开销爆炸。实测过:用游标插 10 万条,比关事务的 while 循环还慢 3–5 倍。

  • 游标隐式开启结果集扫描,内存占用高,容易触发 max_heap_table_size 或 sort_buffer_size 限制
  • 每次 fetch 都要走一次引擎层,InnoDB 行锁+间隙锁频繁争抢
  • 无法利用 MySQL 的 statement batch 优化机制(如 multi-value insert 的 parse/plan 复用)

真正可行的存储过程方案:关事务 + 批量拼接 + 分段循环

核心思路是:不用游标,不用预处理单条语句,用字符串拼接生成大批次 INSERT,每批 1000–5000 行,再统一执行。关键控制点:

  • 必须显式 START TRANSACTION,结尾 COMMIT,避免自动提交放大开销
  • 每批数据量控制在 2000 行左右:太小(如 100)仍频繁提交;太大(如 10000)易触发 max_allowed_packet 截断
  • 用 CONCAT 拼接 values,避免 PREPARE/EXECUTE 的解析开销(那玩意儿在循环里反而更慢)
  • 插入前临时禁用唯一检查:SET UNIQUE_CHECKS=0,结束后恢复

示例节选(插入 user 表,每批 2000 条):

DELIMITER $$
CREATE PROCEDURE insert_user_batch(IN total INT)
BEGIN
  DECLARE i INT DEFAULT 0;
  DECLARE batch_size INT DEFAULT 2000;
  DECLARE sql_part TEXT DEFAULT '';
<p>SET UNIQUE_CHECKS = 0;
START TRANSACTION;</p><p>WHILE i </p><pre class="brush:php;toolbar:false;">SET i = i + batch_size;

END WHILE;

COMMIT; SET UNIQUE_CHECKS = 1; END$$ DELIMITER ;

比存储过程更推荐的替代路径

如果目标只是「快速灌入百万测试数据」,存储过程反而是最绕的路:

  • LOAD DATA INFILE:本地文件导入,实测 100 万行通常
  • 客户端批量提交:Python/Java 用 executemany() 或 JDBC rewriteBatchedStatements=true,可控性更强
  • CTE 递归生成(MySQL 8.0+):WITH RECURSIVE ... INSERT SELECT,无磁盘依赖,纯 SQL 完成

存储过程适合封装逻辑、复用调用,但不适合扛原始吞吐压力 —— 它的语法限制、调试困难、错误堆栈模糊,会让定位 max_allowed_packet 超限或字符集截断这类问题变得极其痛苦。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

4103

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

871

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

1069

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

5981

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

2883

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

5960

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

7961

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1090

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

952

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.6万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.4万人学习