如何在MySQL中批量插入百万级数据避免超时-mysql教程-PHP中文网

INSERT多行卡住或报错主因是max_allowed_packet超限或连接超时；需调大该值并显式事务控制；LOAD DATA需两端开启local_infile；Java Batch须配rewriteBatchedStatements=true。

如何在mysql中批量插入百万级数据避免超时

INSERT VALUES 多行拼接时为什么总卡住或报错

不是语句写错了，而是单条 SQL 超出了 max_allowed_packet 限制，或者事务执行太久被连接超时中断。MySQL 默认 max_allowed_packet=4MB（部分版本是 64MB），但拼 10 万行 VALUES 很容易突破这个值；同时，如果没显式开事务，每行插入都会触发一次 autocommit + redo 日志刷盘，耗时叠加后很容易触发客户端或中间件的 timeout（比如 JDBC 的 socketTimeout）。

用 SHOW VARIABLES LIKE 'max_allowed_packet'; 查当前值，生产环境建议设为 64M 或 128M（需服务端重启或动态设置 SET GLOBAL max_allowed_packet = 134217728;）
必须显式加 START TRANSACTION; 和 COMMIT;，否则哪怕拼了 500 行，也是 500 次独立事务
单条 INSERT 建议控制在 500–800 行，字段越长（比如含大文本、JSON），行数越要往下压——实测 1KB/行时，600 行 ≈ 600KB，远低于 4MB 安全线

LOAD DATA LOCAL INFILE 报错 File not found 或 Local infile disabled 怎么办

这两个错误本质是客户端和服务端双侧开关没对齐。LOAD DATA LOCAL INFILE 不是“发个 SQL 就能跑”，它要求客户端主动读本地文件、再流式上传，所以两端都得允许。

服务端检查：SHOW VARIABLES LIKE 'local_infile'; 必须返回 ON；云数据库（如阿里云 RDS、腾讯云 CDB）默认 OFF 且不可改，这类环境直接放弃该方案
客户端连接参数必须启用：JDBC 加 ?allowLoadLocalInfile=true，并确保驱动版本 ≥ 8.0.23；Python 的 pymysql 要传 local_infile=True；PHP PDO 需 PDO::MYSQL_ATTR_LOCAL_INFILE => true
文件路径是客户端机器上的绝对路径，Windows 下别用单反斜杠，写成 C:/data/users.csv 或 C:\data\users.csv，否则 MySQL 解析失败

Java 里用 PreparedStatement.executeBatch() 插百万条还是慢

慢大概率是因为没开 JDBC 批处理优化参数，或者 batch size 设得太小。原生 executeBatch() 在未配置时，底层仍是逐条发送 SQL，只是把网络包攒在一起发，没绕过解析和权限校验。

MySQL8 CRM Schema Design Expert

面向 CRM 系统的 MySQL 8 数据库模式设计。当用户需要为客户关系管理（CRM）系统设计、评审、优化或生成数据库模式时，应使用此项技能。

下载

连接 URL 必须加上 rewriteBatchedStatements=true（MySQL Connector/J 5.1.29+ 支持），否则 batch 形同虚设
batch size 别设 10 或 50——太小起不到合并效果；建议 1000～5000，配合 addBatch() 累积后统一 executeBatch()
务必关闭自动提交：connection.setAutoCommit(false);，并在每批结束后 connection.commit();，否则每批仍会隐式提交
如果数据源来自文件或流，优先考虑跳过 Java 层，直接用 LOAD DATA 或生成 SQL 文件再由 MySQL 客户端导入

为什么存储过程循环插百万条反而更慢

因为每轮循环都是一次完整 SQL 执行生命周期：解析、权限检查、索引更新、redo 写入、binlog 记录。哪怕关了 autocommit，也扛不住百万次引擎层操作。

实测：InnoDB 表无索引、仅 int 字段时，10 万条可能 6 秒；但只要加一个二级索引，时间翻 3 倍以上；真实业务表带 varchar、datetime、外键约束，10 万条轻松破 3 分钟
DELIMITER 和 WHILE 只适合造极简测试数据（比如纯 ID + 随机字符串），且总量建议 ≤ 1 万
真正需要数据库内生成数据，优先用 INSERT ... SELECT 配合 sys.schema_table_statistics 或自增序列模拟，避免循环

实际批量插入百万级数据，最常卡住的点不在语法，而在「连接超时」和「服务端 packet 限制」这两道门。前者靠调客户端 socketTimeout + 显式事务控制，后者靠预估单条 SQL 长度并分批。LOAD DATA 虽快，但第一道权限门槛就筛掉一半环境；Java Batch 看似省事，不加 rewriteBatchedStatements=true 就等于白写。