如何批量向MySQL表中插入数据

雨伟酱_1038

雨伟酱_1038

2026-08-24

975人浏览

原创

mysql批量插入最常用方式是insert into ... values多行插入,即单条语句包含多组括号值;万级以上数据推荐load data infile;处理重复键可用insert ignore或on duplicate key update;python中应使用executemany而非字符串拼接。

如何批量向mysql表中插入数据

INSERT INTO ... VALUES 多行插入最常用

批量插入的本质是避免逐条 INSERT,核心就是把多组值塞进一条语句里。MySQL 原生支持在单条 INSERT 后跟多组括号,例如:

INSERT INTO users (name, email) VALUES ('Alice', 'a@x.com'), ('Bob', 'b@x.com'), ('Charlie', 'c@x.com');
这样一次提交 3 行,比发 3 条语句快得多。但要注意:默认 max_allowed_packet 限制(通常 4MB),值太多会报错 Packets larger than max_allowed_packet are not allowed。建议单次控制在 1000 行以内,具体看字段长度——字符串越长,能塞的行数越少。

用 LOAD DATA INFILE 替代 INSERT 处理万级以上数据

当要导入几万甚至百万行时,INSERT ... VALUES 仍显慢,LOAD DATA INFILE 是 MySQL 官方推荐的高速通道。它直接从服务端文件读取文本(如 CSV),跳过 SQL 解析开销。使用前需确认:

  • MySQL 配置中 secure_file_priv 指向的目录(用 SHOW VARIABLES LIKE 'secure_file_priv'; 查)
  • 文件必须放在该目录下,且 MySQL 进程有读权限
  • 字段分隔符、换行符需与文件一致,例如:
    LOAD DATA INFILE '/var/lib/mysql-files/data.csv' INTO TABLE users FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' (name, email);
注意:客户端本地文件不能直接用,必须先传到服务端指定路径;若用 LOCAL 关键字(LOAD DATA LOCAL INFILE),需客户端和服务端都启用对应选项,且存在安全风险,很多生产环境禁用。

用 INSERT IGNORE 或 ON DUPLICATE KEY UPDATE 处理重复键

批量插入常遇到主键或唯一索引冲突。不加处理会中断整个语句。两种主流应对方式:

python-code-analyz
python-code-analyz

专业Python代码分析与优化,支持语法检查、安全扫描、性能评估、复杂度分析及重构后优化代码生成。

下载
  • INSERT IGNORE:冲突时跳过当前行,其余继续执行,不会报错
  • INSERT ... ON DUPLICATE KEY UPDATE:冲突时执行更新逻辑,比如 INSERT INTO logs (url, count) VALUES ('/api', 1) ON DUPLICATE KEY UPDATE count = count + 1;
注意:后者只触发一次更新,不是“先插失败再更新”,性能更好;但更新字段不能引用未在 VALUES() 中出现的列,否则报错 Unknown column 'xxx' in 'field list'。另外,IGNORE 会静默吞掉其他错误(如数据截断),调试时容易掩盖问题。

Python 批量插入别直接拼 SQL 字符串

用 Python(如 pymysql 或 mysql-connector-python)时,常见错误是用 str.format 或 f-string 拼接 VALUES 列表。这既危险(SQL 注入),又难控长度。正确做法是交给驱动处理:

cursor.executemany("INSERT INTO users (name, email) VALUES (%s, %s)", [('Alice','a@x.com'), ('Bob','b@x.com')])
注意:executemany 在底层仍是多条语句(非单条多值),性能略低于手写 VALUES (...),(...),但更安全、易维护。若追求极致速度,可手动组装多值语句,但务必用驱动的参数占位符(%s)做绑定,绝不要字符串拼接用户输入。

真正卡住人的往往不是语法,而是 secure_file_priv 路径限制、max_allowed_packet 溢出、或唯一约束没提前建好导致整批失败。动手前先查配置,小批量试跑,再扩量。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

3883

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

831

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

1009

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

5721

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

2663

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

5700

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

7521

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1030

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

892

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL vs MySQL
PostgreSQL vs MySQL

共1课时 | 178人学习

使用phpenv集成环境安装极致CMS
使用phpenv集成环境安装极致CMS

共2课时 | 282人学习