SQL如何高效实现千万级数据批量插入_采用BulkInsert与批量提交

夏磊小哥_9707

夏磊小哥_9707

2026-04-20

380人浏览

原创

SqlBulkCopy必须显式设置BatchSize、DestinationTableName、EnableStreaming三参数,否则千万级插入大概率失败或极慢;BatchSize宜设10000,DestinationTableName须用三段式如"dbo.MyTable",EnableStreaming=true启用流式读取防OOM。

sql如何高效实现千万级数据批量插入_采用bulkinsert与批量提交

SqlBulkCopy 必须显式设置的三个参数

不设 BatchSize、DestinationTableName、EnableStreaming,千万级插入大概率失败或极慢。

  • BatchSize = 10000:太小(如 100)触发高频网络往返;太大(如 100000)易引发内存溢出或锁升级。1w 是多数 OLTP 场景实测稳定值
  • DestinationTableName = "dbo.MyTable":必须带 schema,只写 "MyTable" 会报 "Invalid object name 'MyTable'"
  • EnableStreaming = true:对 DataTable 或 IDataReader 源启用流式读取。不设它,500 万行数据可能直接 OOM

列映射错位导致静默丢数据

SqlBulkCopy 默认按列序匹配(source 第 1 列 → target 第 1 列),不是按列名。源列顺序和目标表不一致时,数据全插反,但不报错。

  • 查目标表真实列序:SELECT COLUMN_NAME FROM INFORMATION_SCHEMA.COLUMNS WHERE TABLE_NAME='MyTable' ORDER BY ORDINAL_POSITION
  • 或显式加映射:bulkCopy.ColumnMappings.Add("SourceName", "TargetName"),注意大小写和拼写——拼错、漏加、大小写不一致都会让该列变 NULL 或类型转换失败

BULK INSERT 文件路径与权限陷阱

BULK INSERT 要求 SQL Server 进程能直接访问文件路径,不是你本地能打开就行。

  • 文件必须在数据库服务器本地磁盘,或配置了 SQL Server 服务账户有读取权限的 UNC 路径(如 \serversharedata.csv)
  • 不能用 C:UsersMe... 这类用户路径——SQL Server 服务一般以 NT SERVICEMSSQLSERVER 运行,没权限
  • 字段/行分隔符必须严格匹配文件内容:FIELDTERMINATOR = ',' 但文件用 ; 分隔?整批失败且错误日志可能不明显

bulk_insert_mappings 不触发 ORM 事件,也不走约束校验

SQLAlchemy 的 bulk_insert_mappings 是纯数据搬运工,性能高,但代价明确。

  • 不会调用 @validates、before_insert 等 ORM 钩子,所有预处理逻辑得提前做干净
  • 不检查数据库默认值、CHECK 约束、外键(除非显式开启 return_defaults=True 并配好返回逻辑)
  • 遇到类型不匹配(如字典里传了 "age": "25" 字符串而非 int),报错位置常在底层驱动层,堆栈难定位

实际跑通千万级插入,关键不在“怎么写”,而在“谁在执行”——是客户端进程在推数据,还是 SQL Server 自己从磁盘拉数据,决定了权限、路径、内存模型、事务边界这四件事能不能对得上。漏掉任一环,都可能卡在“看起来成功、其实没数据”或者“某列全 NULL”的状态里。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
mysql修改数据表名
mysql修改数据表名

MySQL修改数据表:1、首先查看数据库中所有的表,代码为:‘SHOW TABLES;’;2、修改表名,代码为:‘ALTER TABLE 旧表名 RENAME [TO] 新表名;’。php中文网还提供MySQL的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

2553

6

MySQL创建存储过程
MySQL创建存储过程

存储程序可以分为存储过程和函数,MySQL中创建存储过程和函数使用的语句分别为CREATE PROCEDURE和CREATE FUNCTION。使用CALL语句调用存储过程智能用输出变量返回值。函数可以从语句外调用(通过引用函数名),也能返回标量值。存储过程也可以调用其他存储过程。php中文网还提供MySQL创建存储过程的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.21

1539

5

mongodb和mysql的区别
mongodb和mysql的区别

mongodb和mysql的区别:1、数据模型;2、查询语言;3、扩展性和性能;4、可靠性。本专题为大家提供mongodb和mysql的区别的相关的文章、下载、课程内容,供大家免费下载体验。

2023.07.18

915

5

mysql密码忘了怎么查看
mysql密码忘了怎么查看

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql密码忘了怎么办呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.19

3672

5

mysql创建数据库
mysql创建数据库

MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS 应用软件之一。那么mysql怎么创建数据库呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

2023.07.25

6348

4

mysql默认事务隔离级别
mysql默认事务隔离级别

MySQL是一种广泛使用的关系型数据库管理系统,它支持事务处理。事务是一组数据库操作,它们作为一个逻辑单元被一起执行。为了保证事务的一致性和隔离性,MySQL提供了不同的事务隔离级别。php中文网给大家带来了相关的教程以及文章欢迎大家前来学习阅读。

2023.08.08

1339

3

sqlserver和mysql区别
sqlserver和mysql区别

SQL Server和MySQL是两种广泛使用的关系型数据库管理系统。它们具有相似的功能和用途,但在某些方面存在一些显著的区别。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.11

6611

4

mysql忘记密码
mysql忘记密码

MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内,这样就增加了速度并提高了灵活性。那么忘记mysql密码我们该怎么解决呢?php中文网给大家带来了相关的教程以及其他关于mysql的文章,欢迎大家前来学习阅读。

2023.08.14

5662

7

mysql事务隔离级别
mysql事务隔离级别

mysql规范中定义了四种事务隔离级别,不同的隔离级别对事务的处理有所不同。本专题为大家提供mysql事务隔离级别相关的文章内容,大家可以免费体验。

2023.08.16

7694

11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.3万人学习