Symfony3数据库模型批量插入数据怎么提速

蓮花仙者

蓮花仙者

2026-08-01

650人浏览

原创

提速核心是绕过orm单条事务开销,改用原生批量插入+手动事务控制:关闭自动提交、拼接insert语句、分批1000–5000行、临时禁用外键与唯一性检查、每千条clear缓存并流式读取。

symfony3数据库模型批量插入数据怎么提速

用 Doctrine ORM 直接 save() 逐条写入,几万条数据可能卡十几分钟。提速核心不是换框架,而是绕过 ORM 的单条事务开销,改用原生批量机制 + 事务控制。

关闭自动提交,手动包裹事务

Doctrine 默认每 flush() 都触发一次 commit。必须显式禁用 autocommit,并用原生连接执行事务:

  • 获取底层 PDO 连接:$conn = $em->getConnection();
  • 执行 $conn->executeStatement('START TRANSACTION');
  • 插入完成后调用 $conn->executeStatement('COMMIT');
  • 出错时用 ROLLBACK 回滚,避免残留脏数据

用原生 INSERT ... VALUES 批量拼接

别依赖 $em->persist() + flush()。把数据组装成标准 SQL:

Symfony Windows版
Symfony Windows版

Symfony Windows版用于下载 Symfony CLI 5.17.1 官方安装包,辅助开发者创建 Symfony 项目并进入框架学习与配置流程。

下载
  • 每批控制在 1000–5000 行(避开 MySQL max_allowed_packet 限制)
  • 拼接格式:INSERT INTO table (col1,col2) VALUES (v1,v2), (v3,v4), ...
  • 注意参数转义——用 $conn->quote() 处理字符串,避免 SQL 注入
  • 数值、布尔值等直接拼接,不加引号

临时禁用索引与约束(仅限导入阶段)

如果确认数据干净,可大幅提升写入速度:

  • 导入前执行:SET FOREIGN_KEY_CHECKS = 0;SET UNIQUE_CHECKS = 0;
  • 导入完成后再恢复:SET FOREIGN_KEY_CHECKS = 1;SET UNIQUE_CHECKS = 1;
  • 注意:此操作需有 DDL 权限,且仅适用于一次性全量导入场景

分批次处理 + 内存释放

避免 Doctrine 管理大量 Entity 导致内存溢出:

  • 每处理 1000 条就调用 $em->clear(); 清空一级缓存
  • 不要把全部数据先 load 到对象数组再循环 —— 改为流式读取(如用 fgetcsv 或分页查源数据)
  • PHP CLI 模式下建议设 ini_set('memory_limit', '1G'); 防止中断

相关专题

更多
php文件怎么打开
php文件怎么打开

打开php文件步骤:1、选择文本编辑器;2、在选择的文本编辑器中,创建一个新的文件,并将其保存为.php文件;3、在创建的PHP文件中,编写PHP代码;4、要在本地计算机上运行PHP文件,需要设置一个服务器环境;5、安装服务器环境后,需要将PHP文件放入服务器目录中;6、一旦将PHP文件放入服务器目录中,就可以通过浏览器来运行它。

2023.09.01

5408

6

php怎么取出数组的前几个元素
php怎么取出数组的前几个元素

取出php数组的前几个元素的方法有使用array_slice()函数、使用array_splice()函数、使用循环遍历、使用array_slice()函数和array_values()函数等。本专题为大家提供php数组相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.11

3586

5

php反序列化失败怎么办
php反序列化失败怎么办

php反序列化失败的解决办法检查序列化数据。检查类定义、检查错误日志、更新PHP版本和应用安全措施等。本专题为大家提供php反序列化相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.11

1785

5

php怎么连接mssql数据库
php怎么连接mssql数据库

连接方法:1、通过mssql_系列函数;2、通过sqlsrv_系列函数;3、通过odbc方式连接;4、通过PDO方式;5、通过COM方式连接。想了解php怎么连接mssql数据库的详细内容,可以访问下面的文章。

2023.10.23

2249

4

php连接mssql数据库的方法
php连接mssql数据库的方法

php连接mssql数据库的方法有使用PHP的MSSQL扩展、使用PDO等。想了解更多php连接mssql数据库相关内容,可以阅读本专题下面的文章。

2023.10.23

2758

6

html怎么上传
html怎么上传

html通过使用HTML表单、JavaScript和PHP上传。更多关于html的问题详细请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.03

1998

9

PHP出现乱码怎么解决
PHP出现乱码怎么解决

PHP出现乱码可以通过修改PHP文件头部的字符编码设置、检查PHP文件的编码格式、检查数据库连接设置和检查HTML页面的字符编码设置来解决。更多关于php乱码的问题详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.09

3006

8

php文件怎么在手机上打开
php文件怎么在手机上打开

php文件在手机上打开需要在手机上搭建一个能够运行php的服务器环境,并将php文件上传到服务器上。再在手机上的浏览器中输入服务器的IP地址或域名,加上php文件的路径,即可打开php文件并查看其内容。更多关于php相关问题,详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.13

2288

8

sprintf函数用法详解
sprintf函数用法详解

sprintf函数的用法:1、格式化字符串;2、指定输出宽度和精度;3、返回值。更多关于sprintf函数用法详解的内容,大家可以阅读下面的文章。

2023.11.27

10925

4

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Swoole手册
Swoole手册

共0课时 | 0人学习

Symfony 官方文档
Symfony 官方文档

共0课时 | 0人学习

Composer手册
Composer手册

共0课时 | 0人学习