Laravel如何批量插入海量数据到数据库?(速度测试)

阿强大大_4641

阿强大大_4641

2026-03-29

553人浏览

原创

用 DB::table()->insert() 批量插入可将10万条数据耗时从3–5分钟降至2–5秒,因避免了Eloquent生命周期开销;需注意字段顺序、单批≤1000行、流式读取、禁用日志与事件、合理使用INSERT IGNORE等。

laravel如何批量插入海量数据到数据库?(速度测试)

用 DB::table()->insert() 批量插,别用 Model::create()

单条 Model::create() 插入 10 万条数据,通常要 3–5 分钟,还可能 OOM;换成原生批量插入,基本能压到 2–5 秒。根本原因是:前者每条都走 Eloquent 生命周期(事件、访问器、类型转换、验证模拟),后者只是拼 SQL + 一次 PDO 执行。

实操建议:

  • insert() 接收二维数组,每项是字段名 => 值的关联数组,字段顺序必须一致(PDO 不认键名,靠位置绑定)
  • 单次插入别超 1000 行,MySQL 默认 max_allowed_packet 通常为 4MB,1000 行含中等长度字符串一般刚好卡在安全边界
  • 避免混用 NULL 和空字符串,字段定义为 NOT NULL 时,NULL 会直接报错 SQLSTATE[HY000]: General error: 1364 Field doesn't have a default value
  • 时间字段统一用 date('Y-m-d H:i:s'),别传 Carbon 实例——insert() 不会自动调用 toDateTimeString()

手动分 chunk 写死批次大小,别信 Collection::chunk() 的默认行为

Collection::chunk(1000) 看似省事,但底层是 array_chunk(),对超大数组会一次性把全部数据载入内存。读 100 万行 CSV 后再 chunk,PHP 进程 RSS 很快飙到 1.2GB+,直接被系统 kill。

正确做法是边读边插:

  • 用 fopen() + fgetcsv() 流式读 CSV,每次只 hold 一行原始数据
  • 攒够 500–1000 行再调 DB::table()->insert($batch),插完清空 $batch = []
  • 在循环里加 if (count($batch) >= 1000) { ...; $batch = []; },比依赖 Collection 更可控
  • 注意:DB::transaction() 在这里没意义——单个 insert() 本身就是原子操作,套事务反而增加锁等待

关掉查询日志和模型事件,否则速度直接打五折

Laravel 开发环境默认开启 DB::enableQueryLog(),且 Eloquent 模型默认触发 creating/created 事件。哪怕你没监听,框架仍会遍历空事件列表 + 记录每条 SQL 到内存,10 万条就是 10 万次无谓循环。

Laravel Cloud
Laravel Cloud

Laravel Cloud(cloud.laravel.com)。此技能用于处理所有 Laravel Cloud 请求,包括搜索和读取数据。只要任务涉及 Laravel Cloud,即使用此技能。

下载

上线前必须确认:

  • APP_DEBUG=false,否则 DB::getQueryLog() 自动启用
  • 临时禁用模型事件:User::unsetEventDispatcher()(插完记得恢复)
  • 如果用了自定义的 boot() 里写日志或统计,批量时务必包一层 if (app()->environment('local')) { ... }
  • 检查是否启用了 Telescope 或 Laravel Debugbar——它们会拦截并存储每条查询,批量插入时极易撑爆 Redis 或本地文件

INSERT IGNORE / ON DUPLICATE KEY UPDATE 性能差很多,选错语法会拖慢 3 倍

有唯一索引冲突处理需求时,INSERT IGNORE 比 ON DUPLICATE KEY UPDATE 快得多,因为前者是“遇到冲突直接跳过”,后者要先查再更新,多一次索引查找。

但注意:

  • INSERT IGNORE 静默丢弃整行,不报错也不返回影响行数,调试时容易误以为数据丢了
  • ON DUPLICATE KEY UPDATE 要显式列出所有需更新字段,漏写 updated_at 就不会自动刷新时间戳
  • 别在批量中混用两种逻辑——比如部分行用 IGNORE,部分用 UPDATE,只能拆成两次 insert() 调用,失去批量意义
  • 如果表有触发器,INSERT IGNORE 仍会触发 BEFORE INSERT,但不会进 AFTER INSERT;而 ON DUPLICATE KEY UPDATE 会走 BEFORE UPDATE 和 AFTER UPDATE

真正卡点不在语法本身,而在你有没有提前建好覆盖所有 INSERT 条件的联合唯一索引——没索引时,IGNORE 和 UPDATE 都会全表扫描去判重,速度直接归零。

相关专题

更多
laravel组件介绍
laravel组件介绍

laravel 提供了丰富的组件,包括身份验证、模板引擎、缓存、命令行工具、数据库交互、对象关系映射器、事件处理、文件操作、电子邮件发送、队列管理和数据验证。想了解更多laravel的相关内容,可以阅读本专题下面的文章。

2024.04.09

877

10

laravel中间件介绍
laravel中间件介绍

laravel 中间件分为五种类型:全局、路由、组、终止和自定。想了解更多laravel中间件的相关内容,可以阅读本专题下面的文章。

2024.04.09

855

9

laravel使用的设计模式有哪些
laravel使用的设计模式有哪些

laravel使用的设计模式有:1、单例模式;2、工厂方法模式;3、建造者模式;4、适配器模式;5、装饰器模式;6、策略模式;7、观察者模式。想了解更多laravel的相关内容,可以阅读本专题下面的文章。

2024.04.09

2508

10

thinkphp和laravel哪个简单
thinkphp和laravel哪个简单

对于初学者来说,laravel 的入门门槛较低,更易上手,原因包括:1. 更简单的安装和配置;2. 丰富的文档和社区支持;3. 简洁易懂的语法和 api;4. 平缓的学习曲线。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.04.10

4721

7

laravel入门教程
laravel入门教程

本专题整合了laravel入门教程,想了解更多详细内容,请阅读专题下面的文章。

2025.08.05

6890

22

laravel实战教程
laravel实战教程

本专题整合了laravel实战教程,阅读专题下面的文章了解更多详细内容。

2025.08.05

4536

13

laravel面试题
laravel面试题

本专题整合了laravel面试题相关内容,阅读专题下面的文章了解更多详细内容。

2025.08.05

8509

7

PHP高性能API设计与Laravel服务架构实践
PHP高性能API设计与Laravel服务架构实践

本专题围绕 PHP 在现代 Web 后端开发中的高性能实践展开,重点讲解基于 Laravel 框架构建可扩展 API 服务的核心方法。内容涵盖路由与中间件机制、服务容器与依赖注入、接口版本管理、缓存策略设计以及队列异步处理方案。同时结合高并发场景,深入分析性能瓶颈定位与优化思路,帮助开发者构建稳定、高效、易维护的 PHP 后端服务体系。

2026.03.04

1516

29

Laravel 框架安装指南
Laravel 框架安装指南

本指南详解 Laravel 框架安装全流程,涵盖 PHP 8.1+ 环境配置、Composer 依赖管理工具安装及国内镜像源优化。重点演示使用 composer create-project 命令创建 Laravel 10/11 项目,解决常见安装错误与依赖冲突。从环境搭建到项目初始化,助您快速完成 Laravel 开发环境部署,为后续 Web 应用开发奠定基础。适合 PHP 初学者与框架迁移开发者参考。

2026.04.09

215

6

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
如何安装 Composer
如何安装 Composer

共1课时 | 221人学习

Composer手册
Composer手册

共0课时 | 0人学习