如何高效批量填充百万级测试数据以避免内存溢出-php教程-PHP中文网

如何高效批量填充百万级测试数据以避免内存溢出

本文详解 laravel 中使用模型工厂进行大规模数据填充时的内存泄漏成因与优化方案，重点介绍分批处理、禁用查询日志、释放模型实例等实战技巧，帮助开发者安全完成 100 万级数据种子操作。

本文详解 laravel 中使用模型工厂进行大规模数据填充时的内存泄漏成因与优化方案，重点介绍分批处理、禁用查询日志、释放模型实例等实战技巧，帮助开发者安全完成 100 万级数据种子操作。

在 Laravel 中执行大规模数据填充（如 seeding 100 万个关联记录）时，常见错误并非“代码写错了”，而是忽略了 ORM 层与数据库交互的资源开销模式。你提供的代码看似逻辑清晰——每轮迭代创建 10 个 Term，再为每个 Term 关联生成 10 个 Question——但实际触发了典型的 N+1 查询放大 + 内存累积 双重问题：

每次 $terms->each(...) 中调用 saveMany() 会逐条执行 INSERT，并触发 Eloquent 事件、属性转换、关系加载等开销；
Question::factory(10)->make([...]) 返回的是未持久化的模型集合，但 saveMany() 仍需逐个实例化、验证、插入，且所有已创建的 Term 和 Question 实例均保留在 PHP 内存中（即使变量被复用，Eloquent 对象引用未显式销毁）；
更关键的是：Laravel 默认开启查询日志（DB::enableQueryLog()）用于调试，但在大批量操作中会将全部 SQL 记录在内存中，成为首要内存杀手。

✅ 正确做法：分批 + 禁用日志 + 原生批量插入

以下是一个生产就绪的优化方案（以填充 1,000,000 条 Question 为例）：

use Illuminate\Support\Facades\DB;
use Illuminate\Database\Eloquent\Factories\Sequence;

// ⚠️ 关键：禁用查询日志（开发环境可临时关闭，生产环境默认已关）
DB::disableQueryLog();

$count = 100_000; // 总 Term 数（可按需调整）

// 分批创建 Term（每批 500 个，避免单次事务过大）
foreach (range(1, $count, 500) as $start) {
    $batchSize = min(500, $count - $start + 1);

    $terms = Term::factory()->count($batchSize)->create();

    // 批量生成 Question 数据（不走 Eloquent，直接构造数组）
    $questions = [];
    foreach ($terms as $term) {
        for ($i = 0; $i  $term->id,
                'content' => fake()->sentence(),
                'created_at' => now(),
                'updated_at' => now(),
            ];
        }
    }

    // 使用原生批量插入（极快且内存友好）
    DB::table('questions')->insert($questions);

    // ? 主动释放内存（可选但推荐）
    unset($terms, $questions);
    gc_collect_cycles(); // 强制垃圾回收
}

? 关键优化点说明

禁用查询日志：DB::disableQueryLog() 是解决“2000 次后爆内存”的最直接手段（尤其在 Connection.php 报错时优先排查）；
避免 Eloquent 批量 save：saveMany() 本质仍是 N 次单条插入；改用 DB::table()->insert() 可将 10,000 次插入压缩为 1 次（或按 1000 行/批）；
控制批次大小：500–1000 条/批是 MySQL 和 PHP 内存的较优平衡点；过大会导致单次事务锁表时间长，过小则增加循环开销；
手动内存管理：unset() + gc_collect_cycles() 能显著缓解长期运行脚本的内存爬升；
跳过模型事件（进阶）：若无需 creating/created 等事件，可在插入前全局禁用：
Event::forget(Term::class); 或在工厂中设置 withoutEvents()。