如何优化 PHP/MySQL 大批量 CSV 导入以支持多用户并发写入-php教程-PHP中文网

如何优化 PHP/MySQL 大批量 CSV 导入以支持多用户并发写入

本文介绍通过 load data、批量 insert、事务控制与异步队列四大策略，解决多用户同时导入万级 csv 记录时数据库阻塞、串行等待的问题，显著提升并发写入性能与用户体验。

本文介绍通过 load data、批量 insert、事务控制与异步队列四大策略，解决多用户同时导入万级 csv 记录时数据库阻塞、串行等待的问题，显著提升并发写入性能与用户体验。

在 Web 应用中，当多个用户同时上传包含数千甚至上万条记录的 CSV 文件并执行数据库插入时，若仍采用传统的单条 INSERT 循环（如 foreach ($rows as $row) { $pdo->exec("INSERT INTO ..."); }），极易引发严重性能瓶颈：MySQL 表级锁或行锁竞争、网络往返延迟叠加、事务自动提交开销剧增，最终导致只有首个请求能成功写入，其余请求被阻塞或超时失效。

✅ 核心优化方案

1. 优先使用 LOAD DATA INFILE（推荐）

这是 MySQL 原生最快的数据导入方式，比逐条 INSERT 快 10–20 倍。它绕过 SQL 解析层，直接将文件内容流式加载至表中。

// 示例：安全地使用 LOAD DATA（需确保 secure_file_priv 配置允许）
$csvPath = '/tmp/upload_' . uniqid() . '.csv';
file_put_contents($csvPath, $csvContent);

$pdo->exec("
    LOAD DATA INFILE '" . addslashes($csvPath) . "' 
    INTO TABLE users 
    FIELDS TERMINATED BY ',' 
    ENCLOSED BY '\"' 
    LINES TERMINATED BY '\n' 
    IGNORE 1 ROWS
");

⚠️ 注意：生产环境需配置 secure_file_priv，且 PHP 进程需有文件读取权限；也可改用 LOAD DATA LOCAL INFILE（需 MySQL 启用 local_infile=ON 并在 PDO 连接中设置 PDO::MYSQL_ATTR_LOCAL_INFILE => true）。

2. 替代方案：批量 INSERT + 事务封装

若无法使用 LOAD DATA，应避免单条插入，改为每 100–500 行一组批量插入，并包裹在显式事务中：

$pdo->beginTransaction();
try {
    $stmt = $pdo->prepare("INSERT INTO users (name, email, created_at) VALUES (?, ?, ?)");

    foreach (array_chunk($rows, 200) as $chunk) {
        $values = [];
        $params = [];
        foreach ($chunk as $row) {
            $values[] = "(?, ?, ?)";
            $params[] = $row['name'];
            $params[] = $row['email'];
            $params[] = date('Y-m-d H:i:s');
        }

        $sql = "INSERT INTO users (name, email, created_at) VALUES " . implode(', ', $values);
        $pdo->prepare($sql)->execute($params);
    }

    $pdo->commit();
} catch (Exception $e) {
    $pdo->rollback();
    throw $e;
}

3. 关键调优：禁用自动提交 + 索引/约束临时关闭（仅限导入期间）

在事务开始前执行：

Miller CSV TSV JSON 数据处理器

Miller (mlr) 是一个命令行工具，用于查询、整形和重新格式化名称索引数据，如 CSV、TSV、JSON 和 JSON Lines。它将 awk、sed、cut、join 和 sort 的功能整合到一个专为结构化数据处理而构建的单一工具中。

下载

SET autocommit = 0;
SET unique_checks = 0;    -- 暂停唯一索引校验
SET foreign_key_checks = 0; -- 暂停外键约束检查
-- 执行批量插入...
COMMIT;
SET unique_checks = 1;
SET foreign_key_checks = 1;

⚠️ 注意：此操作仅适用于可信数据源的离线导入场景，切勿在高并发在线业务中长期禁用。