MySQL 批量导入百万级 CSV 数据至多表的极速方案（5 秒内完成）-js教程-PHP中文网

本文介绍如何利用 MySQL 原生 LOAD DATA INFILE 与 staging table 策略，将 10 万+ 行 CSV 数据高效拆分写入 5 张关联表，全程控制在 5 秒内，远超 ORM 单条插入或小批量 save 的性能极限。

本文介绍如何利用 mysql 原生 `load data infile` 与 staging table 策略，将 10 万+ 行 csv 数据高效拆分写入 5 张关联表，全程控制在 5 秒内，远超 orm 单条插入或小批量 save 的性能极限。

在 Express + TypeORM 技术栈中直接通过 ORM 插入 10 万+ 行结构化数据（如用户、评论、员工、职位、公司等多实体关联数据），极易遭遇性能瓶颈——即使采用 save() 批量提交（如每 100 条一批），仍受限于事务开销、N+1 查询、外键约束校验及网络往返延迟，实际耗时往往达数分钟。

真正高效的解决方案是绕过 ORM，直击 MySQL 底层批量能力：将原始 CSV 作为“暂存原料”，用原生 SQL 在数据库内完成解析、映射与分发。核心流程分为四步：

✅ 第一步：创建宽表暂存区（Staging Table）

先建一张与 CSV 结构完全一致的宽表 raw_import，允许所有字段为 TEXT 或 VARCHAR(255)，暂不设外键或复杂约束：

CREATE TABLE raw_import (
  id INT AUTO_INCREMENT PRIMARY KEY,
  reviewer VARCHAR(255),
  review LONGTEXT,
  email VARCHAR(255),
  rating TINYINT,
  employee VARCHAR(255),
  employee_position VARCHAR(255),
  employee_unique_id VARCHAR(255),
  company VARCHAR(255),
  company_description LONGTEXT
);

✅ 第二步：极速加载 CSV 到暂存表

启用 LOCAL INFILE（需 MySQL 配置 local_infile=ON 并授予 FILE 权限），单条命令秒级导入：

LOAD DATA LOCAL INFILE '/path/to/data.csv'
INTO TABLE raw_import
FIELDS TERMINATED BY ',' 
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS;
-- 注意：确保 CSV 字段顺序与表定义严格一致

⚠️ 安全提示：生产环境慎用 LOCAL INFILE；若不可用，可先上传至 MySQL 服务器本地路径，改用 LOAD DATA INFILE（无需 LOCAL）。

✅ 第三步：原子化拆分写入目标表（关键优化点）

利用 INSERT ... SELECT 一次性生成各实体表，避免逐行计算 ID。针对主键自增/UUID 场景，推荐以下模式：

csv to excel

将CSV文件转换为支持中文字符、自动格式化、多工作表的专业Excel工作簿。

下载

User 表（去重 + 自增 ID）：

INSERT INTO user (name, email)
SELECT DISTINCT reviewer, email
FROM raw_import
WHERE email IS NOT NULL AND email != '';

Employee 表（基于唯一 ID 关联）：

INSERT INTO employee (id, name, company_id, position_id)
SELECT DISTINCT 
  employee_unique_id,
  employee,
  (SELECT id FROM company WHERE name = raw_import.company LIMIT 1),
  (SELECT id FROM employee_position WHERE name = raw_import.employee_position LIMIT 1)
FROM raw_import
WHERE employee_unique_id IS NOT NULL;

Review 表（关联已生成的 User/Employee ID）：

INSERT INTO review (text, rating, from_user_id, for_employee_id)
SELECT 
  r.review,
  r.rating,
  u.id,
  e.id
FROM raw_import r
JOIN user u ON u.email = r.email
JOIN employee e ON e.id = r.employee_unique_id;

? 提示：company 和 employee_position 表需提前预置基础数据（如 CSV 中出现的所有职位名、公司名），或通过 INSERT IGNORE ... SELECT DISTINCT 快速初始化。

✅ 第四步：零停机切换（可选，适用于全量替换场景）

若需完全替换旧数据，按如下三步实现亚秒级上线：

创建带 _new 后缀的新表（如 user_new, review_new）；
上述 INSERT ... SELECT 写入 _new 表；

原子重命名切换：

RENAME TABLE 
  user TO user_old,
  user_new TO user,
  review TO review_old,
  review_new TO review,
  employee TO employee_old,
  employee_new TO employee,
  employee_position TO employee_position_old,
  employee_position_new TO employee_position,
  company TO company_old,
  company_new TO company;
DROP TABLE user_old, review_old, employee_old, employee_position_old, company_old;

? 注意事项与最佳实践

禁用索引与外键：导入前 ALTER TABLE raw_import DISABLE KEYS，导入后 ENABLE KEYS；目标表可在数据写入完成后再创建索引。
事务粒度：整个流程无需显式事务——每个 INSERT ... SELECT 本身已是原子操作，且 RENAME TABLE 为元数据操作，毫秒级完成。
TypeORM 协同：导入完成后，可通过 queryRunner.query() 在 TypeORM 中执行上述 SQL，保持事务上下文统一；但切勿在循环中调用 repository.save()。
内存与配置：增大 innodb_buffer_pool_size、bulk_insert_buffer_size 及 max_allowed_packet，避免导入中断。

通过该方案，10 万行 CSV 的全链路处理（含清洗、关联、写入、切换）可稳定控制在 3–5 秒内，性能提升 50 倍以上。记住：当数据规模突破万级，数据库原生批量能力永远优于应用层抽象——让 SQL 做它最擅长的事。