MySQL用INSERT IGNORE、PostgreSQL用ON CONFLICT DO NOTHING、SQL Server可用IGNORE_DUP_KEY索引或MERGE语句实现批量插入时跳过重复唯一键,均需预先建立对应唯一约束,且仅对唯一键冲突静默跳过,其余错误仍报错中断。

直接用 INSERT IGNORE(MySQL)、ON CONFLICT DO NOTHING(PostgreSQL)或带 IGNORE_DUP_KEY = ON 的唯一索引(SQL Server),就能在批量插入时跳过重复键、不报错、不中断事务。
MySQL:用 INSERT IGNORE 跳过重复主键/唯一键
它只对 PRIMARY KEY 或 UNIQUE 约束冲突静默忽略,其余错误(如 NOT NULL 违反、类型不匹配)仍会中止整个语句。
- 必须提前建好对应唯一约束,比如按
email去重,就得有ALTER TABLE users ADD UNIQUE (email) -
NULL在唯一索引中不算重复值,多条INSERT IGNORE ... email = NULL会全部成功 - 批量插入建议单次不超过 1000 行,避免长事务锁表
- 执行后
mysql_affected_rows()返回值可能小于 VALUES 数量——差值就是被跳过的行数,别把它当失败信号
PostgreSQL:靠 ON CONFLICT 显式指定冲突列
语法更严谨,必须写明冲突依据,不能模糊处理。
- 写成
ON CONFLICT (email) DO NOTHING,前提是该列上有唯一索引;也可写成ON CONFLICT ON CONSTRAINT idx_users_email DO NOTHING,更安全,避免列名歧义 - 漏掉
DO NOTHING会直接报语法错误 - 如果想按多个字段联合去重(比如
(user_id, category)),必须确保复合唯一索引存在,且ON CONFLICT中列出全部字段或引用对应约束名 - 不支持“部分匹配”:只要任一冲突字段命中,整行就被跳过,不会只跳过某列
SQL Server:要么改索引,要么用 MERGE
没有语句级的 IGNORE 机制,方案分两类:
- 若能修改表结构:在唯一索引上启用
IGNORE_DUP_KEY = ON,例如CREATE UNIQUE INDEX uk_email ON users(email) WITH (IGNORE_DUP_KEY = ON)。之后所有对该索引的INSERT都自动跳过冲突行,无需改 SQL - 若无权限改索引:只能用
MERGE,但必须显式写出WHEN NOT MATCHED THEN INSERT,漏掉WHEN MATCHED分支不是默认跳过,而是全量失败 -
MERGE要求目标表有唯一索引支撑ON条件,否则匹配不可靠,高并发下可能出错
没权限建索引?用 INSERT ... SELECT ... WHERE NOT EXISTS
这是兜底方案,不依赖数据库约束,但代价明显。
- 必须给判断字段加索引,否则每次插入都触发全表扫描,高并发下性能断崖式下跌
- 写法必须是
WHERE NOT EXISTS (SELECT 1 FROM t WHERE t.email = s.email),不能用NOT IN——一旦子查询返回NULL,整条逻辑失效 - MySQL 中可省括号,PostgreSQL 要求
SELECT外层加括号,否则语法报错 - 它会在事务内自动加共享锁,比应用层“先查后插”更安全,但比
INSERT IGNORE慢一个数量级
最容易被忽略的一点:所有“跳过”机制都只作用于行粒度,但返回的受影响行数(ROW_COUNT() / rowCount())无法告诉你哪几行被跳了——你得靠日志、主键范围比对,或额外加 SELECT 校验,才能定位具体哪条数据因重复被忽略。










