except和not exists是查“这张有、那张没有”差异的主力,比整行或关键字段而非仅主键;需显式处理null比较,同步后须用事务、索引与分批保障安全。

用 EXCEPT 或 NOT EXISTS 找出缺失/多余行
直接比整张表差异,别先想 JOIN——它默认只返回匹配项,漏掉单边独有的记录。EXCEPT(PostgreSQL/SQL Server)或 NOT EXISTS(MySQL/Oracle 兼容性更好)才是查“这张有、那张没有”的主力。
常见错误是只比主键:比如 SELECT id FROM t1 EXCEPT SELECT id FROM t2,这只能发现 ID 缺失,但完全忽略同一 ID 下字段值是否已变更。真正要同步,得比完整行或至少所有业务关键字段。
- PostgreSQL/SQL Server:用
(SELECT * FROM t1) EXCEPT (SELECT * FROM t2)和反向再跑一次,两结果合起来就是全部差异行 - MySQL:改用
NOT EXISTS,例如SELECT * FROM t1 WHERE NOT EXISTS (SELECT 1 FROM t2 WHERE t2.id = t1.id AND t2.name = t1.name AND t2.status = t1.status) - 注意 NULL 比较:所有字段参与对比时,
NULL = NULL返回UNKNOWN,导致漏判。得显式写成(t2.col IS NULL AND t1.col IS NULL) OR t2.col = t1.col
用 UPDATE ... FROM 或 MERGE 批量更新目标表
找到差异后,不能靠应用层逐条 UPDATE——几百行就明显变慢,上千行可能锁表超时。数据库原生的批量更新语法才是正解。
不同方言写法差异大,核心是让「源表」和「目标表」在一条语句里关联上,避免子查询反复扫描:
- PostgreSQL:用
UPDATE t2 SET name = t1.name, status = t1.status FROM t1 WHERE t2.id = t1.id AND (t2.name, t2.status) IS DISTINCT FROM (t1.name, t1.status);IS DISTINCT FROM自动处理 NULL - SQL Server:优先用
MERGE,但注意它的WHEN MATCHED默认不判断字段值是否真变了,得加AND (t2.col t1.col OR t2.col IS NULL AND t1.col IS NOT NULL OR ...) - MySQL:不支持
UPDATE ... FROM多表语法(8.0+ 支持但限制多),老实用UPDATE t2 JOIN t1 ON t2.id = t1.id SET t2.name = t1.name WHERE t2.name t1.name OR (t2.name IS NULL) != (t1.name IS NULL)
增删操作必须加事务 + 主键/唯一约束校验
同步不只是改,往往还要补缺失行(INSERT)、删多余行(DELETE)。这两类操作一旦出错,数据就不可逆了。
最容易被跳过的其实是前置检查:目标表有没有主键?源表变更是否可能违反目标表的唯一索引?比如源表某字段去重失败,同步时直接 INSERT 就报 duplicate key 错误,整个事务回滚——但你可能根本没意识到源表本身就有脏数据。
- 执行前先跑
SELECT COUNT(*) FROM t1 LEFT JOIN t2 ON t1.id = t2.id WHERE t2.id IS NULL看待插多少行,预估影响范围 -
INSERT用INSERT INTO t2 SELECT * FROM t1 WHERE ...,别用循环拼 VALUES;MySQL 可加ON DUPLICATE KEY UPDATE避免冲突 -
DELETE务必带WHERE id IN (SELECT id FROM t2 EXCEPT SELECT id FROM t1)这类明确子查询,禁止DELETE FROM t2 WHERE id NOT IN (SELECT id FROM t1)(NULL 会让整句返回空结果,删光表)
生产环境同步前必须做三件事
线上表一动,轻则慢查询报警,重则服务卡住。所谓“快速同步”,前提是风险可控。
- 先在从库或备份库上完整跑一遍流程,确认语句耗时、影响行数、执行计划是否走索引
- 给目标表关键字段加索引:至少确保
id(或业务主键)上有索引,否则UPDATE/DELETE会全表扫描 - 拆大任务:如果差异行超 10 万,别一次性提交。用
WHERE id BETWEEN x AND y分批,每批 5000 行,加COMMIT,避免长事务锁表
字段类型隐式转换、字符集不一致、时间戳时区偏移——这些不会报错,但会让 = 判断失效,最终同步结果看似成功实则漏改。动手前,先 DESCRIBE 两张表结构,一个字节一个字节对清楚。










