如何在SQL中通过JOIN快速排查两批导入数据的增量-SQL-PHP中文网

left join可找出new_import中不在old_import里的记录：select n.* from new_import n left join old_import o on n.order_id = o.order_id where o.order_id is null；需确保order_id非空、建索引、字段类型一致。

如何在sql中通过join快速排查两批导入数据的增量

用 LEFT JOIN 找出新导入的记录

当两批数据分别存于 old_import 和 new_import 表中，且都有唯一标识字段（如 order_id 或 user_key），最直接的方式是用 LEFT JOIN 查 new_import 中不在 old_import 里的行：

SELECT n.* 
FROM new_import n 
LEFT JOIN old_import o ON n.order_id = o.order_id 
WHERE o.order_id IS NULL;

这个写法依赖 order_id 在两边都非空；如果存在 NULL 值，JOIN 条件会失效，得先过滤或用 COALESCE 统一处理
索引必须建在 order_id 上，否则大表 JOIN 会极慢——特别是千万级数据时，没索引可能卡住几分钟
注意字段名大小写和类型一致：比如一边是 VARCHAR(32)，另一边是 CHAR(32)，隐式转换可能导致索引失效

用 NOT EXISTS 替代 LEFT JOIN 避免重复和 NULL 陷阱

NOT EXISTS 在语义上更贴近“是否存在”，对 NULL 更鲁棒，也天然避免因 new_import 中有重复 order_id 导致的笛卡尔膨胀：

SELECT * FROM new_import n 
WHERE NOT EXISTS (
  SELECT 1 FROM old_import o 
  WHERE o.order_id = n.order_id
);

不需要担心 old_import.order_id 是 NULL，因为子查询里 = 对 NULL 永远不成立，NOT EXISTS 自然跳过
如果 new_import 本身有重复主键，这个写法仍能返回全部新记录（而 LEFT JOIN 可能因重复放大结果）
多数数据库（PostgreSQL、SQL Server、Oracle）对 NOT EXISTS 有良好优化；MySQL 5.7+ 也基本持平，但老版本建议加 STRAIGHT_JOIN 强制驱动表顺序

对比字段值差异时别只看主键

增量不等于“新增”，还包含“变更”。若需识别内容更新（如金额、状态变化），不能只靠主键匹配，得逐字段比对：

SELECT n.order_id, n.amount, o.amount AS old_amount 
FROM new_import n 
JOIN old_import o ON n.order_id = o.order_id 
WHERE n.amount != o.amount OR (n.amount IS NULL) != (o.amount IS NULL);

!= 无法判断 NULL 是否相等，所以必须显式写出 (n.amount IS NULL) != (o.amount IS NULL)
字段多时手写 WHERE 易漏，可先用 MD5(CONCAT(...)) 或 TO_JSONB（PostgreSQL）生成摘要再比对，但要注意 NULL 处理和字符集一致性
时间字段慎用 !=：比如 updated_at 带毫秒但源系统精度只到秒，直接比对会误判；建议用 DATE_TRUNC('second', updated_at) 对齐后再比较

临时表 + ANALYZE 加速大批量比对

当两个表都超百万行，且没有合适索引时，硬跑 JOIN 很可能 OOM 或超时。稳妥做法是：

先把关键字段抽成带索引的临时表：

CREATE TEMP TABLE tmp_new AS 
SELECT order_id, amount, status FROM new_import;
CREATE INDEX ON tmp_new(order_id);

在 PostgreSQL / SQL Server 中执行 ANALYZE tmp_new，让优化器知道数据分布
MySQL 用户可用 OPTIMIZE TABLE 整理碎片，但更关键是确保 tmp_new.order_id 是 NOT NULL 并设为主键或唯一索引
避免在 WHERE 中对 JOIN 字段做函数操作，例如 UPPER(o.order_id) = UPPER(n.order_id)——这会让索引完全失效