数据质量与对账：支持异常报告，杜绝静默失败

目的

基于稳定标识符（Pay Number、驾照号、司机卡号、司机资质卡号）对多个数据源进行对账，生成异常报告，并实施“杜绝静默失败”的校验机制。

适用场景

• 触发条件：
  • 对齐两个数据源并生成带原因说明的异常报告。
  • 跨文件比对姓名与工资单编号，标记无法关联的记录。
  • 构建“杜绝静默失败”校验点：若关键计数不匹配，则中断流水线执行。
  • 生成周度差异报告，涵盖缺失记录、重复记录及日期断层。
  • 设计数据质量记分卡，含阈值设定与风险红标机制。
• 不建议使用场景：
  • 需要无明确验收标准的开放式模糊匹配。
  • 所有数据源均缺乏稳定标识符。

输入

• 必需输入：
  • 至少两个数据集（CSV/XLSX 格式），需包含 Pay Number 和/或司机证件号码字段。
  • 指定必须匹配的字段（例如：Name、expiry date）。
• 可选输入：
  • 标准化规则（如大小写统一、空格清理、标点符号去除等）。
  • 门控/记分卡阈值（如最大缺失率等）。
• 典型示例：
  • 工资单导出文件 + 合规登记表
  • 来自不同系统的两份周度导出文件

输出

• 对账方案（含匹配规则、标准化策略、连接方式）。
• 异常报告规范（CSV 字段定义 + 原因编码）及差异校验逻辑。
• 可选交付物：assets/exceptions-report-template.csv 与 references/matching-rules.md。
  成功标准：每条记录均被明确归类（已匹配 / 缺失 / 重复 / 字段不一致 / 无效键），且流水线在检测到异常时自动中止。

工作流程

1. 确认数据源及其主键优先级（Pay Number → Driver Card → Driving Licence → DQC）。
2. 列标准化：
   • 去除首尾空格；统一大小写；对证件号码字段移除常见标点符号。
3. 主键校验：
   • 标记空值或格式非法项；识别各源内部重复主键。
4. 连接操作：
   • 优先按 Pay Number 进行精确连接；仅对未匹配的剩余记录尝试次级键连接。
5. 生成异常类别及对应原因：
   • 在 A/B 源中缺失、主键重复、字段值不一致、主键无效。
6. “杜绝静默失败”门控检查：
   • 记录总数偏差在容差范围内；未匹配率低于阈值；重复量突增将被标记。
7. 以下情况须立即暂停并提示用户：
   • 字段未完成映射；
   • 存在多个竞争性 ID 但未定义优先级；
   • 未指定预期容差范围。

输出格式

exception_type,reason,source_a_id,source_b_id,pay_number,name,field,source_a_value,source_b_value

原因编码包括：MISSING_IN_A、MISSING_IN_B、MISMATCH、DUPLICATE_KEY、INVALID_KEY。

安全机制与边界情况处理

• 默认为只读模式；禁止自动修改源数据。所有异常均路由至 review 环节人工核查。
• 优先采用确定性匹配规则；除非显式要求，否则避免启用模糊匹配。
• 必须始终生成异常报告；绝不丢弃任何未匹配记录。

示例

• 输入：“工资单 vs 合规登记表；以 Pay Number 为主键匹配；标记姓名不一致项。”
  输出：连接方案 + 不一致原因说明 + 异常报告结构定义。

• 输入：“部分记录 Pay Number 为空。”
  输出：启用次级键匹配逻辑 + 对真正不可匹配的记录生成 INVALID_KEY 类型异常。