aionclaw多源合并易因隐式一对多关联导致重复计数，需先检查「关联设置」是否启用模糊匹配或缺失唯一键约束；再通过sql group by去重或「主键优先合并」模式解决结构化数据重复；对非结构化数据则用哈希指纹+内存缓存实现幂等处理。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
在使用 AionClaw 处理多源数据合并任务（如拉取多个 Excel 表、聚合不同系统导出的客户记录、汇总跨平台表单）时，若未明确控制匹配逻辑，极易因一对多关联导致同一主记录被重复计入统计结果，例如一个客户请求匹配到 3 位导师，最终统计行数就变成实际客户数的 3 倍，直接破坏报表可信度。
确认是否触发了隐式一对多关联
打开 AionClaw 工作流编辑器 → 进入「数据整合」技能节点 → 查看「关联设置」中是否启用了自动模糊匹配或未限定唯一键约束。若此处勾选了“允许多匹配”或字段映射未指定主键/唯一标识列，AionClaw 会默认执行笛卡尔式扩展，这是重复计数最常见源头。
这一步必须先做，否则后续所有去重操作都是补救而非根治。
使用 groupBy 去重（适用于结构化表格合并）
方法一：在 SQL 模式下手动写聚合逻辑
进入「自定义查询」插件 → 切换为 SQL 编辑模式 → 将原始 JOIN 查询包裹进子查询，并在外层用 GROUP BY 强制主表 ID 去重：
SELECT * FROM ( SELECT client_tutor_request1.id, MAX(form.employees_name) AS matched_tutor, COUNT(form.id) AS match_count FROM client_tutor_request1 LEFT JOIN form ON client_tutor_request1.courses = form.specialty AND client_tutor_request1.category = form.category AND client_tutor_request1.state = form.state AND client_tutor_request1.lga = form.lga GROUP BY client_tutor_request1.id ) t;
【注意：MAX()仅用于保留一个匹配值，不可用于数值型字段求和；若需真实匹配结果，应改用 FIRST_VALUE() 或 ROW_NUMBER() 窗口函数】
方法二：启用内置「去重合并」模式
在「表格合并」技能中，关闭「全量关联」开关 → 开启「主键优先合并」→ 在「主键字段」下拉菜单中，手动指定 client_tutor_request1 表的 id 字段 → 保存后运行。该模式会自动对每个主键只保留第一条匹配记录，跳过后续重复项。
对非结构化数据流启用幂等处理
第一步：为每条输入记录生成唯一指纹
在数据流入节点后插入「哈希计算」技能 → 选择参与去重的关键字段（如 customers_name + courses + customers_phone）→ 输出字段命名为 record_fingerprint。
第二步：添加「内存缓存查重」节点
配置缓存有效期为 24 小时 → 设置键名为 record_fingerprint → 勾选「命中时跳过后续流程」→ 启用「写入前校验」。
第三步：连接至统计模块
仅将通过查重校验的数据流接入「计数器」或「聚合报表」节点，未通过的数据自动丢弃且不计入日志统计。
该路径可拦截飞书、微信等渠道因网络重传导致的同一请求多次抵达问题，避免底层重复触发。
