Dify知识库需启用SHA-256自动去重并配置语义级simhash+sbert策略，上传前须创建版本快照以支持无损更新与历史回溯，重复文档通过日志分析+API批量清理。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
你需要让Dify知识库在新增文档时自动跳过内容重复项，同时保留历史版本供回溯，并在更新时确保新旧文档状态不混杂、向量索引不中断。
启用知识库内置SHA-256去重并验证效果
登录Dify控制台 → 进入目标应用 → 点击「知识库」→ 选择对应知识库 → 点击右上角「设置」图标 → 开启「自动去重」开关。
这一步必须在首次上传前完成。若已存在重复文档，开启后仅对后续上传生效，不会清理已有重复项。
验证方式：准备两份字节完全相同的PDF，先上传一份；再上传第二份，系统应返回HTTP 409状态码并提示“检测到重复内容”，知识库列表中仍只显示一条记录。
【若第二次上传成功且出现两条记录，说明去重未生效，请检查是否漏点“开启”开关或未保存设置】
配置语义级去重策略以识别改写内容
方法一：通过Admin API动态调整（推荐用于测试环境）
向 /api/v1/admin/knowledge-base/{kb_id}/deduplication 发送 PATCH 请求，body 中传入：{"enabled": true, "method": "simhash+sbert", "sbert_threshold": 0.88}
方法二：修改部署配置（仅限自托管用户）
编辑 dify/config.py 或环境变量，在 knowledge_base 模块下添加：DEDUPLICATION_CONFIG = {"enabled": True, "method": "simhash+sbert", "simhash_threshold": 3, "sbert_threshold": 0.92} → 重启服务。
注意：sbert_threshold 设为 0.88 可覆盖常见同义替换与句式重组，但低于 0.85 会显著增加误合风险，例如将“合同终止”与“协议解除”错误判定为重复。
执行知识库无损更新并保留历史快照
第一步：进入知识库详情页 → 点击右上角「版本快照」按钮 → 输入快照描述（如“上线2026Q3政策汇编”）→ 点击「创建」。
第二步：等待状态栏显示「快照创建完成」（约2～8秒），期间知识库可正常查询。
第三步：点击「上传文档」→ 选择新文件 → 勾选「覆盖同名文档」→ 点击「确认上传」。
第四步：观察右侧「处理中」状态条，待全部变为绿色对勾后，本次更新即完成。
【未生成快照就执行上传，将导致无法回滚到更新前的完整状态】
从去重日志中批量提取并清理已存重复文档
方法一：导出并解析日志
进入知识库 → 点击「去重日志」标签页 → 点击右上角「导出JSON」→ 下载最近30天日志文件（如 dedup_log_20261020.json）。
方法二：用Python提取待删ID（需提前安装 requests 和 json）
运行脚本读取日志，筛选所有 duplicate_of 字段非空且 similarity_score >= 0.90 的 document_id，输出为纯文本ID列表。
方法三：调用API批量删除
对上一步得到的每个ID，向 /v1/knowledge-bases/{kb_id}/documents/{doc_id} 发送 DELETE 请求，Header 中携带有效 Bearer Token。
