dify知识库需通过自动去重、语义去重、批量清理重复文档及清除过期数据四步实现高效运维：启用内置sha-256去重、配置simhash+sbert语义阈值、解析日志删除重复id、调用api清理过期快照与缓存。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
在Dify知识库持续运行过程中，重复文档和失效索引会不断堆积，导致检索变慢、问答结果冗余、存储成本上升。手动筛查既不可行也不可靠，必须依赖平台能力与脚本协同实现自动清理。
启用Dify内置去重机制并验证生效
登录Dify控制台 → 进入目标应用 → 点击「知识库」→ 选择对应知识库 → 点击右上角「设置」图标 → 开启「自动去重」开关。
这一步必须在文档上传前完成，否则已入库的重复内容不会被 retroactively 清理。开启后，所有新上传文件将自动触发SHA-256内容哈希比对，【若哈希值已存在，系统直接拒绝写入并返回409冲突状态】。
验证是否生效：上传同一份PDF两次，第二次应提示“检测到重复内容”，且知识库列表中仅显示一条记录。
配置语义级去重策略（适用于改写/同义替换场景）
方法一：通过Dify Admin API动态调整阈值
向 /api/v1/admin/knowledge-base/{kb_id}/deduplication 发送 PATCH 请求，body 中传入：
{"enabled": true, "method": "simhash+sbert", "sbert_threshold": 0.88}
注意：sbert_threshold 值越低，合并越激进；设为0.88可覆盖常见句式变换，但低于0.85可能误合非重复内容。
方法二：修改部署配置文件（仅限自托管用户）
编辑 dify/config.py 或环境变量，在 knowledge_base 模块下添加：
DEDUPLICATION_CONFIG = {"enabled": True, "method": "simhash+sbert", "simhash_threshold": 3, "sbert_threshold": 0.92}
重启服务后生效。该配置启用两级过滤：先用SimHash快速筛出汉明距离≤3的候选集，再用Sentence-BERT做精细语义比对。
批量清理已存在的重复文档
第一步：导出当前去重日志
进入知识库 → 点击「去重日志」标签页 → 点击右上角「导出JSON」按钮 → 下载最近30天日志文件。
第二步：解析日志并生成待删ID列表
使用Python脚本提取所有 duplicate_of 非空且 similarity_score >= 0.90 的 document_id：
import json<br>with open("dedup_log.json") as f:<br> logs = json.load(f)<br>to_delete = [log["document_id"] for log in logs if log.get("duplicate_of") and log.get("similarity_score", 0) >= 0.90]
第三步：调用删除API逐个清理
对每个 doc_id，发送 DELETE 请求至 /api/v1/knowledge-bases/{kb_id}/documents/{doc_id}，携带管理员令牌。
第四步：确认清理效果
再次访问知识库文档列表，对比清理前后条目数；同时检查去重日志中相同 document_id 是否不再出现新记录。
自动化清理过期无效数据
① 计算过期时间点：取当前时间减去7天，格式化为ISO 8601字符串（如 2026-06-26T13:27:00Z）
② 构造清理请求 payload：
{<br> "expired_before": "2026-06-26T13:27:00Z",<br> "target_types": ["old_snapshot", "orphaned_embedding", "temp_cache"]<br>}
③ 向 http://your-dify-host/api/v1/admin/clear_expired 发送 POST 请求，Header 中包含 Authorization: Bearer {ADMIN_TOKEN}
④ 检查响应 body 中的 deleted_count 字段，确认旧版快照、失效Embedding、24小时以上临时缓存是否被清除。
这一步操作不可逆，【执行前务必确认 expired_before 时间未误设为未来时间，否则将清空全部数据】。
