Dify知识库需启用Duplicate Cleaner以提升检索准确率：确认功能已启用（v1.15.0+），配置相似度阈值0.92、分段级检测、每周一凌晨2:00自动执行；扫描后人工标记主版本并提交审核，批准后不可逆删除重复分段。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
在Dify知识库中，重复文档会显著拉低检索准确率——系统可能召回同一内容的多个分段，导致LLM接收到冗余信息而混淆上下文、生成矛盾回答。手动排查数百个文档中的重复项既耗时又不可靠，必须启用自动化清理机制。
确认Duplicate Cleaner是否已启用
登录Dify控制台→左侧导航栏点击【知识库】→选择目标知识库→点击右上角【设置】图标→在弹出面板中查看【数据清理】区域。若显示“Duplicate Cleaner：已启用”，跳过本阶段；若显示“未启用”或该区域为空，则需先激活该功能。
【注意：此功能仅在Dify v1.15.0及以上版本支持，低于该版本需升级后才可使用】
配置Duplicate Cleaner核心参数
在知识库【设置】→【数据清理】中，找到Duplicate Cleaner模块，按以下顺序配置：
① 勾选【启用重复内容检测】开关；
② 设置【相似度阈值】为0.92——该值是实测平衡点：设为0.95以上会漏掉语义相同但措辞微调的文档（如“保修期1年”vs“提供12个月保修服务”），设为0.85以下则误判率飙升，将不同主题但共用术语的文档（如“用户协议”和“隐私政策”都含“个人信息”）判定为重复；
③ 选择【检测粒度】为“分段级”而非“文档级”——因为Dify实际检索的是分段，文档级去重无法解决同一PDF内多个段落语义重复的问题；
④ 开启【自动执行】并设定执行周期为“每周一凌晨2:00”——避免与日常高频上传时段冲突，防止清理过程阻塞新文档入库。
触发首次扫描与人工复核
方法一：立即执行扫描
在Duplicate Cleaner设置页点击【立即扫描】按钮，系统将在后台启动全量比对，进度条显示于页面顶部。普通知识库（≤5000分段）通常在90秒内完成，扫描结果以列表形式呈现，含“原始分段ID”“疑似重复分段ID”“相似度得分”三列。
方法二：批量标记后统一处理
扫描完成后，勾选列表中所有需保留的主分段（建议优先保留上传时间早、元数据完整、含图表说明的版本），点击【设为主版本】；再勾选其余重复项，点击【加入清理队列】。此时不立即删除，而是进入待审核状态。
【关键操作：必须点击页面右下角【提交审核】按钮，否则所有标记均不生效】
执行最终清理
进入【审核中心】→筛选“待处理”状态→找到刚提交的Duplicate Cleaner任务→点击【批准】。
系统将永久删除队列中所有分段，并同步更新向量数据库索引。该操作不可逆，删除后无法通过回收站恢复。
