火山引擎检索重复段落需分三层处理：先通过检索调试确认是原始文档切片过细或语义冗余未抑制；再分别调整切片策略、注入embedding去重、或设置唯一键去重。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
火山引擎检索结果里重复段落太多，直接影响用户对答案的信任度和阅读效率，尤其在客服知识库、产品文档问答、内部 SOP 检索等场景中，同一句话或相似描述反复出现 3～5 次，说明召回内容未经过语义粒度的去重处理。
先确认是哪一层重复
打开火山引擎控制台 → 进入对应 Search 实例 → 查看「检索调试」页 → 输入典型 Query（如“如何申请售后换货”）→ 展开返回的 top10 文档 raw content。逐条比对：如果多条结果来自同一份 PDF 的不同页码但文字几乎一致，属于 【原始文档切片过细】；如果多条结果来自不同文档但核心句式、主谓宾结构高度雷同（例如“您可拨打400-XXX-XXXX联系客服”在 4 个结果里重复出现），则是 【语义冗余未抑制】。
这一步不能跳过。误判层级会导致后续配置白忙——在切片层问题上强行加语义去重，会漏掉真正差异点；在语义层问题上只调切片参数，则永远压不住跨文档重复。
调整文档切片策略（适用于同源重复）
进入「数据接入」→「文档解析配置」→ 找到当前知识库所用的 Parser（如 PDFParser 或 HTMLParser）→ 修改「切片方式」：
方法一：启用「语义段落合并」开关。该功能会自动识别相邻切片是否共享主语+谓语+宾语结构，若相似度＞85%，则合并为一个 chunk。注意：仅对已标注「标题层级」的文档生效，未识别出标题的 PDF 默认不触发。
方法二：手动设置最小切片长度。将「最小字符数」从默认 120 改为 280。这能直接过滤掉大量孤立短句（如“注意事项：”“温馨提示：”），避免它们被单独召回成一条结果。
方法三：关闭「按页切分」，改用「按语义块切分」。后者依赖 NLP 模型识别段落边界，对技术文档、FAQ 类内容去重效果明显，但会增加约 15% 解析耗时。
在召回后注入轻量级语义去重（适用于跨文档重复）
该操作需修改 Search CLI 的 pipeline 配置，不涉及模型重训：
第一步：在 search tune 的 experiment.yaml 中添加 postprocessor 节点：
```yaml
postprocessors:
- name: dedupe_by_embedding
params:
threshold: 0.92
embedding_field: text_vector
```
第二步：确保所有待检索文档已预计算 text_vector 字段（使用火山引擎内置的 text-embedding-v3 模型）。未生成该字段的文档会被跳过去重，仍原样返回。
第三步：部署新 pipeline。注意：threshold 设为 0.92 是经验值——低于 0.88 会误杀合理变体（如“不支持”vs“暂不支持”），高于 0.94 则无法覆盖同义改写（如“联系客服”vs“拨打客服电话”）。
这一步操作起来很简单，直接把配置贴进去再 reload 就行，但必须确认 embedding_field 名称与你实际写入的字段名完全一致，大小写都不能错。
用唯一键（Unique Key）强制结果去重（适用于结构化知识条目）
如果你的知识源是 CSV/数据库导出的结构化 FAQ 表（含 question、answer、category 三列），优先走这条路：
① 在可视化建模节点中，将「question」字段设为唯一键（Unique Key）；
② 勾选「遇重复时保留最新版本」；
③ 提交任务并等待全量构建完成。
该配置生效后，即使同一问题被录入 5 次（比如不同运营同学各自上传），最终只保留时间戳最新的那条 answer。它不依赖语义计算，零延迟，但【仅对 exact match 有效，无法处理问法变形】。所以必须搭配前两步使用。
