扣子知识库需通过robots.txt确认爬取权限，添加网页时勾选“自动提取正文”，设置定时同步或webhook触发，并标准化url、开启智能去重以实现增量更新。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
你需要让扣子知识库自动获取指定网页内容，并在后续保持更新，避免重复抓取旧数据、跳过已收录页面、只同步新增或修改过的HTML正文——这不是手动复制粘贴能解决的问题。
确认目标网页是否允许被爬取
打开目标网页，在浏览器地址栏输入网址后按回车，等待页面完全加载，右键→查看网页源代码→搜索robots.txt，或直接在网址末尾加上/robots.txt（如https://example.com/robots.txt）并访问。如果返回404，说明网站未设置爬虫限制；若返回文本内容，检查其中是否有Disallow: /或针对coze-bot、user-agent: *的禁止规则。
若存在Disallow: /且无例外声明，【强行抓取将违反网站服务条款，扣子知识库可能被封禁IP或触发反爬机制】。
在扣子后台添加网页知识库条目
进入扣子 Bot 编辑页→点击左侧「知识库」→点击「+ 新建知识库」→选择「网页」类型。
在「网页 URL」输入框中粘贴单个目标链接，例如https://help.coze.com/zh-CN/guides/knowledge-base-overview；支持一次提交最多50个URL，用换行分隔。
勾选「自动提取正文」，系统会跳过导航栏、广告位、页脚等干扰区块，只保留主文章区域文本；不勾选则会抓取整页HTML源码，后续检索易受噪音干扰。
设置定期同步频率与触发方式
方法一：使用扣子内置定时同步
在知识库详情页→点击右上角「…」→选择「编辑」→下滑至「同步设置」→开启「自动同步」开关→从下拉菜单中选择周期：1小时 / 6小时 / 24小时 / 7天。
方法二：通过 Webhook + 第三方调度器实现精确控制
在知识库详情页→点击「API 同步」→复制「同步触发 URL」；该地址含一次性 token，泄露即失效。用 cron 表达式在服务器或云函数中定时发起 POST 请求，例如：curl -X POST "https://api.coze.com/v1/kb/sync?token=xxx"。
注意：Webhook 方式不会在扣子后台显示同步记录，需自行记录日志验证是否成功。
启用增量更新与去重逻辑
第一步：确保每个网页有稳定且唯一的 URL
动态参数如?utm_source=xxx、&v=2.1.0会导致同一页面被识别为多个新条目，必须在添加前统一清洗——删除所有?及之后的查询字符串，仅保留基础路径。
第二步：开启「智能去重」开关
在知识库编辑页→「高级设置」→打开「检测重复内容」。系统会对每次抓取的正文做指纹哈希比对，相同内容不会重复入库，但标题变更、段落顺序调整、图片alt文字增减等轻微改动仍会被视为新版本。
第三步：观察同步日志中的「新增/更新/跳过」计数
每次同步完成后，在知识库操作历史中查看最新一条记录，若「跳过」数量持续为0，说明去重未生效，大概率是URL未标准化或页面HTML结构变化导致正文提取结果不稳定。
