firecrawl可将网页自动转为无广告、结构清晰的markdown，支持dify中单页/批量抓取及js渲染页面处理，需正确配置api密钥、启用playwright模式并规避反爬限制。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
要在Dify中直接获取结构清晰、无广告导航栏干扰的网页正文数据，必须绕过手动复制粘贴或上传HTML文件的低效方式，用Firecrawl将目标URL自动转为Markdown格式的干净文本，再送入知识库或工作流处理。
确认Firecrawl插件已启用并绑定API密钥
登录Dify控制台→进入「设置」→「插件管理」→查找「Firecrawl」→点击「启用」。
启用后会跳转至授权页，点击「前往Firecrawl官网注册」→完成邮箱验证→在个人仪表盘右上角复制API Key。
回到Dify插件配置页，将刚复制的Key粘贴进输入框→点击「保存」。此时若页面未报错且下方显示“已连接”，说明集成成功。【必须确保API Key未过期且未超免费额度（当前500次/月）】
单页抓取：快速提取一个网页的核心内容
方法一：在知识库页面直接同步
进入「知识库」→点击「创建知识库」→选择数据源时勾选「同步自Web站点」→在URL栏粘贴目标网页地址（如 https://example.com/guide）→开启「自动解析为Markdown」和「仅抓取主要内容」→点击「开始同步」。
方法二：通过工作流节点调用
创建工作流→添加「工具」节点→选择「Firecrawl」→选用「单页面抓取」功能→输入变量设为URL字符串→输出格式选「markdown」→「仅抓取主要内容」开关设为True。
这一步操作起来很简单，直接把网址填进去就行。但要注意：如果目标页是JavaScript渲染的动态内容（比如Vue或React前端），Firecrawl默认可能只拿到空壳HTML，此时需切换到「Playwright增强模式」或改用本地部署的Firecrawl+Playwright组合。
批量抓取：按规则爬取整站或栏目下所有文章
该功能仅限Firecrawl Pro版或本地部署版本可用，免费云服务不支持。
第一步：进入知识库→点击「同步自Web站点」→展开「高级设置」→点击「爬取规则」。
第二步：填写起始URL（如 https://blog.example.com）→在「包含路径」栏输入正则表达式（例如 ^/post/\d{4}/\d{2}/.*$ 可匹配2025年及之后所有博客文章路径）→设置最大爬取深度为2→保存配置。
第三步：点击「运行爬取任务」→等待状态变为「已完成」→检查文档列表是否生成多个条目。
⚠️重要提醒：若目标网站启用了Cloudflare等反爬防护，Firecrawl会静默返回空内容且不报错。此时需登录Firecrawl后台，在「代理与UA管理」中启用随机User-Agent池或配置代理IP，否则后续所有步骤都无效。
调试失败请求：定位空内容或格式异常原因
当Firecrawl返回空文本或乱码时，先检查Dify日志中的HTTP响应码。若为403或429，说明被目标站拦截；若为200但body为空，大概率是Firecrawl云服务在中国区限制了headers参数传递。
打开Firecrawl节点配置→清空「请求头」字段（不要填任何内容，包括{"User-Agent": "xxx"}）→重新运行。这是因为Firecrawl云API在中国节点默认禁用自定义headers，填了反而触发安全熔断。
本地部署用户请确认Dify中Firecrawl Base URL设为 http://host.docker.internal:3002，不是https，也不是localhost——否则容器网络不通，请求永远超时。
