Dify知识库网络爬虫(Jina Reader)接入与数据同步

风涛酱_3492

风涛酱_3492

2026-10-30

525人浏览

原创

必须接入Jina Reader API才能实现Dify知识库自动抓取结构化网页内容,需在jina.ai获取并妥善保存唯一API密钥,再通过Dify自定义工具配置OpenAPI规范,最后在知识库数据源中选择Jina Reader并确保URL含完整协议。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

dify知识库网络爬虫(jina reader)接入与数据同步

要在Dify中让知识库自动抓取并结构化网页内容,必须正确接入Jina Reader作为网络爬虫服务,否则上传链接后无法解析正文、残留广告或直接返回空内容。

获取Jina Reader API密钥

访问 jina.ai Dashboard,登录后进入“API Keys”页面→点击“Create new key”→复制生成的密钥字符串。

【务必立即保存】该密钥仅显示一次,关闭页面即永久丢失;若后续工作流调用失败且报401错误,大概率是这一步遗漏导致。

在Dify中创建Jina Reader自定义工具

进入Dify控制台→左侧菜单栏点击“工具”→“自定义工具”→“创建自定义工具”。

粘贴以下OpenAPI 3.0规范(已适配Jina Reader v1.2最新行为,含URL编码兼容):

"openapi":"3.0.0","info":{"title":"Jina Reader","description":"将网页URL转换为干净Markdown文本。支持动态渲染页、含图页面及长文截断。","version":"1.2"},"servers":[{"url":"https://r.jina.ai"}],"paths":{"/{url}":{"get":{"operationId":"scrape_web_page","summary":"抓取并结构化网页内容","parameters":[{"name":"url","in":"path","description":"原始网页URL,必须为完整协议地址(如 https://example.com/article),会自动做URI编码","required":true,"schema":{"type":"string"}}],"responses":{"200":{"description":"成功返回Markdown文本","content":{"text/markdown":{"schema":{"type":"string"}}}},"400":{"description":"URL格式错误或未提供"},"408":{"description":"网页加载超时(通常因目标站JS阻塞或反爬)"},"500":{"description":"Jina服务端内部错误"}}}}}}

填写工具名称为“Jina Reader”,描述可留空,点击“创建”。创建成功后,该工具将出现在“工具库”中,供任意工作流调用。

配置知识库数据源为Jina Reader爬虫

方法一:新建知识库时直接启用

进入“知识库”→“新建知识库”→选择“网站爬取”类型→在“数据源提供商”下拉菜单中选择“Jina Reader”→填写起始URL(如 https://blog.tencent.com )→开启“递归爬取”(可选)→点击“确认导入”。

Dify
Dify

Dify AI应用开发平台指南。用于构建LLM应用、工作流、Agent和知识库。当用户需要(1)使用Dify创建AI应用 (2)设计LLM工作流 (3)配置知识库RAG (4)开发AI Agent (5)调用Dify API (6)自托管部署Dify时激活此技能。

下载

方法二:已有知识库追加爬虫数据源

打开目标知识库→点击右上角“设置”→切换到“数据源”标签页→点击“添加数据源”→选择“网站爬取”→提供商选“Jina Reader”→输入单个URL或Sitemap地址→保存后触发同步。

注意:若填写的URL不含协议(如写成 www.example.com),Jina Reader将拒绝请求并返回400错误;必须以 https:// 或 http:// 开头。

验证与调试爬取结果

第一步:在知识库“文档列表”中查看状态为“正在处理”或“已完成”的条目。

第二步:点击任一文档右侧的“预览”图标,确认内容是否为纯Markdown格式、无导航栏/广告/侧边栏等干扰元素。

第三步:若发现某页面返回空白或结构混乱,回到工作流或数据源配置页,检查该URL是否被目标站点反爬拦截——此时可尝试在URL前手动加一层代理跳转,或改用Firecrawl替代。

第四步:对关键页面,复制其对应Jina Reader直链(如 https://r.jina.ai/https://example.com/article)在浏览器中打开,观察原始响应是否符合预期。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
WorkBuddy核心功能与实操模式
WorkBuddy核心功能与实操模式

深入探索WorkBuddy的强大功能。本专题包含智能问答、文档处理、会议纪要生成、日程管理、任务协作等核心模块的操作指南与最佳实践。通过图文并茂的教程,助您快速上手,最大化发挥WorkBuddy的办公效能。

2026.04.09

702

19

Dify 本地部署与企业配置
Dify 本地部署与企业配置

本专题系统讲解 Dify 从零开始的本地部署方法与企业环境配置实践,涵盖 Docker 安装、依赖准备、数据库初始化、反向代理、参数调优、安全加固与多用户开通,帮助开发者与企业团队快速搭建稳定可用的 Dify 平台。

2026.06.05

1117

15

Dify Agent智能体开发实战教程
Dify Agent智能体开发实战教程

本专题聚焦 Dify Agent 智能体的设计与开发,涵盖 Agent 模式选择、工具集成、提示词设计、多步推理、上下文记忆与多 Agent 协作,帮助开发者构建可执行复杂业务任务的智能体应用。

2026.06.05

285

15

Dify RAG知识库构建实战教程
Dify RAG知识库构建实战教程

本专题围绕 Dify RAG 知识库的全流程实践展开,从文档导入、分段切片、向量化到混合检索、重排优化与召回评估,帮助你打造高准确率、低幻觉的企业知识问答应用。

2026.06.05

276

15

Nginx CVE-2026-123007排查与防护指南
Nginx CVE-2026-123007排查与防护指南

Nginx HTTP/2漏洞该怎么修复?本专题围绕CVE-2026-123007,介绍安全版本升级、模块兼容检查和配置恢复方法,以及日志排查、权限设置等后续加固操作,方便你按实际部署情况查找对应教程。

2026.11.20

0

8

GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

2026.11.17

20

15

GoFrame框架安装与gf命令行工具
GoFrame框架安装与gf命令行工具

本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.17

60

15

GoFrame框架零基础入门
GoFrame框架零基础入门

本专题整理GoFrame框架的入门知识,从模块化设计理念、环境准备到跑通第一个Web服务,讲清目录分层、配置加载、日志与中间件的用法,并对比Gin、Go-Zero的差异,帮助Go开发者建立整体认知。

2026.11.17

80

15

SQLAlchemy 一对多关系怎么建立
SQLAlchemy 一对多关系怎么建立

SQLAlchemy 一对多关系怎么建立?本专题整理父子表外键、relationship 双向映射、关联查询、级联删除和加载优化等相关文章,帮助你理解并实现常见的 ORM 关系建模。

2026.11.17

20

10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Dify零基础教程
Dify零基础教程

共0课时 | 165人学习

学习Agent,从Dify开始
学习Agent,从Dify开始

共0课时 | 165人学习

Dify 部署与运维指南
Dify 部署与运维指南

共0课时 | 0人学习