如何在AnythingLLM中使用DeepSeek打造本地大脑

云丽小哥_8887

云丽小哥_8887

2026-05-10

826人浏览

原创

需依次完成五步配置:一、确认ollama服务运行且deepseek模型已加载;二、在工作区设置中将deepseek指定为ollama聊天模型并启用query模式;三、全局配置nomic-embed-text为嵌入模型;四、上传文档并等待状态变为ready;五、通过文档相关问题验证检索与推理链路是否畅通。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

如何在anythingllm中使用deepseek打造本地大脑

如果您已在本地部署Ollama与DeepSeek R1模型,但无法在AnythingLLM中调用其进行知识问答或文档推理,则可能是由于模型连接未正确配置、嵌入引擎缺失或工作区未绑定对应能力。以下是实现DeepSeek作为AnythingLLM“本地大脑”的完整操作路径:

一、确认Ollama服务与DeepSeek模型已就绪

该步骤确保底层推理引擎处于可调用状态。AnythingLLM依赖Ollama HTTP API(默认端口11434)发现并请求模型,若服务未运行或模型未加载,后续所有配置将失效。

1、打开命令行工具(PowerShell或CMD),执行ollama list,确认输出中包含类似deepseek-r1:7b或deepseek-r1:1.5b的条目。

2、执行curl http://127.0.0.1:11434/api/tags(需安装curl)或在浏览器访问http://127.0.0.1:11434/api/tags,验证Ollama API返回JSON响应且包含deepseek模型信息。

3、若API无响应,右键任务栏Ollama图标,选择Restart Ollama;若仍失败,重启电脑后重试。

二、在AnythingLLM中配置DeepSeek为工作区聊天模型

此步骤将DeepSeek指定为当前工作区的主推理模型,使其承担问答生成、逻辑推演等核心“大脑”职能。必须在具体工作区内完成设置,全局设置不生效。

1、启动AnythingLLM客户端,点击左侧+按钮创建工作区,输入名称(如“技术笔记大脑”)并保存。

2、进入该工作区后,点击右上角齿轮图标,打开Workspace Settings。

3、在LLM Preferences区域,将Provider下拉菜单设为Ollama。

4、在Ollama Model字段中,从下拉列表选择已安装的DeepSeek模型(如deepseek-r1:7b)。

5、将Chat Mode设为Query(启用RAG检索增强),确保模型能结合上传文档作答。

6、滚动至底部,点击Save Changes,等待页面提示Settings saved successfully。

三、配置向量嵌入模型以支撑语义理解

DeepSeek作为“大脑”负责生成答案,但需依赖向量模型将文档转化为机器可理解的数学表示。若未配置嵌入模型,上传的PDF、TXT等内容无法被索引,导致问答时无法引用知识库内容。

1、点击AnythingLLM左下角⚙️ Settings全局设置图标。

2、切换至Embedder Preferences标签页。

Unified LLM Gateway - One API for 70+ AI models. Route to GPT, Claude, Gemini, Qwen, Deepseek, Grok and more
Unified LLM Gateway - One API for 70+ AI models. Route to GPT, Claude, Gemini, Qwen, Deepseek, Grok and more

统一LLM网关 - 一个API对接70+AI模型,使用单一API密钥即可调用GPT、Claude、Gemini、Qwen、Deepseek、Grok等主流模型。

下载

3、将Embedding Provider设为Ollama。

4、在Ollama Embedding Model下拉框中,选择nomic-embed-text;若未出现,需先在终端执行ollama pull nomic-embed-text下载。

5、勾选Use this embedder for all workspaces,确保所有工作区统一使用该嵌入能力。

6、点击Save Changes,系统将自动重启嵌入服务。

四、上传文档并触发向量化处理

此步骤将原始资料注入知识库,经向量模型编码后存入本地向量数据库,为DeepSeek提供可检索的上下文依据。仅上传不触发处理将导致文档“存在但不可用”。

1、回到已配置DeepSeek的工作区界面,点击顶部Upload Documents按钮。

2、拖拽PDF、TXT、MD等文件至上传区域,或点击Browse Files手动选取。

3、上传完成后,文档列表显示Status: Processing,此时AnythingLLM正调用nomic-embed-text进行分块与向量化。

4、待状态变为Status: Ready,说明文档已成功嵌入,可被DeepSeek实时调用。

5、点击任意文档右侧⋯菜单,选择View Embeddings,确认向量维度(如768维)与chunk数量非零。

五、验证本地大脑是否正常运转

该步骤通过实际问答检验整个链路:用户输入→向量检索→DeepSeek推理→结果生成。任一环节中断均表明配置存在隐性缺陷。

1、在工作区聊天窗口输入明确基于上传文档的问题,例如:“根据《Python并发编程指南.pdf》第12页,asyncio.create_task()的作用是什么?”。

2、观察左侧Context Sources面板是否动态展开,显示匹配的PDF片段及高亮关键词。

3、检查回答内容是否准确引用文档原文,而非通用网络知识;若出现“I don't know”或泛泛而谈,说明检索未命中或模型未聚焦上下文。

4、若首次问答失败,在聊天框输入/debug指令,查看系统日志中是否报错ollama connection refused或embedding model not found。

相关专题

更多
WorkBuddy核心功能与实操模式
WorkBuddy核心功能与实操模式

深入探索WorkBuddy的强大功能。本专题包含智能问答、文档处理、会议纪要生成、日程管理、任务协作等核心模块的操作指南与最佳实践。通过图文并茂的教程,助您快速上手,最大化发挥WorkBuddy的办公效能。

2026.04.09

562

19

DeepSeek官方入口
DeepSeek官方入口

DeepSeek,一个综合性的搜索引擎,提供来自学术数据库、新闻网站和社交媒体的广泛结果。访问 DeepSeek 的官方网站。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2025.02.17

38229

6

deepseek在线提问
deepseek在线提问

本合集汇总了DeepSeek在线提问技巧与免登录使用入口,助你快速上手AI对话、写作、分析等功能。阅读专题下面的文章了解更多详细内容。

2026.02.27

1089

50

DeepSeek 入门与快速上手指南
DeepSeek 入门与快速上手指南

面向 AI 工具新手,从 DeepSeek 的账号注册、网页端与客户端使用讲起,介绍 DeepSeek-V3、DeepSeek-R1 等模型的能力定位与选择建议、对话提示词(Prompt)编写技巧、深度思考模式与联网搜索功能的使用场景、API Key 申请与首次接口调用流程,帮助用户快速上手 DeepSeek 并将其融入日常工作与学习。

2026.05.12

2229

18

DeepSeek API开发与应用集成教程合集
DeepSeek API开发与应用集成教程合集

系统讲解 DeepSeek 开放平台 API 的开发与集成方法,涵盖 API Key 鉴权与请求签名、Chat Completions 接口参数详解(temperature/top_p/max_tokens)、多轮对话上下文管理、流式输出(SSE Streaming)的前后端实现、Function Call 函数调用与外部工具对接、Embeddings 文本向量接口的使用、Python requests / openai SDK / J

2026.05.12

351

19

DeepSeek 提示词工程与高效使用教程合集
DeepSeek 提示词工程与高效使用教程合集

聚焦如何通过提示词工程充分发挥 DeepSeek 的能力上限,涵盖基础 Prompt 结构(角色/任务/格式/约束)设计、System Prompt 系统指令的最佳实践、Few-shot 示例引导与 Zero-shot 直接提问的场景选择、思维链(Chain of Thought)逐步推理引导、复杂任务的分步拆解策略、输出格式控制(JSON/Markdown/表格)、避免幻觉与提升准确率的约束技巧、DeepSeek-R1 深度推理模式的

2026.05.12

407

26

DeepSeek本地部署与私有化方案
DeepSeek本地部署与私有化方案

面向有数据隐私需求的开发者与企业,讲解 DeepSeek 开源模型的本地化部署方案,涵盖 DeepSeek-R1 各蒸馏版本(1.5B/7B/8B/14B/32B/70B)的硬件需求与能力对比、Ollama 一键本地运行与模型管理、vLLM 高性能推理服务部署、llama.cpp 量化推理(GGUF 格式/Q4/Q8 量化)在消费级显卡上的实践、Hugging Face Transformers 加载与微调、Docker 容器化部署、多

2026.05.12

282

21

DeepSeek行业应用场景实战
DeepSeek行业应用场景实战

以实际业务场景为导向,展示 DeepSeek 在不同行业中的落地应用方案,涵盖代码开发辅助(代码生成/审查/重构/单元测试编写)、长文写作与内容创作(报告/文案/论文大纲)、Excel 数据分析与可视化建议、智能客服机器人搭建(意图识别/多轮对话/知识库检索)、RAG 检索增强生成实现企业知识库问答、合同与法律文本审查、教育领域个性化辅导,帮助用户将 DeepSeek 转化为切实的生产力工具。

2026.05.12

472

17

DeepSeek 与主流 AI 大模型对比评测
DeepSeek 与主流 AI 大模型对比评测

从多个维度对 DeepSeek 与市场主流大语言模型进行客观对比,涵盖模型参数规模与架构差异(MoE 混合专家架构)、中文理解与生成能力对比、英文与多语言表现、数学推理与代码能力基准评测(MMLU/HumanEval/GSM8K)、长文本处理与上下文窗口对比、API 定价与性价比分析、响应速度与并发能力、开源生态与私有化部署灵活性,帮助用户根据自身需求在 DeepSeek、ChatGPT、Claude、Gemini、Llama 等模型中

2026.05.12

225

12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
零基础精通 PS 视频教程
零基础精通 PS 视频教程

共268课时 | 119.2万人学习

前端工程师必备技能—PS切图
前端工程师必备技能—PS切图

共11课时 | 2.2万人学习

麦子学院Photoshop切片视频教程
麦子学院Photoshop切片视频教程

共13课时 | 4.3万人学习