必须用lm studio加载jev模型的gguf文件,路径须为纯英文、文件名含q4_k_m等有效量化后缀,且需手动配置model.yaml写入api_model_identifier才能正常调用。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

要在本地运行 JEV 模型(如 jev-7b-instruct、jev-1.5b-chat 等基于 Qwen 架构优化的轻量级中文推理模型),必须使用 LM Studio 加载其 GGUF 格式版本,且路径、命名与配置均需严格匹配——任何一步用错量化后缀或混入中文路径,都会导致“Model not found”或加载后立即崩溃。
确认 JE V 模型的 GGUF 文件已就位
JEV 模型目前未在 Hugging Face 官方组织页统一发布,需前往其 GitHub 发布页(https://github.com/jev-ai/jev/releases)下载预编译的 .gguf 文件。常见有效文件名形如 jev-7b-instruct-Q4_K_M.gguf 或 jev-1.5b-chat-Q5_K_S.gguf;注意:Q4_K_M 是最低可用门槛,Q2_K 不支持上下文扩展,会触发 token truncation 错误。
将该文件保存至纯英文路径,例如 D:\lmstudio\models\jev\jev-7b-instruct-Q4_K_M.gguf;若路径含中文、空格或括号(如“我的模型”“JEV(测试)”),LM Studio 将静默跳过该文件,不报错也不提示。
通过 Local Models 界面导入模型
方法一:标准导入流程
启动 LM Studio → 点击左侧导航栏 Local models → 点击右上角 Add local model → 在弹窗中定位并选中刚保存的 .gguf 文件 → 点击“打开”。
等待右下角状态栏出现 Model loaded successfully 提示;若卡在“Loading metadata…”超 10 秒,说明文件损坏或非标准 GGUF(常见于手动重命名后缀但未实际转换)。
方法二:绕过索引强制加载(适用于模型列表不显示时)
顶部菜单栏 → Model → Load Model from File → 直接选择 .gguf 文件 → 确认。
此方式跳过模型元数据校验,可加载部分非标准 GGUF,但后续无法在 Models 列表中管理该模型。
启用本地服务并验证端点可用性
第一步:切换至 Local Server 面板
点击左侧底部齿轮图标(Local Server)→ 确保 Backend 为 llama.cpp,GPU Offload 滑块至少拖动至 1 层(即使无独显也建议开启 CPU 多线程)。
统一LLM网关 - 一个API对接70+AI模型,使用单一API密钥即可调用GPT、Claude、Gemini、Qwen、Deepseek、Grok等主流模型。
第二步:加载模型并启动 API
返回左侧 Models 标签页 → 找到刚导入的 JEV 模型(名称应为 jev-7b-instruct,而非原始文件名)→ 单击右侧 Load 按钮 → 待状态变为 “Loaded” 后,点击面板右上角 Start Server。
第三步:确认服务监听地址
服务器日志区应出现类似 Server listening on http://127.0.0.1:1234/v1 的输出;若显示 Port 1234 is already in use,需先关闭其他占用该端口的程序(如旧版 LM Studio 实例、Ollama)。
第四步:启用跨域支持
在 Local Server 设置页中,打开 Enable CORS 开关;否则 Obsidian Copilot、Trae 等外部客户端将被浏览器拦截请求。
手动补全模型标识符(关键修复步骤)
JEV 模型在 LM Studio 中默认无 API Model Identifier,会导致外部工具调用时报错 model not found。必须手动写入:
关闭 LM Studio → 用文本编辑器打开 C:\Users\[用户名]\.lmstudio\hub\models\jev\jev-7b-instruct\model.yaml(若不存在则新建)→ 在文件末尾添加两行:
api_model_identifier: jev-7b-instruct
name: JEV 7B Instruct
保存后重启 LM Studio,再进入 Local Server 页面,右侧“API Model Identifier”字段应显示 jev-7b-instruct;若仍为空,说明 model.yaml 路径错误或格式缩进不合法(YAML 对空格敏感,必须用空格而非 Tab)。










