ollama可让mistral等开源大模型在本地离线运行，无需cuda配置或python环境冲突，一行命令即可完成安装、拉取（如mistral:instruct）、加载与交互，并支持通过open webui获得可视化界面及rest api集成。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
想在自己电脑上不联网、不依赖云服务，直接跑起Mistral AI开发的高性能开源大模型？Ollama能让你跳过CUDA配置、Python环境冲突、GGUF手动量化这些繁琐环节，真正用一行命令完成模型拉取、加载和交互。
安装Ollama运行时环境
Windows/macOS用户直接去 ollama.com/download 下载对应安装包，双击完成安装；Linux用户执行这一行命令即可：
curl -fsSL https://ollama.com/install.sh | sh
安装完成后终端输入 ollama --version，看到类似 ollama version 0.4.5 的输出，说明基础环境就绪。注意：若提示 command not found，请重启终端或手动将 /usr/local/bin 加入 PATH。
拉取并运行Mistral系列模型
这一步决定你实际用上的模型能力边界。Mistral官方推荐的轻量高性能组合是 Mistral-7B-Instruct-v0.3（2026年最新微调版），它比旧版响应更准确、指令遵循更强。
方法一：直接运行（自动拉取+启动）
ollama run mistral:instruct
方法二：显式拉取后运行（适合网络不稳定时）
ollama pull mistral:instruct → ollama run mistral:instruct
方法三：指定量化精度（节省显存/内存）
ollama run mistral:instruct-q4_K_M
【mistral:instruct 默认是 Q5_K_M 量化，若你的设备只有 8GB 内存，务必改用 q4_K_M 版本，否则大概率触发 OOM 崩溃】
对接Open WebUI获得类ChatGPT界面
命令行交互适合调试，但日常使用需要可视化界面。Open WebUI 是目前与 Ollama 集成最稳、中文支持最好的前端。
将小说章节转换为电影分镜剧本。用户上传txt/md/docx文本，AI分析场景、角色、情绪、镜头语言，输出专业分镜脚本。适用于用户提及“分镜”“storyboard”“小说转分镜”“影视改编”“镜头脚本”或需要将小说改编为分镜的场景。
第一步：确保 Docker 已安装并运行
macOS/Linux 执行 docker --version；Windows 用户需启用 WSL2 并安装 Docker Desktop。
第二步：拉取并启动 Open WebUI 容器
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
第三步：浏览器访问 http://localhost:3000，首次打开会提示设置管理员账号；登录后在模型选择下拉框中找到 mistral:instruct 或 mistral:instruct-q4_K_M，选中即生效。
第四步：测试提问——输入“用中文解释 tokenization 的作用”，观察是否返回结构清晰、无乱码的中文回答。若出现英文混杂或截断，说明模型未正确加载，需检查 Ollama 日志：ollama logs。
验证API服务可用性
Ollama 默认开启 REST API 服务（端口 11434），这是集成到你自己的程序里的关键入口。
执行 curl 命令发起一次生成请求：
curl http://localhost:11434/api/generate -d '{ "model": "mistral:instruct", "prompt": "请用一句话说明什么是 RAG" }'
正常响应会以 JSON 流式返回，包含字段 response 和 done。如果返回 Connection refused，说明 ollama serve 进程没在后台运行——此时新开终端执行 ollama serve 即可。
