本文详解如何通过 keep_alive 参数（包括 -1 永驻模式）让 Ollama 模型常驻内存，彻底解决 Python 调用时每次请求 15–25 秒冷启动延迟问题，并提供兼容最新 ollama-python 库的实战代码与关键注意事项。
本文详解如何通过 keep_alive 参数（包括 -1 永驻模式）让 ollama 模型常驻内存，彻底解决 python 调用时每次请求 15–25 秒冷启动延迟问题，并提供兼容最新 ollama-python 库的实战代码与关键注意事项。
在本地运行 Ollama（如 gemma:3.4b）时，若每次 chat 请求都经历 15–25 秒延迟，而终端直连却秒级响应，这几乎可以确定是模型被自动卸载所致——Ollama 默认在无请求一段时间后释放模型内存以节省资源。虽然 CLI 支持 ollama run --keep-alive=60m gemma:3.4b，但 Python SDK 的正确用法常被误解。
幸运的是，自 ollama-python v0.3.0 起（对应 PR #31），keep_alive 已正式支持，但必须注意：它仅在模型首次加载或显式触发时生效，且需置于顶层参数（而非 options 内部）。你当前代码中将 'keep_alive': 60 放在 options 字典里是无效的——这是导致配置失效的根本原因。
✅ 正确用法如下（适配 ollama-python >= 0.3.0）：
创建 Flask + Vue.js 全栈项目，采用单端口架构、uv 依赖管理、结构化日志和生产级前端设计。当用户要求以下操作时触发：创建新的 Flask+Vue 项目、搭建 Web 应用、构建全栈 Python+Vue 应用、初始化 Flask Web 项目、设置单端口 Flask 前后端项目。触发词：新建项目、创建项目、搭建项目、Flask项目、Vue项目。
import asyncio
import json
import ollama
async def chat_with_persistent_model():
# ✅ keep_alive 必须作为顶层参数传入，单位：秒；-1 表示永驻内存
response = await ollama.chat(
model='gemma:3.4b',
messages=[{'role': 'user', 'content': 'Hello'}],
format='json', # 若需结构化输出
keep_alive=-1, # 关键：模型永不卸载（推荐服务启动时调用一次）
options={'temperature': 0.0}
)
return json.loads(response['message']['content'])
⚠️ 重要说明与最佳实践：
-
keep_alive是“加载指令”，非“会话选项”：它只在模型尚未加载或已卸载时起作用。一旦模型驻留成功，后续请求无需重复传参。 -
推荐初始化阶段预热：在应用启动时主动调用一次
ollama.chat(..., keep_alive=-1)，确保模型立即加载并长期驻留：# 应用启动时执行（同步或异步均可） ollama.chat(model='gemma:3.4b', messages=[{'role':'system','content':'warm up'}], keep_alive=-1) -
HTTP 层面等效操作（兼容旧版或调试用）：
若 SDK 版本较低或需精细控制，可直接调用 Ollama API：import requests # 永驻模型 requests.post("http://localhost:11434/api/chat", json={"model": "gemma:3.4b", "keep_alive": -1}) # 卸载模型（按需） requests.post("http://localhost:11434/api/chat", json={"model": "gemma:3.4b", "keep_alive": 0}) -
内存权衡：
keep_alive=-1会持续占用 GPU/CPU 显存与内存，请确保设备资源充足（M2 MacBook Pro 推荐 ≥16GB 统一内存）。 -
验证是否生效：观察 Ollama 日志（
ollama serve终端）或使用ollama list查看STATUS列是否为running；多次请求耗时应稳定在 200–800ms。
总结：消除 Ollama Python 调用延迟的关键，在于将 keep_alive 作为顶层参数传入首次 chat() 调用，并设为 -1 实现永驻。此举可将 M2 Mac 上的响应从 20 秒级降至亚秒级，真正发挥本地大模型的实时推理能力。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
