本文详解如何通过 keep_alive 参数（包括 -1 永驻模式）在 Python 中防止 Ollama 模型被自动卸载，显著降低本地推理延迟，尤其适用于高频调用场景。
本文详解如何通过 `keep_alive` 参数（包括 `-1` 永驻模式）在 python 中防止 ollama 模型被自动卸载，显著降低本地推理延迟，尤其适用于高频调用场景。
在使用 Ollama 进行本地大模型推理时，频繁请求导致每次耗时 15–25 秒，而终端直连却响应飞快——这通常不是硬件瓶颈，而是模型在空闲后被自动卸载（unloaded）所致。Ollama 默认会在无请求一段时间后释放模型内存，下次调用需重新加载、解析权重、初始化 GPU/CPU 后端，造成显著冷启动延迟。
关键解决方案是启用 keep_alive 机制：它控制模型在内存中驻留的最短时长（单位：秒）。其取值含义如下：
-
keep_alive: -1：模型永久驻留内存（推荐用于长期服务进程） -
keep_alive: 300：空闲 5 分钟后自动卸载 -
keep_alive: 0：立即卸载（显式释放资源）
⚠️ 注意：keep_alive 必须在首次加载模型的请求中指定，而非后续聊天请求中。仅在 /api/chat 或 /api/generate 的初始请求中传入该参数才会生效；后续请求即使携带 keep_alive 也不会重置计时器或改变驻留策略。
✅ 正确用法：首次加载 + 显式保活
以下是在 Python 中通过 ollama 官方 SDK 实现模型永驻的推荐方式（适配 v0.4.0+，已合并 PR #31）：
import ollama
# ✅ 第一步：显式加载并保活（触发模型初始化 + 内存锁定）
ollama.chat(
model="gemma:3.4b",
messages=[{"role": "user", "content": "Hello"}],
options={"keep_alive": -1} # ← 关键：-1 表示永驻
)
# ✅ 第二步：后续所有请求无需再传 keep_alive，模型已常驻
response = ollama.chat(
model="gemma:3.4b",
messages=[{"role": "user", "content": "Explain quantum computing simply."}]
)
若使用异步接口（如你的代码），同样需在首次调用中设置 keep_alive：
await ollama.AsyncClient().chat(
model="gemma:3.4b",
messages=[{"role": "user", "content": "init"}],
options={"keep_alive": -1}
)
? 替代方案：手动 HTTP 调用（兼容旧版 SDK）
当 ollama-python 版本较低（
import requests
OLLAMA_BASE_URL = "http://localhost:11434" # 默认地址
# 永驻加载模型（等效于 ollama run gemma:3.4b --keep-alive=-1）
requests.post(
f"{OLLAMA_BASE_URL}/api/chat",
json={"model": "gemma:3.4b", "keep_alive": -1}
)
# 后续所有 chat 请求走标准接口，无延迟
response = requests.post(
f"{OLLAMA_BASE_URL}/api/chat",
json={
"model": "gemma:3.4b",
"messages": [{"role": "user", "content": "Hello"}]
}
)
? 注意事项与最佳实践
-
仅首次有效：
keep_alive是模型级生命周期配置，后续/chat请求中重复传递无效；修改需先keep_alive: 0卸载再重新加载。 -
内存占用：
keep_alive: -1会持续占用显存/内存，请确保设备资源充足（M2 MacBook Pro 推荐 ≥16GB 统一内存）。 - 服务重启感知：Ollama 服务重启后模型自动卸载，需在应用启动时重新发送保活请求。
-
多模型共存：每个模型独立管理
keep_alive状态，可同时驻留多个模型（如gemma:3.4b和phi3:mini）。 -
验证是否生效：执行
ollama list查看LAST SEEN列 — 若显示just now且长时间不变化，说明驻留成功。
✅ 总结
消除 Ollama 本地调用延迟的核心，在于主动干预模型生命周期。将 keep_alive: -1 注入模型首次加载请求（而非每次推理），即可让模型常驻内存，使后续请求回归毫秒级响应。无论使用官方 ollama SDK 还是原生 HTTP，本质都是向 Ollama Server 发送一次带保活语义的初始化指令。建议在服务启动阶段统一完成模型预热与驻留，构建低延迟、高可用的本地 LLM 应用基座。
