将LLM请求优先路由至本地模型(Ollama、LM Studio、llamafile),失败后回退至云端API,并持续追踪Token节省与成本规避情况。
本地第一 LLM.是一项面向实际任务的技能,主要用于Route 请求先使用本地 LLM;仅在必要的时候返回到云中;
它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。使用时应结合输入条件选择合适的执行方式,核对必要参数、依赖环境与输出内容,并按原始要求处理异常情况。该技能适合需要稳定复用相关能力的场景,可作为自动化工作流的一部分,也便于后续检查、调整和扩展。从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。
实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。
优先将请求路由至本地 LLM;仅在必要时回退至云端。全程追踪每次决策,直观呈现实际节省的 token 数量与费用。
python3 skills/local-first-llm/scripts/check_local.py
返回 JSON: { "any_available": true, "best": { "provider": "ollama", "models": [...] } }
python3 skills/local-first-llm/scripts/route_request.py --prompt "总结本次会议记录" --tokens 800 --local-available --local-provider ollama
返回:{ "decision": "local", "reason": "...", "complexity_score": -1 }
请求执行完成后,记录该次调用:
python3 skills/local-first-llm/scripts/track_savings.py log --tokens 800 --model gpt-4o --routed-to local
python3 skills/local-first-llm/scripts/dashboard.py
┌─────────────────────────────────────────────────────┐ │ 1. check_local.py → 本地 provider 是否正在运行? │ │ │ │ 2. route_request.py → 选择本地还是云端? │ │ - 敏感性检查(含私有数据 → 本地) │ │ - 复杂度评分(高分 → 云端) │ │ - 可用性门控(无本地 provider → 云端) │ │ │ │ 3. 使用选定的 provider 执行请求 │ │ │ │ 4. track_savings.py log → 记录本次执行结果 │ │ │ │ 5. dashboard.py → 展示累计节省情况 │ └─────────────────────────────────────────────────────┘
| 条件 | 路由目标 |
|---|---|
| 无可用本地 provider | ☁️ 云端 |
提示词中包含敏感数据(password、secret、api key、ssn 等) |
🏠 本地 |
| 复杂度评分 ≥ 3 | ☁️ 云端 |
| 复杂度评分 < 3 | 🏠 本地 |
完整评分逻辑详见 references/routing-logic.md。
当 route_request.py 返回 "decision": "local" 后,向对应本地 provider 发送请求:
curl http://localhost:11434/api/generate
-d '{"model": "llama3.2", "prompt": "YOUR_PROMPT", "stream": false}'
curl http://localhost:1234/v1/chat/completions
-H "Content-Type: application/json"
-d '{"model": "local-model", "messages": [{"role": "user", "content": "YOUR_PROMPT"}]}'
仪表盘读取 ~/.openclaw/local-first-llm/savings.json(自动创建)中的数据。
┌─────────────────────────────────────────┐ │ 🧠 Local-First LLM — Dashboard │ ├─────────────────────────────────────────┤ │ Local LLM: ✅ ollama (llama3.2...) │ ├─────────────────────────────────────────┤ │ Total requests: 42 │ │ Routed locally: 31 (73.8%) │ │ Routed to cloud: 11 │ ├─────────────────────────────────────────┤ │ Tokens saved: 84,200 │ │ Cost saved: $0.4210 │ └─────────────────────────────────────────┘
重置节省数据:
python3 skills/local-first-llm/scripts/track_savings.py reset
references/routing-logic.mdreferences/local-providers.mdreferences/token-estimation.md相关专题
热门下载
相关下载
精品课程
共6课时 | 54.7万人学习
共89课时 | 134.3万人学习
共49课时 | 82.7万人学习
最新文章