在发送至付费API前,通过三层压缩预处理提示词;利用本地Ollama模型智能压缩消息并生成历史摘要。
3-Layer Token压缩机 — 剪切 AI API 成本 40- 60 +++ 预处理在发送到付费API之前通过3个压缩层提示. 使用免费的本地 Olla是一项面向实际任务的技能。它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。
实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。
执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。
在将提示词(prompt)发送至付费 API 之前,先通过三层压缩流程进行预处理。压缩工作由本地免费运行的 Ollama 模型完成 —— 你的付费 API 仅接收到最终压缩后的结果。
| 依赖项 | 说明 |
|---|---|
| Ollama | 必须在本地运行(默认地址:localhost:11434) |
| 本地模型 | 用于压缩的小型模型(例如 llama3.1:8b)。可通过 compressionModel 配置项自定义。 |
| Node.js | 14 及以上版本 |
Ollama 是运行时必需组件。 压缩器将提示词发送至你的本地模型 —— 不会调用任何外部 API。
该能力向本地 Ollama 模型发送以下内容:
| 操作类型 | 系统提示(System prompt) | 用户提示(User prompt) |
|---|---|---|
| 消息压缩 | You are a text compression tool. Output only what is asked, nothing else. |
你的原始消息 + 压缩指令 |
| 历史摘要生成 | 同上 | 过往对话轮次 + 摘要生成指令 |
不向任何外部 API 发送数据。所有压缩均在本地完成。
| 类型 | 说明 |
|---|---|
| NETWORK | 仅发起 HTTP 请求至 localhost:11434 —— 即你的本地 Ollama 实例 |
| MEMORY | 响应缓存保存于内存中(使用 Map 结构,大小与 TTL 可配置) |
| DISK | 无磁盘写入 —— 缓存不会持久化到磁盘 |
const TokenCompressor = require('./src/token-compressor');
const compressor = new TokenCompressor({
ollamaHost: 'localhost', // 默认值
ollamaPort: 11434, // 默认值
compressionModel: 'llama3.1:8b', // 默认值 —— 支持任意 Ollama 模型
maxUncompressedTurns: 10, // 保留最近 N 轮对话原文(不压缩)
cacheMaxSize: 100,
cacheTTL: 3600000 // 1 小时
});
完整 API 文档及使用示例请参阅 README.md。