FreeLLMAPI是什么
freellmapi 是开源的 openai 兼容代理服务，可将约 14 家 ai 服务商的免费额度聚合为单一 api 端点，每月总计约 13 亿 tokens 的免费推理额度。项目基于 typescript/express 构建，支持自动故障转移、智能路由、密钥加密和用量追踪，专为个人开发者本地实验和原型验证设计。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
FreeLLMAPI的主要功能
- OpenAI 兼容 API 代理：对外暴露标准的 /v1/chat/completions 与 /v1/models 端点，兼容官方 OpenAI SDK、LangChain、LlamaIndex 等客户端，仅需修改 base_url 即可接入。
- 多提供商免费额度聚合：同时接入 Google Gemini、Groq、Cerebras、SambaNova、NVIDIA NIM、Mistral、OpenRouter、GitHub Models、HuggingFace、Cohere、Cloudflare、智谱 Z.ai、Moonshot Kimi、MiniMax 等约 14 家平台，每月总计约 13 亿 tokens 免费推理额度。
- 自动故障转移：当首选提供商返回 429/5xx 或请求超时时，自动将其置为冷却状态，并按预设优先级链尝试下一家提供商，最多重试 20 次。
- 智能速率与配额追踪：针对每个 (平台, 模型, 密钥) 组合实时跟踪 RPM、RPD、TPM、TPD 用量，确保始终调用未超限的健康密钥。
- 粘性会话锁定：多轮对话在 30 分钟内锁定同一模型，防止中途切换模型导致输出质量跳变或上下文断裂。
- AES-256-GCM 密钥加密：上游提供商的 API 密钥在 SQLite 数据库中静态加密，仅在发起请求前于内存中临时解密，降低密钥泄露风险。
- 统一认证令牌管理：客户端使用单一的 freellmapi-… Bearer Token 访问代理，无需在代码中暴露多家上游真实密钥。
- SSE 流式输出：完整支持 stream: true 的 Server-Sent Events 流式返回，兼容长文本逐字生成场景。
- 工具调用（Function Calling）：支持 OpenAI 风格的 tools / tool_choice 多轮工具调用流程，满足 Agent 开发需求。
- 可视化仪表盘与 Playground：内置 React/Vite 管理后台，支持拖拽调整回退链优先级、在 Playground 中快速测试模型，并查看延迟、成功率、Token 用量等 24h/7d/30d 统计数据。
- 轻量本地部署：基于 TypeScript/Express 构建，空载仅约 40MB RSS，可在树莓派等 ARM 设备上通过 PM2/systemd 常驻运行。
如何使用FreeLLMAPI
- 克隆安装：git clone http://github.com/tashfeenahmed/freellmapi.git && cd freellmapi && npm install。
- 配置密钥：cp .env.example .env 并生成 32 字节 ENCRYPTION_KEY 用于 AES-256-GCM 加密。
- 启动服务：npm run dev 同时启动后端 API（:3001）和仪表盘（:5173）。
- 添加上游 Key：在 http://localhost:5173 的 Keys 页面粘贴各平台免费 API Key。
- 调整回退链：在 Fallback Chain 页面拖拽设置提供商优先级。
- 获取统一 Token：在面板生成 freellmapi-… 单一 Bearer Token。
- SDK 调用：修改 base_url="http://localhost:3001/v1"，model 设为 "auto" 或具体模型名。
- cURL 调用：向 http://localhost:3001/v1/chat/completions 发送标准 OpenAI 格式请求。
- Playground 验证：在仪表盘 Playground 中直接输入提示词测试连通性与路由情况。
- 后台常驻：通过 PM2 或 systemd 托管，可在树莓派等 ARM 设备长期运行。
FreeLLMAPI的核心优势
- OpenAI 标准兼容：对外暴露 /v1/chat/completions 与 /v1/models 端点，支持官方 OpenAI SDK、LangChain、LlamaIndex 等任意兼容客户端，仅需修改 base_url 即可接入。
- 14 家平台免费额度聚合：同时接入 Google Gemini、Groq、Cerebras、SambaNova、NVIDIA NIM、Mistral、OpenRouter、GitHub Models、HuggingFace、Cohere、Cloudflare、智谱 Z.ai、Moonshot Kimi、MiniMax 等，每月总计约 13 亿 tokens 免费推理额度。
- 自动故障转移：当首选提供商返回 429/5xx 或超时时，自动将其置为冷却并按优先级链尝试下一家，最多重试 20 次，保障服务连续性。
- 智能速率与配额追踪：针对每个 (平台, 模型, 密钥) 组合实时跟踪 RPM、RPD、TPM、TPD 用量，始终选择未超限的健康密钥，避免手动切换。
- 粘性会话机制：多轮对话在 30 分钟内锁定同一模型，防止中途切换模型导致输出质量跳变或上下文断裂。
- AES-256-GCM 密钥加密：上游提供商 API 密钥在 SQLite 中静态加密，仅在发起请求前于内存中临时解密，用完即焚，降低密钥泄露风险。
- 统一认证令牌：客户端只需使用单一的 freellmapi-… Bearer Token，无需在代码中暴露多家上游真实密钥，简化管理。
- 完整流式与工具调用：支持 SSE 流式输出（stream: true）及 OpenAI 风格的 tools / tool_choice 多轮工具调用流程。
FreeLLMAPI的项目地址
- GitHub仓库：http://github.com/tashfeenahmed/freellmapi
FreeLLMAPI的同类竞品对比
| 对比维度 | FreeLLMAPI | LiteLLM | One API |
|---|---|---|---|
| 项目定位 | 开源免费 LLM 额度聚合代理，专注个人本地实验与学习 | 开源多模型统一调用 SDK + 代理网关，面向开发者与企业级 AI Gateway | 开源 API 分发管理系统，面向国内团队与企业级 Key 分发 |
| GitHub Stars | 500+ | 41.8k+ | 31.3k+ |
| 技术栈 | TypeScript / Express + React / Vite | Python（SDK + Proxy Server） | Go（完整 Web 管理后台） |
| 支持提供商 | 约 14 家免费平台（Gemini、Groq、Cerebras、GitHub Models、智谱等） | 100+ 家（OpenAI、Anthropic、Azure、Bedrock、Vertex AI、HuggingFace 等） | 国内模型覆盖最全（文心、通义、讯飞、智谱、Kimi、豆包等）+ 国际主流模型 |
| 免费额度聚合 | 核心能力，月总计约 13 亿 tokens | 不支持自动聚合免费额度，需自备各厂商 Key | 不支持自动聚合免费额度，需自备各厂商 Key |
| OpenAI 兼容 | ✅ 标准 /v1/chat/completions | ✅ 统一归一化为 OpenAI 格式 | ✅ 统一转换为 OpenAI 格式 |
| 自动故障转移 | ✅ 最多 20 次重试，冷却机制 | ✅ 支持重试、Fallback、负载均衡 | ✅ 支持负载均衡与故障切换 |
| 智能路由 | ✅ 按速率配额自动选择健康密钥 | ✅ 支持 least-busy、cheapest-completion 等多种策略 | ✅ 按渠道优先级和权重路由 |
| 速率限制追踪 | ✅ 实时跟踪 RPM/RPD/TPM/TPD | ✅ 内置限速与预算管控 | ✅ 支持 QPS/IP 限流与额度控制 |
| 密钥安全 | ✅ AES-256-GCM 静态加密 + 统一 Token | 依赖环境变量/配置文件，开源版无内置加密 | 集中式 Token 管理，支持密钥轮换 |
| 多租户/用户管理 | ❌ 单用户本地运行 | ✅ 支持多团队、多 Key、预算隔离 | ✅ 完善的用户体系、充值、配额、分组管理 |
| 成本追踪 | ❌ 无 | ✅ 按项目/用户粒度追踪 Token 消耗 | ✅ 渠道计费统计与用量分析 |
| 可视化界面 | ✅ React 仪表盘 + Playground | ❌ 无图形界面（开源版），依赖配置文件 | ✅ 中文 Web 管理界面，运营友好 |
| 流式 / 工具调用 | ✅ 完整支持 SSE 与 Function Calling | ✅ 完整支持 | ✅ 支持（New-API 增强函数调用） |
| 部署难度 | 极低，npm run dev 一键启动 | 中等，需 Python/Docker/Helm 知识 | 低，Docker 一键部署 |
FreeLLMAPI的应用场景
- 个人开发者本地实验与原型验证：项目明确面向个人学习与原型开发，将多家免费额度叠成单一本地 OpenAI 端点，无需付费即可快速验证 AI 应用创意。
- 多平台免费额度聚合调用：同时接入 Gemini、Groq、Cerebras、GitHub Models、智谱等约 14 家平台的免费档，每月总计约 13 亿 tokens，适合需要大用量但预算有限的个人项目。
- 低功耗设备常驻代理：空载仅约 40MB RSS，可在树莓派等 ARM 设备上通过 PM2/systemd 长期运行，作为家庭内网或边缘节点的轻量 AI 网关。
- OpenAI 兼容接口学习：对外暴露标准 /v1/chat/completions 端点，适合学习或调试 OpenAI SDK、LangChain、LlamaIndex 等生态工具，仅需修改 base_url 即可切换。
- 多模型快速对比测试：通过统一接口和 Playground 仪表盘，可在同一环境下快速对比不同免费提供商的响应质量、延迟与输出风格。
大量免费API接口：立即使用
涵盖生活服务API、金融科技API、企业工商API、等相关的API接口服务。免费API接口可安全、合规地连接上下游，为数据API应用能力赋能！
