Gemma 3 — 在您的设备集群上运行 Google 的开源模型

Gemma 3 是 Google 推出的能力最强的开源大语言模型（LLM）系列。支持 128K 上下文窗口，具备出色的代码生成能力，并原生支持 140 多种语言。集群路由组件（fleet router）会为每个请求自动选择最优设备执行——无需手动负载均衡。

支持的 Gemma 模型

快速开始

pip install ollama-herd    # PyPI: https://pypi.org/project/ollama-herd/
herd                       # 启动路由服务（监听端口 11435）
herd-node                  # 在每台设备上运行 —— 自动发现路由服务

安装过程中不会下载任何模型。模型仅在收到请求时按需拉取，或通过 Web 控制台手动触发。所有模型拉取操作均需用户显式确认。

通过集群使用 Gemma

OpenAI SDK（即插即用替代方案）

from openai import OpenAI

client = OpenAI(base_url="http://localhost:11435/v1", api_key="not-needed")

# 使用 Gemma 3 27B 处理复杂推理任务
response = client.chat.completions.create(
    model="gemma3:27b",
    messages=[{"role": "user", "content": "向一个 10 岁的孩子解释量子纠缠"}],
    stream=True,
)
for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

使用 CodeGemma 进行代码生成

response = client.chat.completions.create(
    model="codegemma",
    messages=[{"role": "user", "content": "用 Rust 编写一个二叉搜索树，包含 insert、delete 和 search 方法"}],
)
print(response.choices[0].message.content)

curl（Ollama 格式）

# Gemma 3 27B
curl http://localhost:11435/api/chat -d '{
  "model": "gemma3:27b",
  "messages": [{"role": "user", "content": "将以下内容翻译成日语：今天天气真好"}],
  "stream": false
}'

curl（OpenAI 格式）

curl http://localhost:11435/v1/chat/completions 
  -H "Content-Type: application/json" 
  -d '{"model": "gemma3:4b", "messages": [{"role": "user", "content": "Hello"}]}'

根据硬件选择合适的 Gemma 模型

跨平台兼容：以下仅为示例配置。任何具备等效内存容量的设备（Mac、Linux 或 Windows）均可运行对应模型。集群路由服务支持全部平台。

为何本地运行 Gemma

• 128K 上下文长度 — 可处理完整代码库及超长文档
• 支持 140+ 种语言 — 无需切换模型即可实现多语言能力
• Google 级质量，零使用成本 — 硬件投入后，无 Token 计费
• 数据隐私保障 — 所有数据始终保留在您本地网络内
• 集群智能路由 — 多台设备协同分担计算负载

查看当前运行状态

# 查看已加载至内存的模型
curl -s http://localhost:11435/api/ps | python3 -m json.tool

# 查看集群健康状态
curl -s http://localhost:11435/dashboard/api/health | python3 -m json.tool

Web 控制台地址：http://localhost:11435/dashboard — 实时监控集群运行状况。

该集群还支持以下能力

其他大语言模型

Llama 3.3、Qwen 3.5、DeepSeek-V3、DeepSeek-R1、Phi 4、Mistral、Codestral —— 全部共用同一 API 终端。

图像生成

curl -o image.png http://localhost:11435/api/generate-image 
  -d '{"model": "z-image-turbo", "prompt": "a gemstone catching light", "width": 1024, "height": 1024}'

语音转文字（Speech-to-text）

curl http://localhost:11435/api/transcribe -F "file=@meeting.wav" -F "model=qwen3-asr"

文本嵌入（Embeddings）

curl http://localhost:11435/api/embed 
  -d '{"model": "nomic-embed-text", "input": "Google Gemma open source language model"}'

完整文档

• Agent 部署指南
• API 参考手册

参与贡献

Ollama Herd 是开源项目（MIT 许可证）。欢迎提交 Star、Issue 和 Pull Request —— 无论是人类开发者还是 AI Agent，我们都热烈欢迎：

• GitHub 仓库 —— 包含 444 个测试用例，完全异步实现；CLAUDE.md 文件可让 AI Agent 立即高效工作
• 发现 Bug？请直接提交 Issue
• 希望新增功能？请 Fork 仓库、创建分支并提交 PR —— 完整测试套件运行时间低于 40 秒

安全防护机制

• 模型下载需用户显式确认 — Gemma 模型体积范围为 1GB（1B）至 16GB（27B）。
• 模型删除需用户显式确认。
• 切勿删除或修改 ~/.fleet-manager/ 目录下的任何文件。
• 不会自动下载任何模型 — 所有模型拉取均为用户主动触发，或需通过 auto_pull 显式启用。