Linux AI Server — 无头 AI 推理集群

将您的 Linux 服务器转变为分布式 AI 推理集群。无需 GUI、无需 Docker、无需 Kubernetes —— 仅需 Linux + pip install。您机架式服务器、云虚拟机以及闲置的 Linux 设备，均可通过统一端点对外提供 AI 服务。

为何选择 Linux AI Server

• 零 GUI 开销 —— 无头 Linux AI 将全部资源用于推理任务，不运行桌面环境
• 原生支持 systemd —— Linux AI Server 开机自启，故障自动重启，并将日志写入 journald
• SSH 管理 —— 完全通过 SSH 管理整个 Linux AI Server 集群
• 兼容任意 Linux 发行版 —— Ubuntu、Debian、RHEL、Fedora、Arch、Alpine —— 只要可运行 Ollama，即可加入集群
• NVIDIA CUDA 支持 —— Linux AI Server 原生使用 NVIDIA GPU，无兼容性问题
• 集群路由能力 —— 多个 Linux AI Server 节点协同分担负载，采用 7-signal 评分机制自动选取最优节点

Linux AI Server 部署流程

各 Linux 服务器快速安装

# 在 Linux 上安装 Ollama
curl -fsSL https://ollama.ai/install.sh | sh

# 安装 Linux AI Router（集群路由组件）
pip install ollama-herd

Linux AI Server Router（指定一台服务器作为 Router）

herd          # 启动 Linux AI Server Router，默认监听端口 11435
herd-node     # 将本机注册为 Linux AI Server 节点

Linux AI Server Nodes（其余所有服务器）

herd-node     # 自动发现 Linux AI Server Router
# 或显式指定：herd-node --router-url http://router-ip:11435

Linux AI Server systemd 服务配置

# /etc/systemd/system/herd-router.service
[Unit]
Description=Linux AI Server Router
After=network.target ollama.service

[Service]
Type=simple
ExecStart=/usr/local/bin/herd
Restart=always
RestartSec=5
User=ollama

[Install]
WantedBy=multi-user.target

# /etc/systemd/system/herd-node.service
[Unit]
Description=Linux AI Server Node
After=network.target ollama.service

[Service]
Type=simple
ExecStart=/usr/local/bin/herd-node
Restart=always
RestartSec=5
User=ollama

[Install]
WantedBy=multi-user.target

sudo systemctl enable --now herd-router    # 在 Linux AI Router 服务器上执行
sudo systemctl enable --now herd-node      # 在所有 Linux AI Node 服务器上执行

Linux AI Server 硬件参考指南

Linux AI Server 支持 NVIDIA CUDA GPU、AMD ROCm（实验性）及纯 CPU 推理。

使用您的 Linux AI Server

OpenAI SDK

from openai import OpenAI

# 您的 Linux AI Server 终端地址
client = OpenAI(base_url="http://linux-ai-server:11435/v1", api_key="not-needed")

response = client.chat.completions.create(
    model="llama3.3:70b",
    messages=[{"role": "user", "content": "编写一个适用于 AWS ECS 的 Terraform 模块"}],
    stream=True,
)
for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

从任意设备使用 curl 调用

# 从局域网内任一设备访问您的 Linux AI Server
curl http://linux-ai-server:11435/api/chat -d '{
  "model": "codestral",
  "messages": [{"role": "user", "content": "为 FastAPI 应用编写一个 Dockerfile"}],
  "stream": false
}'

Linux AI Server 运行环境优化

# 优化 Linux AI Server 所用 Ollama 实例
sudo systemctl edit ollama
# 在 [Service] 下添加：
#   Environment="OLLAMA_KEEP_ALIVE=-1"
#   Environment="OLLAMA_MAX_LOADED_MODELS=-1"
#   Environment="OLLAMA_NUM_PARALLEL=2"
sudo systemctl restart ollama

Linux AI Server 防火墙配置

# UFW（Ubuntu/Debian）
sudo ufw allow 11435/tcp

# firewalld（RHEL/Fedora）
sudo firewall-cmd --add-port=11435/tcp --permanent && sudo firewall-cmd --reload

Linux AI Server 监控

# 查看 Linux AI Server 集群状态
curl -s http://localhost:11435/fleet/status | python3 -m json.tool

# 查看 Linux AI Server 健康状况 —— 包含 15 项自动化检测
curl -s http://localhost:11435/dashboard/api/health | python3 -m json.tool

# 查看 Linux AI Server 请求追踪记录 —— 最近 10 条
curl -s "http://localhost:11435/dashboard/api/traces?limit=10" | python3 -m json.tool

# 查看 Linux AI Server 日志
journalctl -u herd-router -f
tail -f ~/.fleet-manager/logs/herd.jsonl.$(date +%Y-%m-%d)

仪表盘地址：http://linux-ai-server:11435/dashboard —— 可通过局域网内任意浏览器访问。

Linux AI Server 还支持以下功能

图像生成

curl http://localhost:11435/api/generate-image 
  -d '{"model": "z-image-turbo", "prompt": "server rack visualization", "width": 1024, "height": 1024}'

嵌入向量（Embeddings）

curl http://localhost:11435/api/embed 
  -d '{"model": "nomic-embed-text", "input": "Linux AI server headless inference"}'

完整文档

• Agent 部署指南
• API 参考文档
• 配置项参考文档

参与贡献

Ollama Herd 是开源项目（MIT 协议），欢迎 Linux 系统管理员加入：

• GitHub Star
• 提交 Issue

安全守则（Guardrails）

• Linux AI Server 的模型下载需用户明确确认。
• Linux AI Server 的模型删除需用户明确确认。
• 请勿删除或修改 ~/.fleet-manager/ 目录下的任何文件。
• 系统不会自动下载任何模型 —— 所有模型拉取操作均由用户主动发起，或需用户显式启用相关选项。