Apple Silicon AI — 你的 Mac 就是集群

将你的 Mac Studio、Mac Mini、MacBook Pro 或 Mac Pro 转变为本地 Apple Silicon AI 集群。一个统一接入点即可将大语言模型（LLM）推理、图像生成、语音转文字（speech-to-text）和嵌入（embeddings）任务，智能分发至你局域网内的每一台 Apple Silicon 设备。

无需云 API，无需租用 GPU，无需 Docker。你的 Apple Silicon M1/M2/M3/M4 芯片配备统一内存（unified memory），其推理性能已超越大多数云端实例——你只需一套能将其视为 Apple Silicon 集群来调度的软件。

为何 Apple Silicon 适合 AI

Apple Silicon 的统一内存使整个模型驻留在单一地址空间中——无 PCIe 带宽瓶颈，无 CPU-GPU 数据搬运开销。一台搭载 M4 Ultra 芯片与 256GB 内存的 Mac Studio，可原生运行参数量达 120B 的模型，而同等能力在云端通常需多块 NVIDIA A100 才能实现。这正是 Apple Silicon 的核心优势。

Apple Silicon 集群部署

1. 在每台 Apple Silicon Mac 上安装

pip install ollama-herd    # 针对 Apple Silicon 优化的推理路由工具

2. 启动 Apple Silicon 路由器（任选一台 Mac 执行）

herd    # 在端口 11435 启动 Apple Silicon 路由器

3. 在每台 Mac 上启动 Apple Silicon 节点代理

herd-node    # Apple Silicon 节点自动发现路由器

完成。Apple Silicon 节点会在本地网络中自动发现路由器，无需配置 IP 地址，也无需编辑配置文件。如需显式指定连接，可使用 herd-node --router-url http://:11435。

Apple Silicon 路由机制说明

MacBook Pro（M3 Max，64GB）  ─┐
Mac Mini（M4，32GB）          ├──→  Apple Silicon 路由器（:11435）  ←──  你的应用
Mac Studio（M4 Ultra，256GB） ─┘

Apple Silicon 路由器基于 7 类信号对每台设备进行评分，并将每个请求动态路由至当前状态最优的 Mac——包括温度状态、内存适配度、队列深度等指标。

Apple Silicon 大语言模型推理

在你的 Apple Silicon 集群上运行 Llama、Qwen、DeepSeek、Phi、Mistral、Gemma 等任意 Ollama 兼容模型。

OpenAI 兼容 API（Apple Silicon 后端）

curl http://localhost:11435/v1/chat/completions 
  -H "Content-Type: application/json" 
  -d '{
    "model": "llama3.3:70b",
    "messages": [{"role": "user", "content": "解释 Apple Silicon 统一内存架构"}]
  }'

Ollama 兼容 API

curl http://localhost:11435/api/chat 
  -d '{"model": "qwen3:32b", "messages": [{"role": "user", "content": "对比 Apple Silicon M4 与 M3 在 AI 推理方面的差异"}]}'

Apple Silicon Python 客户端

from openai import OpenAI
# Apple Silicon 推理客户端
apple_silicon_client = OpenAI(base_url="http://localhost:11435/v1", api_key="unused")
apple_silicon_response = apple_silicon_client.chat.completions.create(
    model="deepseek-r1:70b",
    messages=[{"role": "user", "content": "为 Apple Silicon 优化该函数"}]
)

Apple Silicon 图像生成（mflux）

使用原生 MLX 实现的 Flux 模型生成图像。完全在 Apple Silicon 上本地运行——无需 CUDA，亦不依赖云端服务。

curl http://localhost:11435/api/generate-image 
  -d '{"prompt": "Apple Silicon Mac Studio 渲染 AI 艺术作品，照片级真实感", "model": "z-image-turbo", "width": 512, "height": 512}'

Apple Silicon 图像生成性能：

• Mac Studio M4 Ultra：512px 分辨率约 5 秒，1024px 分辨率约 14 秒
• MacBook Pro M3 Max：512px 分辨率约 7 秒，1024px 分辨率约 18 秒
• Mac Mini M4：512px 分辨率约 12 秒，1024px 分辨率约 30 秒

Apple Silicon 语音转文字（Qwen ASR）

通过 MLX 运行 Qwen3-ASR，在 Apple Silicon 上本地完成音频转录。适用于会议录音、语音备忘录、播客等场景——无需上传至云端，亦无需支付 Whisper API 费用。

curl http://localhost:11435/api/transcribe 
  -F "file=@apple_silicon_meeting.wav" 
  -F "model=qwen3-asr"

支持 WAV、MP3、M4A、FLAC 格式。在 Apple Silicon M4 Ultra 上处理一段 30 秒音频耗时约 2 秒。

Apple Silicon 嵌入（Embeddings）

使用 Ollama 嵌入模型（如 nomic-embed-text、mxbai-embed-large、snowflake-arctic-embed）在 Apple Silicon 集群上分布式生成文档嵌入向量。

curl http://localhost:11435/api/embed 
  -d '{"model": "nomic-embed-text", "input": "Apple Silicon 统一内存架构在 AI 推理中的应用"}'

支持跨 Apple Silicon 节点批量处理数千份文档，避免单台 Mac 成为性能瓶颈。

Apple Silicon 集群监控

仪表盘

访问 http://localhost:11435/dashboard，即可查看集群中所有 Apple Silicon Mac 的实时状态：已加载模型、队列深度、温度状态、内存使用率及健康状况。

Apple Silicon 集群状态 API

curl http://localhost:11435/fleet/status

返回所有 Apple Silicon 节点的硬件规格、已加载模型、图像生成/语音转文字能力以及各项健康指标。

Apple Silicon 健康检查

curl http://localhost:11435/dashboard/api/health

执行 15 项自动化检查：离线节点检测、内存压力、温度降频、VRAM 回退、错误率等。

按 Apple Silicon 硬件推荐模型

Apple Silicon 路由器内置的模型推荐器会分析你集群的硬件配置，并建议最优模型组合：GET /dashboard/api/model-recommendations。

完整文档

• Agent 部署指南 —— 面向全部 4 类模型的完整 Apple Silicon 部署流程
• 配置参考 —— 全部 44+ 个环境变量详解
• API 参考 —— 所有端点及其请求/响应 Schema
• 故障排查 —— 常见 Apple Silicon 问题与解决方案

安全守则（Guardrails）

• 禁止自动下载：Apple Silicon 模型拉取始终由用户主动触发，并需显式确认。模型体积因尺寸而异，范围为 2GB 至 70GB+。
• 模型删除需用户确认：未经用户明确授权，绝不允许从 Apple Silicon 节点中移除任何模型。
• 所有请求严格本地化：无任何数据离开你的本地网络——全部推理均在你的 Apple Silicon Mac 上完成。
• 无需 API 密钥：Apple Silicon 集群不依赖账户、令牌或任何云端服务。
• 禁止外部网络访问：Apple Silicon 路由器与节点仅在本地网络内通信，不采集遥测数据，亦不调用任何云端回调接口。
• 本地状态为只读：唯一创建的本地文件为 ~/.fleet-manager/latency.db（Apple Silicon 路由指标）和 ~/.fleet-manager/logs/herd.jsonl（结构化日志）。未经用户确认，不得删除或修改这些文件。