MLX 本地推理栈

基于 Apple Silicon 的本地 AI 推理。oMLX 支持大语言模型（LLM）与多模态视觉语言模型（VLM），并具备连续批处理能力。 Python 库通过 uv 直接运行 Embedding / ASR / OCR 任务。

架构

┌─────────────────────────────────────┐
│  oMLX (localhost:8000/v1)           │
│  - LLM（Qwen3.5-35B 等）            │
│  - VLM（视觉-语言模型）             │
│  - 连续批处理 + SSD 缓存            │
└─────────────────────────────────────┘

┌─────────────────────────────────────┐
│  Python 库（通过 uv run 执行）      │
│  - mlx-lm：Embedding                │
│  - mlx-vlm：OCR（PaddleOCR-VL）     │
│  - mlx-audio：ASR（Qwen3-ASR）       │
└─────────────────────────────────────┘

模型

使用方法

LLM / 视觉-语言模型（通过 oMLX API）

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="local")

# 文本生成
resp = client.chat.completions.create(
    model="Qwen3.5-35B-A3B-4bit",
    messages=[{"role": "user", "content": "Hello"}]
)
print(resp.choices[0].message.content)

向量化嵌入（Embeddings，通过 mlx-lm + uv）

uv run --with mlx-lm python -c "
from mlx_lm import load
model, tokenizer = load('~/models/Qwen3-Embedding-0.6B-4bit-DWQ')
text = 'text to embed'
inputs = tokenizer(text, return_tensors='np')
embeddings = model(**inputs).last_hidden_state.mean(axis=1)
print(embeddings.shape)
"

ASR — 语音转文本（通过 mlx-audio + uv）

重要：必须使用 --python 3.11 启动，以避免 OpenMP 线程问题（SIGSEGV）。

uv run --python 3.11 --with mlx-audio python -m mlx_audio.stt.generate 
  --model ~/models/Qwen3-ASR-1.7B-8bit 
  --audio "audio.wav" 
  --output-path /tmp/asr_result 
  --format txt 
  --language zh 
  --verbose

OCR（通过 mlx-vlm + uv）

重要：generate 函数的参数顺序必须为 (model, processor, prompt, image)。

cat << 'PY_EOF' > run_ocr.py
import os
from mlx_vlm import load, generate
from mlx_vlm.prompt_utils import apply_chat_template

model_path = os.path.expanduser("~/models/PaddleOCR-VL-1.5-6bit")
model, processor = load(model_path)
prompt = apply_chat_template(processor, config=model.config, prompt="OCR:", num_images=1)

output = generate(model, processor, prompt, "document.jpg", max_tokens=512, temp=0.0)
print(output.text)
PY_EOF

uv run --python 3.11 --with mlx-vlm python run_ocr.py

服务管理（仅 oMLX）

# 查看当前加载的模型
curl http://localhost:8000/v1/models

# 重启 oMLX 服务
launchctl kickstart -k gui/$(id -u)/com.omlx-server

模型存储策略

所有模型均存放在 ~/models/ 下，并采用 oMLX 兼容的目录结构：

~/models/
├── Qwen3-Embedding-0.6B-4bit-DWQ/
├── Qwen3-ASR-1.7B-8bit/
├── PaddleOCR-VL-1.5-6bit/
└── Qwen3.5-35B-A3B-4bit/

系统要求

• Apple Silicon Mac（M1/M2/M3/M4）
• 已安装 uv（执行 curl -LsSf https://astral.sh/uv/install.sh | sh 安装）