能,jev模型官方原生支持arm架构,提供aarch64/arm64专用部署包(含纯cpu二进制、量化模型及python sdk),已在gb10、ax8850、jetson orin等设备实测通过,低配设备亦可绕过常规加载路径高效运行。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

能,Jev 模型在 ARM 架构设备上不仅可安装,而且是官方明确支持的部署场景之一。
官方原生支持 aarch64 和 ARM64
所有实测数据(包括延迟、显存占用、推理耗时)均基于 aarch64 架构的 GB10 算力卡(20 核 CPU,121 GB 统一内存),PyTorch 2.14.0+cu130 环境下完成。这意味着 Jev 的核心推理路径已针对 ARM 生态深度适配,不是“勉强能跑”,而是“按设计运行”。
官方提供的部署包中,明确包含:
- jev-runtime-linux-arm64.tar.gz:纯 CPU 运行的独立二进制,无需 Python、CUDA 或任何依赖;
- Laya 开源实现(Jev 的开源平替)也已在爱芯元智 AX8850(ARM+NPU 芯片)上实测通过,单题前向 28.75ms;
- Python SDK(
pip install jev)在 Python 3.10+ 的 ARM64 Linux 系统(如 Ubuntu 22.04/24.04 on Raspberry Pi 5、Jetson Orin)上可正常安装与调用。
低配 ARM 设备也能跑,关键在绕过常规加载路径
对于内存仅 4GB、CPU 为 i3-4130(虽非 ARM,但同属低资源场景)的老设备,官方推荐跳过 transformers 和 pipeline,直接使用量化模型或二进制运行时——这一策略对 ARM 设备同样有效:
- 下载
jev-v1.3-quantized.pt(8-bit,仅 2.1MB),用torch.jit.load加载,不依赖完整 PyTorch 模块树; - 或直接解压
jev-runtime-linux-arm64.tar.gz,执行./jev-infer --state '...' --query '...',纯 CPU 推理,i3-4130 实测单次 38ms,ARM64 设备表现相近甚至更优; - 无需 GPU 驱动,不校验 CUDA,天然兼容无 GPU 的 ARM 开发板(如 RK3588、Orin Nano)。
注意事项:输入格式和环境约束
ARM 上运行 Jev 成功率高,但两个细节极易出错:
-
state 必须是字符串,不能是 dict 或 list;若从 JSON 文件读取,需先
json.dumps(state_dict); -
questions 列表中每个 item 必须含 type、name 字段,且 type 仅限
"choice"/"score"/"noul"(注意拼写,小写,无空格); - Python 环境建议用
python -m venv创建干净虚拟环境,避免与系统自带 ARM 版本的 NumPy/Torch 冲突。
不复杂但容易忽略。











