Jev 模型在 ARM 架构设备上能安装吗

冬明酱_6716

冬明酱_6716

2026-10-13

598人浏览

原创

能,Jev模型官方原生支持ARM架构,提供aarch64/ARM64专用部署包(含纯CPU二进制、量化模型及Python SDK),已在GB10、AX8850、Jetson Orin等设备实测通过,低配设备亦可绕过常规加载路径高效运行。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

jev 模型在 arm 架构设备上能安装吗

能,Jev 模型在 ARM 架构设备上不仅可安装,而且是官方明确支持的部署场景之一。

官方原生支持 aarch64 和 ARM64

所有实测数据(包括延迟、显存占用、推理耗时)均基于 aarch64 架构的 GB10 算力卡(20 核 CPU,121 GB 统一内存),PyTorch 2.14.0+cu130 环境下完成。这意味着 Jev 的核心推理路径已针对 ARM 生态深度适配,不是“勉强能跑”,而是“按设计运行”。

官方提供的部署包中,明确包含:

  • jev-runtime-linux-arm64.tar.gz:纯 CPU 运行的独立二进制,无需 Python、CUDA 或任何依赖;
  • Laya 开源实现(Jev 的开源平替)也已在爱芯元智 AX8850(ARM+NPU 芯片)上实测通过,单题前向 28.75ms;
  • Python SDK(pip install jev)在 Python 3.10+ 的 ARM64 Linux 系统(如 Ubuntu 22.04/24.04 on Raspberry Pi 5、Jetson Orin)上可正常安装与调用。

低配 ARM 设备也能跑,关键在绕过常规加载路径

对于内存仅 4GB、CPU 为 i3-4130(虽非 ARM,但同属低资源场景)的老设备,官方推荐跳过 transformers 和 pipeline,直接使用量化模型或二进制运行时——这一策略对 ARM 设备同样有效:

NumPy Linux版 2.4.2
NumPy Linux版 2.4.2

NumPy 2.4.2 历史版本下载,来自 PyPI 官方发布,适合旧项目兼容、科学计算脚本复现和指定环境安装。

下载
  • 下载 jev-v1.3-quantized.pt(8-bit,仅 2.1MB),用 torch.jit.load 加载,不依赖完整 PyTorch 模块树;
  • 或直接解压 jev-runtime-linux-arm64.tar.gz,执行 ./jev-infer --state '...' --query '...',纯 CPU 推理,i3-4130 实测单次 38ms,ARM64 设备表现相近甚至更优;
  • 无需 GPU 驱动,不校验 CUDA,天然兼容无 GPU 的 ARM 开发板(如 RK3588、Orin Nano)。

注意事项:输入格式和环境约束

ARM 上运行 Jev 成功率高,但两个细节极易出错:

  • state 必须是字符串,不能是 dict 或 list;若从 JSON 文件读取,需先 json.dumps(state_dict);
  • questions 列表中每个 item 必须含 type、name 字段,且 type 仅限 "choice" / "score" / "noul"(注意拼写,小写,无空格);
  • Python 环境建议用 python -m venv 创建干净虚拟环境,避免与系统自带 ARM 版本的 NumPy/Torch 冲突。

不复杂但容易忽略。

相关文章

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

pytorch

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
Tailwind CSS 响应式布局怎么写
Tailwind CSS 响应式布局怎么写

Tailwind CSS 响应式布局通常从移动端样式写起,再用 sm、md、lg 等前缀调整不同屏幕宽度下的网格、间距和导航。本专题整理断点配置、Grid 与 Flex 自适应布局及常见溢出问题,帮助你逐步完成多设备适配。

2026.11.03

0

19

Tailwind CSS 常用类名怎么记
Tailwind CSS 常用类名怎么记

Tailwind CSS 类名很多,先按布局、间距、文字、颜色和状态分组记忆,再通过官方文档检索具体写法。本专题结合类名排序、动态拼接失效、自定义实用类等问题,帮助你建立常用类名的速查方法。

2026.11.03

0

12

码上飞入口地址合集
码上飞入口地址合集

本专题汇总了码上飞(CodeFlying)的官方入口地址合集,涵盖官网主站及网页版在线使用入口,支持注册登录后直接在线体验零代码AI应用生成。同时整理了APP端下载渠道与小程序入口,助你快速访问平台,通过自然语言描述需求即可生成应用、小程序或网站。

2026.11.03

0

10

Uvicorn 报错与问题解决教程
Uvicorn 报错与问题解决教程

本专题汇总了Uvicorn服务器常见问题与报错解决的教程合集,涵盖启动失败、端口占用、模块导入错误、事件循环冲突及热重载失效等典型故障的排查思路。同时整理了多进程与Worker配置、SSL/HTTPS证书报错、跨域与代理配置等实战解决方案,助你快速定位并解决Uvicorn运行中的各类问题。

2026.11.02

20

14

Uvicorn使用教程
Uvicorn使用教程

本专题汇总了Uvicorn使用教程与启动运行指南,涵盖其作为Python ASGI服务器的定位与特点,以及命令行启动(uvicorn main:app --reload)、参数配置(host/port/workers)、程序内嵌运行与Gunicorn结合部署等核心用法。同时整理了热重载调试、日志配置与生产环境部署优化等技巧,助你快速掌握Uvicorn的运行与配置。

2026.11.02

20

17

Uvicorn安装配置教程
Uvicorn安装配置教程

本专题汇总了Uvicorn的安装配置教程与部署指南,涵盖通过pip安装Uvicorn、启动FastAPI/Starlette应用、开发模式热重载(--reload)及多进程工作模式配置等核心操作。同时整理了结合Gunicorn的生产部署方案、HTTPS与反向代理配置及性能调优技巧,助你快速完成Uvicorn服务的安装与上线部署。

2026.11.02

20

17

Vite 项目如何打包和部署
Vite 项目如何打包和部署

Vite项目打包部署专题汇集生产构建、产物预览、输出目录、资源路径、Nginx与GitHub Pages部署及常见白屏和路由404问题的已审核文章,帮助读者完成上线流程。

2026.10.28

120

16

Vite 如何搭配 Vue.js
Vite 如何搭配 Vue.js

Vite搭配Vue.js专题汇集创建Vue 3项目、配置开发环境、路径别名、Vue插件、代理、多环境构建与调试的已审核文章,帮助读者完成从初始化到日常开发的配置。

2026.10.28

100

15

Vite 项目目录怎么看
Vite 项目目录怎么看

Vite项目目录专题汇集入口文件、src源码、public静态资源、路径别名、项目根目录和构建输出目录相关的已审核文章,帮助读者理解各文件夹的用途与引用方式。

2026.10.28

300

10

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程