离线安装并运行jev模型需在有网机器准备环境包,再拷贝至无网服务器部署验证。具体包括:确认gpu/cuda/python基础;构建机下载pytorch、laya及其依赖wheel包和模型权重;服务器解压、本地pip安装、设置模型路径并运行测试脚本;最后用tmux常驻api服务并记录本地日志。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

在 Linux 服务器(如 CentOS)上离线安装并运行 Jev 模型,核心是绕过网络依赖,把模型权重、Python 包、CUDA 环境等全部提前准备好。整个过程不依赖 pip install laya 或 jev 的在线下载行为,适合内网环境、安全审计严格或网络受限的生产场景。
一、确认离线环境基础条件
离线安装不是“跳过配置”,而是把配置动作前置。必须提前验证以下三项:
-
硬件与驱动已就绪:GPU 显存 ≥6GB,NVIDIA 驱动版本 ≥515,CUDA Toolkit ≥11.8(或 Apple MPS / ROCm 对应版本),且
torch.cuda.is_available()在目标机器上返回True; - Python 环境已预装:Python 3.10–3.12,pip 23.0+,venv 可用;
-
目标服务器无外网但可传入文件:通过 U 盘、内网 SCP、或跳板机将离线包拷贝至服务器指定目录(如
/opt/jev-offline)。
二、准备离线安装包(在有网机器上操作)
在一台网络通畅、同架构(x86_64/aarch64)、同系统版本(如 CentOS 7/8)的“构建机”上执行:
- 创建干净虚拟环境:
python -m venv jev-offline-env && source jev-offline-env/bin/activate; - 安装指定版本 PyTorch(对应 CUDA):
pip install torch==2.14.0+cu130 torchvision==0.19.0+cu130 --extra-index-url https://download.pytorch.org/whl/cu130(注意:下载的 .whl 文件会缓存在pip cache info显示的目录中); - 下载 laya 包及依赖:
pip download laya==0.3.5 --no-deps --platform manylinux_2_17_x86_64 --python-version 312 --abi cp312 --only-binary=:all:; - 递归下载所有依赖:
pip download -r ; - 手动下载模型权重:访问 Laya 官方仓库(如 GitHub release 页面或 HuggingFace)获取
laya-421m对应的model.safetensors和config.json,保存为weights/目录; - 打包全部:
tar -czf jev-offline-pkgs.tgz jev-offline-env/ weights/。
三、服务器端离线部署与验证
将 jev-offline-pkgs.tgz 传入服务器后,按顺序执行:
- 解压并激活环境:
tar -xzf jev-offline-pkgs.tgz && source jev-offline-env/bin/activate; - 本地安装所有 wheel:
pip install --find-links ./jev-offline-env/share/wheels --no-index --no-deps *.whl(若 wheel 存于子目录,请先cd进入); - 设置模型路径:
export LAYA_MODEL_PATH="/path/to/weights",确保脚本中Router(preload=True)能定位到config.json; - 最小验证脚本(保存为
test_offline.py):
router = Router(device="cuda", preload=True)
result = router.predict("用户提交了退款申请", ["是否需人工复核?", "是否已超时效?"])
print(result)
- 运行:
python test_offline.py,成功输出字典即表示离线部署完成。
四、后台常驻运行(离线环境专属加固)
因无法自动更新或拉取远程日志,建议采用 tmux + 显式日志路径方式,避免依赖网络服务:
- 启动持久会话:
tmux new -s jev-offline; - 在会话中执行:
source jev-offline-env/bin/activate && python jev_api_server.py --port 8080 > /var/log/jev/out.log 2>&1; - 分离:
Ctrl+B → D; - 后续查看日志:
tail -f /var/log/jev/out.log,恢复会话:tmux attach -t jev-offline。











