本地部署大模型自动化运维_脚本监控与重启-人工智能-PHP中文网

大模型服务自动化监控与重启有五种方案：一、shell脚本检测进程与端口；二、python轮询http健康接口；三、gpu显存阈值告警重启；四、docker原生healthcheck机制；五、systemd服务单元配置实现崩溃自愈。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

本地部署大模型自动化运维_脚本监控与重启

如果您已本地部署大模型服务，但发现其运行不稳定、偶发中断或响应停滞，则可能是由于显存泄漏、进程僵死或资源耗尽所致。以下是实现自动化监控与重启的多种可行方案：

一、基于Shell脚本的进程与端口双重检测

该方法通过定期检查模型服务进程是否存在及监听端口是否可连接，判断服务健康状态，适用于所有以独立进程方式运行的大模型服务（如WebUI、API服务）。检测逻辑轻量、依赖少、启动快。

1、创建监控脚本文件 monitor_basic.sh，内容如下：
#!/bin/bash
SERVICE_NAME="qwen3_api"
PORT=7860
LOG_FILE="/var/log/model_monitor.log"
if ! pgrep -f "$SERVICE_NAME" > /dev/null || ! nc -z localhost $PORT 2>/dev/null; then
echo "[$(date)] 服务异常，执行重启" >> $LOG_FILE
/path/to/your/start_script.sh &
fi

2、赋予执行权限：
chmod +x monitor_basic.sh

3、设置每2分钟执行一次：
crontab -e
添加：*/2 * * * * /bin/bash /path/to/monitor_basic.sh

二、基于Python的HTTP健康接口轮询与自动恢复

该方法面向提供标准REST API（含/health或/v1/models等端点）的服务，通过发送HTTP请求验证服务功能级可用性，避免“进程存活但无响应”的假阳性误判，适配Nunchaku-flux-1-dev、Qwen2.5、DeOldify等支持健康检查接口的模型服务。

1、安装必要依赖：
pip install requests

2、编写check_health.py：
import requests
import subprocess
import time
URL = "http://localhost:8000/health"
def is_healthy():
  try:
    res = requests.get(URL, timeout=5)
    return res.status_code == 200
  except:
    return False
if not is_healthy():
  subprocess.run(["docker", "restart", "nunchaku-flux-1-dev"])

3、使用systemd或cron定时调用该脚本，例如每5分钟执行一次。

三、集成GPU显存阈值告警与强制重启

该方法专为消费级GPU（如RTX 4090/3090）部署场景设计，当nvidia-smi检测到GPU显存占用持续高于92%时触发重启，有效应对Wan2.1-UMT5、Qwen3-14B等长期运行后显存泄漏导致的推理失败问题。

qwencloud-usage

管理账户认证，查询使用量和计费。用于：登录、登出、查询使用量、查看账单、免费套餐配额、编程计划状态、按量付费

下载

1、在监控脚本中加入显存检测逻辑：
GPU_MEM=$(nvidia-smi --query-gpu=memory.used --format=csv,noheader,nounits | head -n1)
GPU_TOT=$(nvidia-smi --query-gpu=memory.total --format=csv,noheader,nounits | head -n1)
USAGE_PCT=$((GPU_MEM * 100 / GPU_TOT))

2、判断并执行动作：
if [ $USAGE_PCT -gt 92 ]; then
echo "[$(date)] GPU显存使用率 $USAGE_PCT%，触发重启" >> $LOG_FILE
docker restart qwen3_container
fi

四、Docker容器健康状态驱动的自动修复

利用Docker原生healthcheck机制配合restart policy，无需外部脚本干预，由容器运行时自主决策，适用于所有Docker部署的大模型服务，具备高内聚、低耦合、易维护特性。

1、在docker run命令中启用健康检查：
docker run -d \
  --health-cmd="curl -f http://localhost:7860/health || exit 1" \
  --health-interval=30s \
  --health-timeout=10s \
  --health-retries=3 \
  --restart=on-failure:5 \
  -p 7860:7860 \
  your-qwen3-image

2、验证容器健康状态：
docker ps --format "table {{.Status}}\t{{.Names}}" | grep qwen3

3、确认输出中包含healthy或unhealthy状态标识。

五、systemd服务单元配置实现开机自启与崩溃自愈

将模型服务注册为systemd服务，借助其进程守护、日志管理、依赖控制与自动重启能力，实现系统级可靠性保障，特别适合Qwen2.5-7B-Instruct、Llama-3.2V-11B-cot等需长期稳定运行的模型。

1、创建服务单元文件 /etc/systemd/system/qwen25.service：
[Unit]
Description=Qwen2.5 Inference Service
After=network.target nvidia-persistenced.service

[Service]
Type=simple
User=aiuser
WorkingDirectory=/Qwen2.5-7B-Instruct
ExecStart=/usr/bin/python3 app.py --port 7860
Restart=always
RestartSec=10
Environment=PYTHONPATH=/Qwen2.5-7B-Instruct

[Install]
WantedBy=multi-user.target

2、启用并启动服务：
sudo systemctl daemon-reload
sudo systemctl enable qwen25.service
sudo systemctl start qwen25.service

3、查看实时状态与日志：
sudo systemctl status qwen25.service
sudo journalctl -u qwen25.service -f