服务器看门狗（Server Watchdog）

通过 SSH 监控并自动修复远程服务器。检查服务、数据库、磁盘、内存等状态；对异常服务执行重启，对错误情况发出告警。

前提条件

• 具备目标服务器的 SSH 访问权限（支持密码或密钥认证）
• 本地已安装 expect（仅在使用密码认证的 SSH 时需要）
• 目标服务器需运行 PM2、systemd 或 Docker 以进行服务管理

快速参考

检查 PM2 服务

ssh user@host "pm2 list"
ssh user@host "pm2 logs --lines 20 --nostream"

检查 MongoDB

# Windows
ssh user@host "net start | findstr MongoDB"
ssh user@host "powershell -Command "(Test-NetConnection -ComputerName 127.0.0.1 -Port 27017).TcpTestSucceeded""

# Linux
ssh user@host "systemctl status mongod"
ssh user@host "mongosh --eval 'db.runCommand({ping:1})' --quiet"

检查磁盘与内存

# Linux
ssh user@host "df -h && free -h"

# Windows
ssh user@host "powershell -Command "Get-PSDrive -PSProvider FileSystem | Select Root,Used,Free; $os=Get-CimInstance Win32_OperatingSystem; Write-Output ('RAM: '+[math]::Round(($os.TotalVisibleMemorySize-$os.FreePhysicalMemory)/1MB,1)+'GB / '+[math]::Round($os.TotalVisibleMemorySize/1MB,1)+'GB')""

工作流程

1. 诊断 — 通过 SSH 登录，检查服务状态、日志、磁盘与内存使用情况
2. 识别 — 解析日志中的错误、崩溃、OOM（内存溢出）或非正常关机事件
3. 修复 — 重启已崩溃的服务（如 pm2 restart、net start、systemctl restart）
4. 验证 — 确认服务已恢复并正常响应请求
5. 告警 — 通过消息通知用户，附带摘要信息

崩溃分析

当某项服务宕机时，请按以下顺序逐一排查：

1. 服务日志 — pm2 logs、journalctl -u service、Windows 事件查看器
2. 应用日志 — 检查配置路径下的日志文件
3. 系统事件 — OOM Killer 触发、意外关机、磁盘空间耗尽等
4. 数据库日志 — MongoDB：检查 mongod.log 中标记为 Fatal（"s":"F"）的日志条目

MongoDB 崩溃模式

"s":"F" — 致命错误（崩溃）
"Unhandled exception" — 内部缺陷（常与 FTDC 相关）
"Detected unclean shutdown" — 进程被强制终止，未执行优雅关闭
"WiredTiger error" — 存储引擎损坏

自动修复方案

PM2 服务重启

pm2 restart 
pm2 save  # 在系统重启后保持服务持久化

MongoDB（Windows）

net stop MongoDB
timeout /t 5
net start MongoDB

MongoDB（Linux）

sudo systemctl restart mongod

部署看门狗服务

如需长期持续监控，请部署随附的看门狗脚本：

1. 将 scripts/mongodb-watchdog.js 复制到目标服务器
2. 安装依赖：npm init -y && npm install mongodb
3. 启动服务：pm2 start mongodb-watchdog.js --name mongodb-watchdog
4. 持久化配置：pm2 save

使用 expect 实现密码方式 SSH 登录

当无法使用密钥认证时：

expect -c 'set timeout 20
spawn ssh -o StrictHostKeyChecking=no user@host "COMMAND"
expect {
    "password:" { send "PASSWORDr"; exp_continue }
    eof
}
'

告警模板

🚨 Server Alert — [hostname]

⏰ Time: [timestamp]
❌ Issue: [service] is DOWN
📋 Cause: [crash reason from logs]
🔄 Action: Auto-restarted [service]
✅ Status: [service] is back online

📊 System Health:
• Memory: X GB / Y GB
• Disk: Z% used
• Services: N/N online