服务器硬件健康检查需前置风险防控，涵盖日常巡检（指示灯、声音、温度、smart）、故障响应（定位、隔离、切换、记录）、更换规范（预检、热插拔、验证、登记）及预防加固（告警推送、smart工单、故障演练、备机保障）。
服务器硬件健康检查不是等故障发生后再补救，而是把风险拦在宕机前。重点在于日常可观测、异常可定位、故障可切换。
日常硬件状态巡检要点
每天花3–5分钟看关键信号：
- 指示灯状态：电源灯常亮、硬盘灯无持续红闪、风扇灯无告警（如Dell服务器的“Amber”黄灯或“Red”红灯需立即关注）
- 运行声音：风扇无尖锐啸叫，硬盘无规律性“咔哒”声（常见于磁头复位失败）
- 温度读数：通过IPMI/iDRAC/iLO远程查看CPU/内存/RAID卡温度，单颗CPU超85℃、RAID卡超70℃即属高风险
- SMART信息：用smartctl -a /dev/sdX定期扫描硬盘，重点关注Reallocated_Sector_Ct、Current_Pending_Sector、UDMA_CRC_Error_Count三项值是否非零
突发硬件故障的应急响应步骤
一旦监控告警或业务中断，按顺序执行：
- 确认故障源：登录带外管理界面（如iDRAC），查看硬件日志（Lifecycle Controller Log或SEL），定位报错设备（例：“PSU2 Failure”或“DIMM A1 Memory Correctable Error Rate Exceeded”）
- 隔离影响面：若为冗余部件（双电源、双网卡、RAID阵列），先确认是否已自动切换；若为单点设备（如主板南桥、单块系统盘），立即通知业务方降级运行
- 启用备用路径：RAID5双盘失效时禁止写入；数据库服务器主盘故障，立刻挂载只读备份库提供查询服务；GPU服务器主板PCIe链路异常，优先调度剩余正常GPU承载任务
- 记录关键时间点：包括告警触发时间、首次业务异常时间、切换完成时间，用于后续根因分析和SLA复盘
硬件更换操作规范
更换不是简单拔插，需兼顾数据安全与系统稳定：
- 备件预检：新硬盘上机前用smartctl测试基础通电与识别；内存条用memtest86+跑2轮以上压力测试
- 热插拔操作：仅对明确支持热插拔的部件（如SAS/SATA热插拔盘、部分RAID卡缓存电池）执行在线更换；更换前在RAID管理界面标记待换盘为“Missing”或“Failed”
- 更换后验证：新硬盘加入阵列后，观察重建进度（MegaCLI -AdpSyncStat -aALL）；内存更换后运行dmidecode确认容量与频率识别正确；电源更换后使用ipmitool power status确认双路供电均在线
- 旧件留存与登记：故障件贴标签注明服务器编号、故障现象、更换日期，统一送修或报废；更新资产台账中的硬件生命周期状态
预防性加固建议
减少突发概率比抢修更重要：
- 所有服务器启用IPMI/iDRAC告警，并将硬件错误事件推送至企业微信/钉钉/邮件
- RAID阵列不依赖“报警才处理”，对SMART预警值（如Reallocated_Sector_Ct > 5）自动触发工单
- 每季度执行一次“模拟单点故障”演练：人为拔掉一块电源、屏蔽一个网口、卸载一块热备盘，验证系统自愈能力
- 关键业务服务器保留一套完整备机，配置与生产环境一致，确保4小时内可整机接管
