硬件健康检查需分层取证:先带外管理(iDRAC/iLO/IPMI),再固件层(BIOS/BMC版本、时间同步),接着内核感知层(dmesg报错、EDAC、MCE),最后物理层(灰尘、线缆、风扇)。

硬件健康检查不是“看看灯亮不亮”,而是分层取证
很多运维一进机房就盯着电源灯、硬盘灯猛看,绿了就放心,红了就换件——这其实是把硬件检查简化成了“交通信号灯游戏”。真正的健康检查必须分层:先确认带外管理是否在线(iDRAC/iLO/IPMI),再查固件层(BIOS/BMC版本、时间同步)、接着是内核感知层(dmesg报错、EDAC内存错误、MCE事件),最后才是物理层(灰尘、线缆松动、风扇异响)。每一层漏掉,都可能让隐患藏到半夜三点。
CPU与内存:别只盯负载和使用率,重点看温度与纠错日志
CPU长期超80℃运行,哪怕负载只有40%,也说明散热已失衡;内存看似“使用率60%”,但若dmesg里反复出现EDAC MC0: CE error on CPU#0Channel#1_DIMM#0,说明ECC正在频繁纠正单比特错误——这是内存条即将失效的明确信号。建议每周执行:
- dmesg -T | grep -i "edac\|mce" —— 检查过去一次启动中的硬件纠错事件
- ipmitool sdr type temperature —— 获取各传感器实时温度(无需进系统)
- dmidecode -t memory | grep -E "(Size|Type|Speed|Manufacturer)" —— 核对插槽实际规格是否与采购一致
存储系统:SMART只是起点,RAID状态和I/O延迟才是命门
SMART显示“PASSED”不代表硬盘安全。一块NVMe盘可能因固件bug导致nvme0n1: I/O timeout频发,而SMART里毫无异常;一块RAID5阵列即使所有硬盘SMART正常,只要有一块盘响应延迟突增到200ms以上,整个阵列吞吐就会断崖下跌。关键动作包括:
- 用smartctl -a /dev/sda查Reallocated_Sector_Ct、UDMA_CRC_Error_Count等隐性指标
- 执行megacli -AdpEventLog -GetEvents -f events.log -aALL(LSI卡)或storcli /c0/eall/sall show(Avago)抓取RAID控制器原始事件
- 用iostat -x 1观察%util不高但await持续>50ms的情况——大概率是磁盘响应慢或链路瓶颈
网络与供电:最容易被忽略的“静默杀手”
网卡指示灯常亮≠链路健康。交换机端口协商成半双工、网线水晶头氧化导致间歇性错包、网卡驱动bug引发TX queue stuck,这些都不会触发告警灯,却会让业务连接时断时续。同样,双电源看似冗余,但若两路都来自同一UPS或同一市电分支,等于没冗余。必须验证:
- ethtool eth0中确认Speed、Duplex、Link detected三项均为预期值
- cat /proc/net/dev查看rx_missed_errors、tx_carrier_errors是否缓慢增长
- 手动拔掉一路电源,确认服务器无中断且BMC日志记录Power Supply Redundancy Lost → Restored










