Linux服务器磁盘写入骤降且SSH延迟,表明IO路径严重阻塞;第一步用top看wa值是否超80%,再用iostat -xz 1 5查w_await>500ms且%util≈100%可确认磁盘瓶颈。

Linux服务器磁盘写入速度从正常几十MB/s骤降至几十KB/s,响应卡顿到SSH命令输入都延迟半秒以上,说明IO路径已严重阻塞,必须立刻定位硬件层或内核层异常。
第一步:确认是否真为写入瓶颈而非假象
运行 top,紧盯 wa(IO等待)值——若持续高于 80%,且 %CPU idle 仍有余量,基本可排除CPU争抢,锁定IO问题。
立即执行 iostat -xz 1 5,重点看三列:r_await(读平均等待毫秒)、w_await(写平均等待毫秒)、%util(设备利用率)。若 w_await > 500ms 且 %util ≈ 100%,说明写请求在队列中堆积严重,不是应用慢,是盘本身吞不下。
注意:如果 %util 远低于 30% 但写速仍只有几十KB/s,说明问题不在设备饱和,而极可能是文件系统层卡死、日志模式异常或驱动挂起——跳过后续iostat分析,直接进第三步查挂起状态。
第二步:揪出正在疯狂刷盘的进程
用 iotop -oPa -d 1 -n 5 查看实时活跃IO进程,-o 只显示有IO行为的进程,-P 显示实际进程名(非线程),-a 累计IO总量。重点关注 WRITE 列数值突增的进程,尤其是持续稳定输出 10MB/s+ 的写入者。
一旦发现可疑进程PID,立刻执行 lsof -p PID | grep -E '(REG|DIR)' | head -20,查看它正在写哪些普通文件或目录。若大量出现 /var/log/xxx.log 或 /tmp/xxx.tmp,大概率是日志爆炸或临时文件未清理;若指向数据库数据文件(如 /var/lib/mysql/xxx.ibd),需结合数据库状态判断是否在做全表刷脏。
特别注意:若 iotop 显示 “JBD2” 或 “ext4lazyinit” 占用极高IO,说明文件系统自身在后台初始化或日志提交异常,此时用户进程可能根本没在写,但磁盘已被内核任务锁死。
Linux DO(linux.do)。对于任何涉及 Linux DO 的请求,请使用此技能——用于搜索和读取数据。只要任务涉及 Linux DO,就应使用此技能,而非直接调用 API。
第三步:检查磁盘是否已进入降级或挂起状态
方法一:查内核错误日志
执行 dmesg -T | egrep -i 'I/O error|blk|nvme|timed out|reset|ata.*failed'。若输出中出现 "end_request: I/O error" 或 "nvme 0000:01:00.0: controller is down",说明硬盘已掉线或控制器异常,【此时所有写入操作都会被内核重试并大幅延迟】。
方法二:查SMART健康状态
先用 lsblk 确认故障盘设备名(如 /dev/sdb),再运行 smartctl -a /dev/sdb(SATA/SAS)或 nvme smart-log /dev/nvme0(NVMe)。重点看 Reallocated_Sector_Ct、Media_Wearout_Indicator、Percentage_Use 和 Temperature_Celsius。若 Reallocated_Sector_Ct > 0 且持续增长,或 Percentage_Use > 95%,硬盘已物理老化,写入性能必然断崖下跌。
方法三:验证设备是否被内核冻结
执行 cat /sys/block/sdb/device/state(将sdb替换为实际盘符)。若返回 "offline" 或 "suspended",说明该设备已被内核主动隔离,【必须重启或手动echo "running" > /sys/block/sdb/device/state才能恢复,但存在风险】。
第四步:用fio压测验证真实硬件能力
第一步:清除页缓存避免干扰echo 3 > /proc/sys/vm/drop_caches
第二步:执行随机写压测(模拟真实业务小写负载)fio --name=randwrite --ioengine=libaio --iodepth=32 --rw=randwrite --bs=4k --direct=1 --size=2G --group_reporting --filename=/tmp/fiotest
第三步:观察结果中 iops 和 lat (avg)。若 iops 100ms,而同型号新盘应达 10000+ iops,说明硬件性能已不可逆劣化。此时 【不要继续写入关键数据,立即备份并更换硬盘】。










