Linux 系统中怎么排查系统进程因磁盘死锁进入不可中断状态-linux运维-PHP中文网

linux中进程因磁盘异常进入d状态本质是不可中断等待而非死锁；需用ps精确匹配d进程、查wchan定位阻塞点，结合/proc/pid/io和iotop -o验证真实io流量，再通过dmesg、smartctl等诊断硬件或驱动故障。

linux 系统中怎么排查系统进程因磁盘死锁进入不可中断状态

Linux 系统中进程因磁盘死锁进入不可中断状态（D 状态），本质不是“死锁”而是底层 I/O 异常导致的不可中断等待。严格来说，磁盘本身不会发生传统意义的“死锁”，但当块设备驱动、NVMe 控制器、RAID 卡或文件系统元数据异常时，进程会卡在内核锁路径（如 __mutex_lock_slowpath）或 I/O 调度路径（如 blk_mq_do_dispatch_sched），表现为长期 D 状态，且无法被信号中断——这常被误称为“磁盘死锁”。排查核心是区分正常等待与异常卡死，重点看它是否真在推进 I/O。

快速定位可疑 D 进程及阻塞点

先聚焦真实处于 D 状态且持续不恢复的进程：

用精确匹配命令查： ps -eo pid,comm,state,wchan,etimes --sort=-etimes | awk '$3 == "D" {print}' —— 避免 grep ' D ' 误匹配进程名中的字母 D
重点关注 wchan 列：
• 若为 blk_mq_wait dispatch、nvme_submit_cmd、wait_event 等，指向块层或驱动等待
• 若为 ext4_da_writepages、btrfs_start_transaction，则可能是文件系统级卡顿
• 若 wchan 为空或为 -，说明进程已脱离调度上下文，大概率是驱动或硬件无响应

验证是否真有磁盘 I/O 流量

仅看 D 状态不够，必须确认 I/O 是否实际发生：

Zynq Linux Hardware Debug

Zynq‑7000 / Zynq UltraScale+ 硬件调试技能。适用于 Xilinx Zynq（Cortex‑A9/A53 + FPGA）Linux 环境，调试 I2C、I2S、UART、GPIO 等外设。包括设备树配置、内核驱动、用户空间调试工具、交叉编译和常见问题排查，支持 PetaLinux 开发。

下载

查 /proc/PID/io：关注 read_bytes 和 write_bytes 字段。执行两次间隔 3 秒的读取，若数值完全不变，说明请求未发出或设备无响应，不是“等 IO”，而是“被 IO 卡住”
运行 sudo iotop -o：只显示当前有 I/O 活动的进程。若某 D 进程在 iotop -o 中始终不出现，而 /proc/PID/io 又无增长，基本排除健康磁盘等待
对比 iostat -x 1：若对应磁盘 %util 长期 100% 且 await > 50ms，说明设备真忙；若 %util 很低但大量进程 D，更可能是驱动挂起或控制器故障

深入底层诊断硬件与驱动问题

一旦确认非正常等待，需从设备层切入：

检查内核日志：dmesg -T | grep -i -E "(timeout|error|reset|nvme|ata|fail)"，特别留意 end_request: I/O error、nvme 0000:01:00.0: Device not ready 类报错
验证磁盘健康：smartctl -a /dev/sdX（需安装 smartmontools），关注 Reallocated_Sector_Ct、Media_Wearout_Indicator、SMART overall-health self-assessment test result: FAILED
查看设备连接状态：lsblk -S 看是否显示 UNAVAILABLE 或无响应；对 NVMe 盘可尝试 sudo nvme list 和 sudo nvme smart-log /dev/nvme0n1
检查文件系统是否损坏：sudo dumpe2fs -h /dev/sdX1（ext4）、sudo btrfs filesystem show（btrfs），看是否有错误提示或只读挂载

安全恢复与规避措施

D 状态进程不能 kill -9，强行重启可能损坏文件系统：

对单块故障盘：若支持热插拔，可先尝试 echo 1 > /sys/block/sdX/device/delete（需确保无其他进程占用该设备）
对 NFS 或网络存储：执行 umount -f -l /mnt/path（强制 + 懒卸载），避免影响其他服务
若整个系统卡死且无法操作：优先触发 kdump 保存 vmcore，再重启；切勿反复硬重启，易扩大文件系统损坏
长期预防：启用 hung_task_timeout_secs（默认 120 秒）让内核自动告警；SSD 启用 smartd 定期巡检；I/O 密集任务使用 ionice -c 3 降低抢占优先级