本质是存储能力与流量模型不匹配,需从路径隔离、IO调度、缓存行为三方面协同缓解:隔离proxy_cache_path物理存储、调优内核IO调度器与队列深度、约束缓存写入行为降低IO密度。

CDN 边缘节点上 Nginx worker 进入 D 状态,若确认由 proxy_cache_path 所在目录的 SSD IOPS 锁死引发,本质是缓存写入路径遭遇底层磁盘饱和——不是配置错,而是存储能力与流量模型不匹配。需从路径隔离、IO 调度、缓存行为三方面协同缓解。
检查并隔离 proxy_cache_path 的物理存储
不要让 proxy_cache_path 和系统盘、日志盘、临时文件盘共用同一块 SSD 或同一 NVMe namespace。即使标称高 IOPS,共享队列或混布小文件写+元数据操作仍会互相干扰。
- 用
df -h和lsblk -f查看缓存路径挂载点是否独占一块设备(如/dev/nvme0n1p2),而非仅是一个子目录 - 若共盘,立即迁移:新建独立分区,格式化为 XFS(启用
-n ftype=1支持 d_type),挂载后更新proxy_cache_path /mnt/cache levels=1:2 keys_zone=cache:512m; - 禁用该设备上的 swap 分区和 noatime 以外的挂载选项(如
barrier=1在现代 SSD 上反而拖慢)
调优内核 IO 调度与队列深度
默认 CFQ 或 mq-deadline 调度器对高并发小写场景不友好;NVMe SSD 需匹配硬件队列能力,否则请求堆积在内核层,直接卡住进程进入 D 状态。
- 查看当前调度器:
cat /sys/block/nvme0n1/queue/scheduler,设为none(即 kyber,适用于 NVMe)或mq-deadline(SATA SSD) - 增大设备队列深度:
echo 1024 > /sys/block/nvme0n1/queue/nr_requests(NVMe 常见值为 128–1024) - 确认 I/O 超时合理:
cat /sys/block/nvme0n1/device/timeout,SSD 建议设为 30(秒),避免因瞬时延迟误判为硬件故障而 hang 住
约束缓存写入行为,降低 IO 密度
proxy_cache_path 本身不产生 IO,但高频缓存填充(尤其大文件回源)会触发密集同步写。必须限制其“写节奏”,而非只靠扩容。
- 关闭不必要的缓存写入:若业务允许,对大文件(如 >10MB)跳过缓存,用
proxy_no_cache $arg_nocache或按 MIME 类型排除:proxy_no_cache ~* "video/|application/octet-stream" - 启用
proxy_cache_use_stale updating,避免大量请求同时重建缓存;搭配proxy_cache_lock on和proxy_cache_lock_timeout 8s,把并发回源压到 1 - 调整缓存文件最小尺寸:
proxy_cache_min_uses 3,防止低频资源反复写入又淘汰,减少无效 IO
验证是否真正缓解
别只看 top 或 htop —— D 状态进程可能已消退,但 IO 压力仍在后台积压。要交叉验证:
- 持续运行
iotop -oPa,观察 nginx worker 是否还长期出现在 WRITE 列首位 - 查
/proc/PID/stack(挑一个 D 状态 worker 的 PID),若堆栈含blk_mq_wait_dispatch或xfs_buf_lock,说明仍是块层或文件系统阻塞 - 用
iostat -dxm 1关注%util(接近 100% 即饱和)、await(>10ms 表示响应延迟异常)、svctm(已弃用,忽略)











