不能用 aio on 配合线程池解决机械硬盘高并发读写瓶颈，因其与 aio threads 互斥，混用会导致回退至阻塞式 read；aio on 强制 o_direct 绕过页缓存，在机械硬盘上引发频繁寻道、iops 急降，且小文件难以对齐，实际失效；正确路径是采用 aio threads=xxx 结合 open_file_cache、分级缓存与线程池调优，将冷文件读卸载至线程池，热文件由 page cache 拦截。
不能用 aio on 配合线程池解决机械硬盘高并发读写瓶颈。
aio on 和 aio threads 是互斥模式，混用不仅无效，还会导致 Nginx 回退到阻塞式 read()，完全失去异步意义。真正起作用的是 aio threads=xxx，而非 aio on。
为什么 aio on 不适合机械硬盘高并发场景
aio on 仅在启用 directio 且文件大小 ≥ 1MB（推荐 ≥4MB）时才生效，它强制绕过页缓存、走 O_DIRECT 路径。这对机械硬盘反而是负优化：
- 机械硬盘随机寻道慢，O_DIRECT 绕过 page cache 后，每次读都触发真实磁盘寻道，IOPS 急剧下降
- O_DIRECT 要求 buffer 地址、文件 offset、长度全部 512B 对齐，Nginx 静态资源（HTML/JS/CSS/小图）几乎都不满足，直接 fallback 到同步 read
- 它不依赖线程池，所有 I/O 在 worker 进程内完成，仍会阻塞事件循环
正确路径：用 aio threads + 合理分级策略适配机械硬盘
机械硬盘顺序吞吐尚可（约 80–120 MB/s），但随机 IOPS 极低（约 80–150）。应避免让它处理大量小文件随机读，把压力导向预读 + 缓存 + 线程卸载：
- 对热资源：靠
open_file_cache和内核 page cache 拦截绝大多数请求，根本不触达磁盘 - 对冷的小文件（directio，启用
aio threads=default，由线程池异步发起 buffered read —— 内核自动预读 + 合并，大幅减少寻道 - 对冷的大文件（≥ 2MB）：可选
directio 2m;+aio on;，但必须单独 location 隔离，且仅用于下载类场景；日常静态服务不推荐
关键配置示例（适配机械硬盘）
全局启用线程池（放在 http 块）：
thread_pool default threads=16 max_queue=8192;
在静态资源 location 中启用异步读（同时关闭冲突项）：
location ~ \.(html|css|js|png|jpg|gif|ico)$ {
root /var/www;
sendfile off; # 必须关！否则 aio threads 被跳过
aio threads=default; # 启用线程池异步读
directio off; # 关闭，让 buffered I/O 发挥预读优势
output_buffers 1 128k; # 减少小文件 write 调用次数
}
必须做的配套调优
-
增大内核 readahead：机械硬盘受益于预读，执行
blockdev --setra 4096 /dev/sdb（值按实际测试调整，常见 2048–8192） -
限制单次响应大小：加
limit_rate_after 1m; limit_rate 2m;防止大文件长期占用线程池队列 -
监控线程池积压：通过
nginx -T | grep -A5 thread_pool查看状态，若queued持续 > 100 或timeouts上升，说明线程数或队列不足
