要让 proxy_cache_path 支撑高性能磁盘 i/o,需协同优化四方面:关闭 use_temp_path=off 消除双倍 i/o 和跨设备 rename 失败;采用 levels=2 单层目录结构降低路径深度与 inode 压力;增大 keys_zone(如 256m)提升元数据缓存命中率;将缓存目录挂载至独立 nvme 盘或 tmpfs,禁用 nfs/apfs 加密卷,并配合 proxy_cache_lock 与 proxy_cache_use_stale 控制 miss 冲击。

要让 proxy_cache_path 真正支撑高性能磁盘 I/O,不能只写对语法,得从缓存写入路径、目录结构、内存协同和文件系统行为四方面一起调。核心目标是:避免小文件随机读打爆磁盘、减少元数据开销、绕过低效的跨设备操作、把热数据“提”到更快的层级。
关闭 use_temp_path 消除双倍 I/O 和 rename 失败风险
默认 use_temp_path=on 会让 Nginx 先写临时路径再 rename() 到缓存目录——这不仅是两次落盘,更在跨挂载点(比如 /tmp 在 rootfs、cache 在 SSD)时直接失败,导致缓存静默失效或返回 502。
- 显式配置
use_temp_path=off,让响应体直写缓存目录:proxy_cache_path /data/nginx/cache levels=1:2 keys_zone=mycache:256m max_size=50g inactive=60m use_temp_path=off; - 删掉单独的
proxy_temp_path配置,它已失效 - 确保
/data/nginx/cache所在分区空间充足(建议预留 ≥20%),因为所有缓存内容都集中落在此处
扁平化目录结构 + 加大 keys_zone 缓解 inode 压力
高并发下多级 hash(如 levels=1:2)会引发大量目录遍历和 inode 查找,加剧随机读。尤其在 HDD 或高负载 NVMe 上,路径深度就是延迟来源之一。
- 改用单层子目录:
levels=2(即最多 256 个一级子目录),配合更大的keys_zone(如256m)提升元数据缓存命中率 - 避免
levels=1:2:2这类深路径,除非缓存总量超 TB 级且有专用 SSD - 若用 XFS,挂载时加
noatime,inode64,logbufs=8,logbsize=256k,降低日志和 inode 更新开销
把缓存目录挂到内存或高速本地盘(非 NFS/APFS 加密卷)
磁盘 IOPS 锁死的根因常是“小文件 + 随机读 + 低速介质”,而不是缓存本身有问题。把缓存物理位置换掉,效果立竿见影。
- 开发/压测环境:直接挂
/dev/shm(tmpfs):proxy_cache_path /dev/shm/nginx_cache levels=2 keys_zone=mycache:128m max_size=8g use_temp_path=off;
需调大内核参数:vm.shmmax = 8589934592、vm.shmall = 2097152 - 生产环境:缓存目录必须落在独立 NVMe 盘,且与系统日志、数据库等 I/O 重负载服务隔离
- 禁用 NFS、APFS 加密卷、Docker 默认 overlay 卷做缓存目录——它们不保证原子写入,容易导致缓存损坏或
open() failed (13: Permission denied)
配套关键项:锁住 MISS、压住小文件冲击
proxy_cache_path 是载体,但真正压垮磁盘的是未命中的请求流。光优化存储路径不够,必须控制流量形态。
- 开启
proxy_cache_lock on+proxy_cache_lock_timeout 5s,同一 key 的并发 MISS 只放行一个回源,其余等待 - 配置
proxy_cache_use_stale error timeout updating http_500...504,后端抖动时不丢缓存、不放大穿透 - 用
$upstream_cache_status日志分析 MISS 高峰对应 URI,过滤带时间戳、用户 ID、CSRF token 等动态参数,收紧proxy_cache_key











