优化nginx缓存读写磁盘平衡的关键是内存管索引元数据、磁盘管内容存储,合理配置proxy_cache_path(levels、keys_zone、max_size、inactive、use_temp_path=off)、open_file_cache减少系统调用,协同slice/sendfile/aio优化大文件i/o,并避免proxy_buffering误配引发无效磁盘落盘。

优化 Nginx 缓存读写磁盘的平衡,关键在于让内存和磁盘各司其职:内存管索引与元数据,磁盘管内容存储,同时减少不必要的系统调用和随机 I/O。配置不合理容易导致缓存命中率低、iowait 飙升或内存浪费。
合理设置 proxy_cache_path 的层级与容量
缓存路径结构直接影响磁盘查找效率和 inode 压力:
-
levels=1:2 创建三级子目录(如
a/ab/abcde...),避免单目录文件过多; - keys_zone 只存 key、状态、过期时间等元数据,50MB 约支持 5 万缓存项,按预估 URL 数量预留(每万 key 占 1–1.5MB);
-
max_size 是硬性磁盘上限(如
max_size=20g),超出后按 LRU 自动清理; -
inactive 控制冷热分离(如
inactive=4h),4 小时未命中即淘汰,不依赖原始过期时间; - use_temp_path=off 强制直写目标缓存目录,跳过临时文件拷贝,降低锁竞争和额外 I/O。
启用 open_file_cache 减少 stat/open 系统调用
缓存文件元数据(存在性、大小、权限、修改时间),而非内容本身,显著降低高频读取场景下的内核开销:
- open_file_cache max=10000 inactive=60s; 缓存最多 10000 个文件句柄及元信息,60 秒未访问则释放;
- open_file_cache_valid 60s; 每 60 秒主动校验缓存项有效性;
- open_file_cache_min_uses 2; 同一文件至少被连续访问 2 次才进入缓存,防污染;
- open_file_cache_errors on; 把 404、403 等错误也缓存,避免反复探测;
- 配合 worker_rlimit_nofile ≥ 65535 和足够大的
/proc/sys/fs/inotify/max_user_watches,防止配置失效。
协同 slice、sendfile 与 aio/directio 降低大文件 I/O 压力
针对大文件分发(如视频、报表),需打通分片、缓存、传输三层:
- slice 大小设为 512k–2m,太小增加后端并发压力,太大易触发缓冲区溢出或临时文件写入;
- proxy_cache_key 必须含 $slice_range,确保不同 Range 请求各自缓存;
- proxy_cache_valid 200 206 1h; 区分整文件(200)和分片(206)的有效期;
- sendfile on; 启用零拷贝,直接从磁盘/页缓存送数据到 socket;
- 对大响应体(如单个 206 超过 4MB),启用 aio on; directio 4m;,绕过页缓存,减少内存拷贝和脏页回写。
避免 proxy_buffering 误配引发无效磁盘落盘
proxy_buffering 不是“全内存 or 全磁盘”,而是分级缓冲机制,不当配置会高频写临时文件:
- 默认
proxy_buffers 8 16k(共 128KB),远不够处理中等响应(如 300MB 视频分片),导致频繁写临时文件; - 若需保留缓冲能力,设 proxy_max_temp_file_size 0 彻底禁用临时文件,并调大
proxy_buffers 16 256k(共 4MB); - 若走纯流式(如 SSE、大文件下载),则设 proxy_buffering off,此时所有 buffer 参数失效,但必须确认后端支持 chunked 或长连接;
- 配套调整 proxy_read_timeout 和 proxy_http_version 1.1,防止因超时或协议降级导致缓冲异常中断。











