nginx 通过 proxy_cache 实现静态资源零内存拷贝的核心机制是启用 aio threads 配合 directio，利用 linux 的异步 i/o 和直接 i/o 绕过内核页缓存。具体做法是在 location 块中设置 aio threads; 并开启 directio，这样 nginx 工作进程在读取后端返回的缓存文件时，不会将数据复制到用户态缓冲区，而是直接由操作系统从磁盘 dma 到客户端 socket 缓冲区，从而消除 cpu 参与的数据拷贝开销。
如何配置 aio 和 directio 以启用零拷贝
要实现这一效果，必须在 Nginx 的配置文件中显式开启异步 I/O 线程模式和直接 I/O 模式。这通常应用于处理大文件或高并发静态资源的 location 块中。关键指令包括 aio threads; 用于启动线程池处理异步请求，以及 directio 用于指定超过特定大小的文件使用直接 I/O 访问磁盘。这种组合确保了当 Nginx 需要将缓存中的文件发送给客户端时，数据流直接从磁盘文件系统流向网络套接字，避免了经过内核页缓存（Page Cache）再到用户空间再回到内核空间的多次拷贝。
# nginx.conf 或 server/location 块配置
worker_processes auto;
events {
worker_connections 1024;
}
http {
# 定义 aio 线程池，大小根据 CPU 核心数调整
aio threads;
server {
listen 80;
location /static/ {
# 启用代理缓存
proxy_cache static_cache;
proxy_pass http://backend;
# 关键配置：启用直接 I/O，避免内核页缓存拷贝
# 当文件大小超过 1MB 时启用 directio
directio 1m;
# 确保 aio 生效
aio on;
output_buffers 1 32k;
}
}
}
上述配置中，directio 1m; 表示对于大于 1MB 的文件，Nginx 会调用 posix_fadvise 或直接使用 O_DIRECT 标志打开文件描述符。结合 aio threads;，Nginx 可以非阻塞地发起读盘操作，并将结果直接推送到网络发送缓冲区。对于小于 1MB 的文件，Nginx 可能仍会使用标准的缓冲 I/O，但大文件的传输路径已优化为免拷贝。实际运行时，可以通过 strace -e trace=read,write 观察 Nginx 进程的系统调用，若看到大量的 readv 或 sendfile 且无中间的用户态内存分配，则说明零拷贝机制正在生效。
为什么 directio 能绕过内核页缓存
标准 I/O 操作中，磁盘数据首先被 DMA 写入内核的页缓存（Page Cache），然后用户态程序（如 Nginx）再从页缓存拷贝到用户缓冲区，最后再由内核从用户缓冲区拷贝回内核的网络栈缓冲区进行发送。这个过程涉及至少两次内存拷贝和一次上下文切换。而 directio 的作用是让文件 I/O 操作直接绕过内核页缓存。当启用 directio 后，磁盘数据通过 DMA 直接写入用户指定的缓冲区（在 Nginx 的场景下，通常是其内部管理的发送缓冲区或 socket 缓冲区）。由于数据不进入页缓存，也就消除了从页缓存到用户空间的拷贝步骤。配合 aio threads，Nginx 可以在等待磁盘 I/O 的同时处理其他请求，提高了并发能力。需要注意的是，directio 要求对齐内存地址，Nginx 内部已经处理了这些对齐细节，开发者只需关注配置即可。此外，directio 对随机小文件的性能可能有负面影响，因此通常只针对大文件启用，如示例中的 1m 阈值。
基于 proxy_cache 路径中缓存文件读取的具体问题
在 proxy_cache 场景下，Nginx 作为反向代理，先从后端获取响应并存入磁盘缓存文件，随后在后续请求中直接读取该缓存文件发送给客户端。此时，零拷贝的效果取决于 Nginx 读取缓存文件的方式。如果未启用 directio，Nginx 读取缓存文件时会触发内核页缓存加载，导致额外的内存占用和拷贝开销。启用 directio 后，Nginx 直接读取缓存文件内容至发送缓冲区，实现了从磁盘到网络的零拷贝。验证这一行为的关键在于观察系统内存使用情况。在高并发大文件传输时，若未启用 directio，内核页缓存占用会显著上升；启用后，页缓存占用保持稳定，而网络吞吐量提升。此外，需确保缓存目录所在的文件系统支持 O_DIRECT，大多数现代 Linux 文件系统（如 ext4, xfs）均支持。若文件系统不支持，directio 可能会失败或回退到普通 I/O，需在日志中检查是否有相关错误提示。
