CDN回源日志优化的核心是在Nginx层过滤非必要日志并保留关键可观测性信息,通过可信IP识别、头部还原、路径隔离、限流与采样等手段,使日志量下降60%~90%且真实请求仍可追溯。

CDN 回源时,若未做合理控制,会导致大量重复、无效或非真实用户请求打到源站,从而让后端 Nginx 日志暴增,掩盖真实访问行为,甚至影响日志分析、磁盘 IO 和监控告警。核心解决思路是:**在 Nginx 层过滤掉非必要回源日志,同时保留关键可观测性信息**。
只记录真实用户请求和关键回源行为
默认情况下,Nginx 会对每个请求(包括 CDN 回源)写 access_log,而 CDN 节点频繁健康检查、预热、小文件刷缓存等行为会产生大量低价值日志。可通过 log_format + map + access_log 条件记录来实现按需打日志:
- 用
map判断请求是否来自可信 CDN 回源 IP 段(如阿里云全站加速、腾讯云 CDN 的官方回源段),并标记为$is_cdn_origin - 再用另一个
map判断是否为高频无意义请求(如GET /healthz、User-Agent: AlibabaCloud-CDN-HealthCheck、Referer: -且无 Cookie) - 最终在
access_log指令中使用if=$loggable参数,仅当$loggable = 1时写入日志
剥离 CDN 头部,统一记录客户端真实信息
CDN 回源时通常携带 X-Forwarded-For、X-Real-IP、X-Forwarded-Proto 等头部,若直接记录 $remote_addr,日志里全是 CDN 节点 IP,无法识别真实用户。应在日志格式中优先使用可信头部:
- 配置
set_real_ip_from声明可信 CDN 回源网段,启用real_ip_header X-Real-IP(或X-Forwarded-For,需配合real_ip_recursive on) - 定义日志格式时用
$remote_addr(已被 realip 模块替换为真实客户端 IP)替代原始来源 - 补充记录
$http_x_forwarded_for原始链路(用于排查伪造),但不作为主 IP 字段
对高频回源路径做日志降噪或分离
静态资源(如 .js、.css、.png)和 CDN 主动回源(如刷新、预热)往往占日志量 70% 以上,但业务价值低。可针对性处理:
- 用
location ~* \.(js|css|png|jpg|gif|woff2?)$单独匹配静态资源,关闭其 access_log 或指向独立日志文件(如access_log /var/log/nginx/static.log) - 对已知 CDN 刷量路径(如
/cdn-purge/、/__cdnsync)直接返回 200 并access_log off - 利用
limit_req对回源健康检查路径限速(如每秒 1 次),超频请求直接 503,避免进日志
补充:用日志采样降低高流量场景压力
即使做了过滤,突发回源(如热点事件导致 CDN 大量 Miss)仍可能冲击日志系统。可在 Nginx 中启用随机采样:
- 定义
map $request_id $sampled { default 0; "~^[a-f0-9]{8}" 1; }(简单哈希采样) - 或更可靠地用
geo模块结合$remote_addr做一致性哈希采样(如 10% 记录) - 在
access_log中加if=$sampled,平衡可观测性与性能
关键不是“不记日志”,而是让每条日志都有明确用途。做好 IP 还原、来源分级、路径隔离和条件采样后,源站日志量通常可下降 60%~90%,同时真实用户行为和异常回源依然可追溯。










