nginx实现kafka日志异步推送的核心是避免同步阻塞：推荐采用“结构化日志落地+filebeat/fluent bit异步采集投递kafka”的解耦方案，而非lua-resty-kafka或nginx-kafka-module直推，以保障请求性能、可靠性与可运维性。
要在 Nginx 中实现 Kafka 日志的异步推送，核心思路是：Nginx 本身不原生支持 Kafka，需借助第三方模块（如 nginx-kafka-module）或通过中间层（如 Fluentd / Filebeat / rsyslog + Kafka Producer）解耦。直接在 Nginx Worker 进程中同步调用 Kafka 客户端会阻塞请求、不可靠且难以维护。推荐采用「日志落地 + 异步采集」的生产级方案。
方案一：使用 nginx-kafka-module（C 模块，轻量但维护少）
该模块由社区维护（如 https://github.com/brg-liuwei/ngx_kafka_module），将日志以消息形式直推 Kafka，基于 librdkafka 实现异步发送。
- 编译前需安装 librdkafka（>=1.0.0）并确保 pkg-config 可查到；
- 下载模块源码，与 Nginx 源码一起 configure 编译：
--add-module=/path/to/ngx_kafka_module； - 配置示例（写入
http或stream块）：
kafka_broker_list 192.168.1.10:9092,192.168.1.11:9092; kafka_topic logs-nginx-access; kafka_produce_async on; # 必须开启异步，避免阻塞 log_format kafka_log '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent"'; access_log kafka://logs-nginx-access kafka_log;
⚠️ 注意：该模块不支持 SSL/SASL 认证（旧版），高版本需自行打补丁；错误日志需配合 error_log 查看模块内部状态；不建议用于 TLS 或高吞吐场景。
方案二：标准解耦架构（推荐，稳定可运维）
让 Nginx 只负责生成结构化日志文件（如 JSON 格式），由独立采集器异步读取并投递 Kafka —— 符合 Unix 哲学，故障隔离、扩展性强。
- 在 Nginx 中定义 JSON 日志格式：
log_format json_log escape=json '{'
'"time": "$time_iso8601",'
'"remote_addr": "$remote_addr",'
'"host": "$host",'
'"request": "$request",'
'"status": $status,'
'"bytes": $body_bytes_sent,'
'"referer": "$http_referer",'
'"user_agent": "$http_user_agent",'
'"upstream_time": "$upstream_response_time",'
'"request_time": "$request_time"'
'}';- 启用日志写入文件（如
/var/log/nginx/access.json）； - 选用采集器：
- Filebeat（轻量，内置 Kafka output，支持背压、重试、SSL）；
- Fluent Bit（资源占用低，插件丰富，Kafka 插件支持 SASL/SSL）；
- rsyslog + omkafka（成熟稳定，适合 Syslog 场景）；
- 以 Filebeat 为例，
filebeat.yml关键配置：
filebeat.inputs:
- type: filestream
paths:
- /var/log/nginx/access.json
json.keys_under_root: true
json.overwrite_keys: true
<p>output.kafka:
hosts: ["kafka-broker-1:9092", "kafka-broker-2:9092"]
topic: "nginx-access"
required_acks: 1
compression: gzip
ssl.enabled: true
ssl.certificate_authorities: ["/etc/filebeat/certs/ca.pem"]</p>关键注意事项
-
日志轮转：Nginx 配合
logrotate切割时，务必使用copytruncate或发送USR1信号，避免采集器丢失尾部数据； -
时间精度：Nginx 的
$request_time和$upstream_response_time是毫秒级浮点数，JSON 输出需确认采集器能正确解析； - 字段对齐：若需与后端 Flink / Spark / ES 字段统一，建议在采集器中做字段映射或 enrichment（如添加 service_name、env）；
-
失败处理：Kafka 不可达时，Filebeat 默认缓存至磁盘队列（
spool_size+disk.spill），无需额外落盘逻辑。
为什么不推荐 Lua + resty-kafka？
虽有 lua-resty-kafka 模块可通过 OpenResty 调用，但它本质是同步阻塞调用（底层用 cosocket 发送），在 log_by_lua* 阶段发送易受网络抖动影响，导致请求延迟升高甚至超时。即使加 buffer，也缺乏重试、死信、积压监控等能力，运维成本远高于标准采集链路。
