nginx日志接入kafka需借助外部工具，主流方案包括：1. fluent bit（推荐），轻量高效，原生支持tail输入和kafka输出；2. filebeat直连kafka或配合logstash处理；3. nginx-kafka-module（不推荐新项目），需重编译nginx且维护成本高。
Nginx 本身不支持直接将访问日志发送到 Kafka 或其他消息队列，它只能将日志写入本地文件或通过 syslog 协议转发。若需将 Nginx 日志实时接入 Kafka，需借助外部工具进行中转。以下是几种主流、稳定且生产可用的方案。
使用 fluent-bit（推荐）
Fluent Bit 是轻量级日志收集器，原生支持 tail 文件输入和 Kafka 输出，资源占用低，配置简单，适合与 Nginx 搭配使用。
- 在 Nginx 中保持默认文件日志（如
/var/log/nginx/access.log） - 安装 Fluent Bit，配置
tail输入插件读取该日志文件 - 配置
kafka输出插件，指定 broker 地址、topic、序列化格式（建议 JSON） - 启用 parser（如 regex 或 json）提取字段，确保日志结构化（例如解析 $time_local、$status、$request_time）
使用 filebeat + logstash / kafka-output
Filebeat 负责高效采集日志文件，可配合 Logstash 做过滤/增强，再输出至 Kafka；也可跳过 Logstash，用 Filebeat 7.10+ 的内置 Kafka output 直发。
- 配置 Filebeat 的
filestream或loginput，监控 Nginx 日志路径 - 启用
json.keys_under_root: true（如果日志已是 JSON 格式）或用dissect/grok解析普通日志 - 设置 Kafka output：指定
hosts、topic、partition.round_robin等参数 - 注意开启
required_acks: 1和重试策略，保障至少一次投递
使用 nginx-kafka-module（不推荐用于新项目）
这是一个第三方 Nginx 模块（如 brunoos/nginx-kafka-module），通过 patch 方式编译进 Nginx，实现日志直发 Kafka。
- 需重新编译 Nginx，升级维护成本高，与官方发行版脱节
- 模块较久未更新，对 Kafka 新协议（如 SASL/SSL、IDEMPOTENT_PRODUCER）支持有限
- 错误处理和背压机制弱，高并发下易丢日志或阻塞 worker 进程
- 仅建议遗留系统或极简场景下评估使用
补充建议：日志格式与可靠性
无论选哪种中转方式，Nginx 的日志格式设计直接影响后续处理效率。
- 避免使用
log_format中的复杂变量嵌套，优先用标准变量（如$remote_addr、$request、$upstream_response_time） - 启用
buffer和flush参数（如access_log /var/log/nginx/access.log main buffer=64k flush=1s;），平衡性能与实时性 - 为防止日志轮转丢失，确保 Fluent Bit/Filebeat 开启
ignore_older和watched_files机制，并配合logrotate的copytruncate或create指令 - Kafka topic 建议按业务或环境分区（如
nginx-access-prod），并设置合理 retention 和 replication factor
