Docker原生不支持Kafka日志驱动，必须通过Fluentd、Filebeat或Fluent Bit等采集器中转：先用local或json-file驱动落盘日志，再由采集器监听文件或Docker Socket转发至Kafka。
直接用 Docker 内置日志驱动对接 Kafka 是不可行的——Docker 原生不支持 kafka 驱动。必须借助第三方日志采集器（如 Fluentd、Filebeat 或 Fluent Bit）作为中间层，将容器 stdout/stderr 日志捕获后转发至 Kafka。核心思路是：让容器日志输出到本地（用 json-file 或 local），再由采集器监听这些日志文件或通过 Docker Socket 实时读取流式日志，最后投递到 Kafka。
选择合适的基础日志驱动
先在容器启动时明确日志落盘方式，为后续采集打基础：
-
推荐使用
local驱动：自动压缩、限大小、轮转归档，避免磁盘爆满。适用于生产环境。 -
开发调试可用
json-file：默认驱动，格式规范（每行一个 JSON），便于采集器解析字段（如log、time、container_id）。 - 避免用
none或syslog（除非已有 syslog 中央服务），否则采集器无法可靠获取原始日志流。
配置 Fluent Bit 推送 Kafka（轻量高效）
Fluent Bit 比 Fluentd 更轻量，适合容器化部署，原生支持 Kafka 输出插件：
- 准备
fluent-bit.conf，启用tail输入插件监听 Docker 日志路径（如/var/lib/docker/containers/*/*.log），并设置 Kafka 输出： - 关键配置段示例：
[INPUT]
Name tail
Path /var/lib/docker/containers/*/*.log
Parser docker
Tag docker.*
Refresh_Interval 5
<p>[OUTPUT]
Name kafka
Match docker.*
Brokers kafka-host:9092
Topics docker-logs
Timestamp_Key time</p>- 启动 Fluent Bit 容器时挂载宿主机的 Docker 日志目录和配置文件，并添加
--privileged或必要权限以读取容器日志文件。
用 Docker 的 fluentd 驱动直连（需 Fluentd 服务就绪）
Docker 支持 fluentd 日志驱动，可将日志直接发往 Fluentd 服务端，再由 Fluentd 转发 Kafka：
- 启动容器时指定驱动：
docker run --log-driver=fluentd --log-opt fluentd-address=localhost:24224 ... - Fluentd 配置中需启用
@type kafka2输出插件，指向 Kafka broker 和 topic。 - 注意：该方式要求 Fluentd 服务稳定在线，否则容器日志可能阻塞（取决于
fluentd-async-connect等选项配置）。
验证与调优要点
确保链路通、数据准、不丢不积压：
- 检查 Kafka topic 是否创建成功：
bin/kafka-topics.sh --describe --topic docker-logs --bootstrap-server kafka-host:9092 - 确认 Fluent Bit/Fluentd 容器日志无报错（如连接拒绝、序列化失败、权限 denied）。
- 测试时启动一个持续输出日志的容器：
docker run --rm alpine sh -c "while true; do echo '{\"msg\":\"test\",\"level\":\"info\"}'; sleep 1; done"，观察 Kafka 是否实时收到消息。 - 生产环境建议开启日志缓冲（如 Fluent Bit 的
storage.type filesystem）和重试机制，防网络抖动导致丢失。
