怎么利用Docker实现容器化分布式日志采集实战-Docker-PHP中文网

Docker容器化日志采集需实现生产、采集、传输、存储、查询全链路容器化，依托声明式配置与编排，选用gelf/fluentd日志驱动替代json-file，部署Fluent Bit等轻量Agent，后端服务按角色拆分并网络隔离，强化健康检查与可观测性。

怎么利用docker实现容器化分布式日志采集实战

用 Docker 实现容器化分布式日志采集，核心是把日志生产、采集、传输、存储和查询这五个环节全部容器化，并保证各组件可伸缩、可编排、可观测。不靠宿主机硬装服务，而是用 声明式配置 + 容器编排 构建整条链路。

容器本身不存日志逻辑，全靠 Docker 的 logging driver 决定日志去向。默认的 json-file 只写本地磁盘，不适合分布式场景。

对接 Graylog：用 gelf 驱动，直接发结构化日志，省去中间解析环节
docker run --log-driver=gelf --log-opt gelf-address=udp://graylog:12201 --log-opt tag=myapp nginx
对接 Fluentd/Fluent Bit：用 fluentd 驱动，支持标签、缓冲、重试
--log-driver=fluentd --log-opt fluentd-address=fluentd:24224 --log-opt tag=docker.${HOSTNAME}
避免本地堆积：禁用 json-file 或严格限制大小和轮转
--log-driver=json-file --log-opt max-size=10m --log-opt max-file=3

不要在每台宿主机上手动装 Logstash（太重），优先选 Fluent Bit 或 Filebeat 容器化部署。它们资源占用低、启动快、配置热更新友好。

Docker Encyclopedia

Docker 文档优先工作流：针对 Docker 特定问题、故障排除、命令规划、镜像/构建、容器/运行时操作及 Compose 等

下载

Fluent Bit 推荐作为节点级 DaemonSet（K8s）或 Docker Compose 中的 service：
镜像 fluent/fluent-bit:3.0，挂载 /var/lib/docker/containers 和 /proc，用 tail 输入插件读取 json-file 日志
若已有 syslog 或 journald 基础设施，可用 syslog 驱动 + Fluent Bit 的 syslog 输入，统一入口
关键配置项：启用 mem_buf_limit 防内存溢出，设置 retry_limit false 保可靠性，输出端加 health_check on

后端不能只跑单个 Elasticsearch 容器。生产必须按角色拆分、容器化、网络隔离。

OpenSearch/Elasticsearch：至少 3 个 data 节点容器，用 discovery.type=multi-node + cluster.initial_master_nodes 启动；禁用单节点发现模式
MongoDB：部署 replica set（至少 3 副本），Graylog 配置里指定 mongodb://mongo1:27017,mongo2:27017,mongo3:27017/?replicaSet=rs0
Graylog Server：无状态，可水平扩多个容器；通过 Nginx 或 Traefik 做负载均衡；所有配置（如 Inputs、Streams）通过 API 或配置卷注入
用 Docker Network（如 logging-net）隔离日志流量，避免与业务网络混用

容器化日志链路一旦出问题，排查比传统方式更难。必须内置可观测能力。

每个采集容器暴露 /api/v1/health 或 Prometheus metrics 端点（Fluent Bit 支持 prometheus 插件）
Graylog 自带 System / Overview 页面，检查 Inputs 是否 active、Indexer 是否 green、JVM 堆使用率
用 docker logs -f fluent-bit-1 查看采集器实时输出；用 Graylog 的 Search → Messages 看原始日志是否带 container_id、source_host 等字段
模拟容器重启或网络抖动，验证日志是否断点续传（Fluent Bit 的 storage.type=filesystem 必须开启）