Go语言分布式日志采集_Golang ELK日志系统接入方案-Golang-PHP中文网

go服务日志必须经filebeat等采集器中转，输出标准json到stdout/文件，禁用拼接字符串；需用zerolog/logrus/slog，规范时间格式与字段名；filebeat须配multiline防panic堆栈错位；logstash需date filter校准时间戳并预建index template统一映射。

go语言分布式日志采集_golang elk日志系统接入方案

Go 服务不能“直接对接 ELK”，必须走采集器（Filebeat / Logstash / Fluent Bit）中转；否则大概率丢日志、卡 goroutine、时间戳错乱、ES 拒绝写入。

Go 日志必须输出标准 JSON 到 stdout 或文件

ELK 无法解析 log.Printf("user %d login", uid) 这类拼接字符串——整行会被塞进 message 字段，Kibana 里根本没法按 user_id 过滤或聚合。Logstash 的 json codec 也会因格式非法直接报 json parse error。

用 zerolog、logrus 或 slog 替代标准 log 包
zerolog.TimeFieldFormat = time.RFC3339Nano，确保时间字段可被 Logstash 的 date filter 识别
字段名禁用中文、空格、@ 开头（如 @timestamp），ES 7+ 会拦截；改用 timestamp 或 ts
容器环境一律 SetOutput(os.Stdout)；宿主机部署才考虑 os.OpenFile 写文件

Filebeat 配置要避开轮转丢日志和 multiline 错位

Go panic 堆栈是多行的，不配 multiline，Filebeat 会把每行当一条日志切开，trace_id 和错误上下文就散了；但配错又容易吞掉首行或错位合并。

Golang Uber Dig

使用 uber-go/dig 在 Golang 中实现依赖注入——基于反射容器，提供 Provide/Invoke、dig.In/dig.Out 参数与结果对象，支持命名依赖等

下载

在 filebeat.yml 中启用 multiline，匹配 Go panic 起始行：pattern: '^[[:space:]]*panic:'，negate: true，match: after
若用 lumberjack 轮转日志，Filebeat 必须设 force_close_files: true，否则 logrotate 切文件瞬间可能漏几行
路径配置要精准，避免通配符误扫旧日志文件（如 /var/log/app/*.log 可能读到已归档的 app.log.1.gz）
别用 file input 插件直读文件——这是反模式：多实例竞争句柄、时序错乱、v7.0+ 默认关闭 type 字段导致旧过滤规则失效

Logstash filter 必须校准时间戳并处理字段类型冲突

Go 输出的 "time":"2026-05-22T12:42:33.123Z" 是字符串，ES 存的是 @timestamp 字段；不显式转换，Kibana 时间轴就全乱，且无法按分钟聚合。

filter 段必加：date { match => ["time", "ISO8601"] target => "@timestamp" }（假设日志里时间字段叫 time）
首次写入 ES 前，预建 index template，用 dynamic_templates 统一将字符串字段映射为 keyword，避免 text 分词干扰 user_id 精确匹配
字段值类型必须一致：别第一次写 "duration": 123（int），后面又写 "duration": "123ms"（string），ES 会拒掉整条
开发环境可用 tcp input 测试：input { tcp { port => 5000 codec => json } }；生产环境优先 beats input，更轻量可靠