Golang如何做ELK日志收集_Golang ELK教程【最新】-Golang-PHP中文网

go程序必须输出标准json日志，使用zerolog/logrus等库并正确配置时间字段、命名规范及扁平化结构；logstash须用beats/tcp输入而非file，并通过date插件将日志time字段对齐@timestamp；es客户端需全局复用。

golang如何做elk日志收集_golang elk教程【最新】

Go 程序必须输出 JSON 日志，否则 Logstash 解析会失败

ELK 对非结构化日志极其不友好——Logstash 的 json 过滤器不会“猜”字段，它只认标准 JSON 字符串。Go 原生 log 包输出的是纯文本，比如 "2026/04/01 08:53:00 main.go:12: user login"，这种格式进 Logstash 后只会变成一个 message 字段，所有关键信息（时间、路径、用户）都藏在字符串里，无法检索、聚合或做 Kibana 图表。

必须用 zerolog 或 logrus 替换原生 log；zap 也可以，但要注意它默认不写 @timestamp 字段，需手动配置 encoder
zerolog 推荐设置：zerolog.TimeFieldFormat = time.RFC3339Nano，并显式指定时间字段名：zerolog.TimestampFieldName = "time"
字段名禁用中文、空格、点号（如 user.id），ES 会报 invalid field name；改用下划线：user_id
别在日志里嵌套复杂结构体（如 req.User），json 过滤器默认只解一层，深层字段会被当字符串处理，后续查 req_user_name 会查不到

Logstash 别用 file input 读 Go 日志文件

看到 Go 日志写到 /var/log/app.log，就配 Logstash file input？这是最常见也最危险的误操作。Docker 容器里文件轮转不可控，宿主机权限常导致 Logstash 读不了，更致命的是：日志行可能被截断（尤其大 JSON）、多行日志（如 panic stack trace）直接错乱、时序完全失准。

改用 beats input（推荐）或 tcp input，让 Go 程序直连 Logstash 发送 JSON
若必须用文件，得配合 filebeat ——它专为日志文件设计，能记录 offset、处理轮转、合并多行，再转发给 Logstash 或 ES
beats input 配置里务必加 type => "go-app"，因为 ES 7.0+ 默认禁用 type 字段，而后续 filter 常靠 if [type] == "go-app" 做条件路由

Logstash filter 里 time 字段对齐 @timestamp 是刚需

Go 输出的 "time": "2026-04-01T08:53:00.123Z" 只是普通字段，ES 默认用 Logstash 接收时间（即 @timestamp）做索引和排序。这意味着：你查“凌晨 2 点的错误”，实际查到的是 Logstash 收到日志的时间——差几秒还行，差几分钟（比如网络抖动、Logstash 拥塞）就完全不准了。

Golang Naming

Go（Golang）命名规范 — 包括包、构造函数、结构体、接口、常量、枚举、错误、布尔值、接收器、getter/setter、函数等。

下载

必须在 filter 中加：date { match => ["time", "ISO8601"] target => "@timestamp" }
match 第一个参数要和 Go 日志里时间字段名严格一致，比如你用 zerolog.TimestampFieldName = "ts"，这里就得写 ["ts", "ISO8601"]
别信 grok 解时间戳——它慢、易错、且不支持纳秒精度；date 插件原生支持 RFC3339Nano，零成本对齐

直连 Elasticsearch 要复用 client，别每个请求 new 一个

有些团队图省事，Go 里每条日志都 es, _ := elasticsearch.NewDefaultClient()，然后 es.Index(...)。这会导致连接池爆炸、FD 耗尽、CPU 持续飙高，服务没挂，ES client 先崩了。

全局声明一个 *elasticsearch.Client 实例，在 init() 或应用启动时初始化，整个生命周期复用
Docker 环境下，hosts 别写 localhost:9200，要用容器名，比如 http://elasticsearch:9200，否则网络不通
如果日志量不大（QPS BulkIndexer）

真正卡住人的往往不是某一步怎么写，而是 JSON 字段命名不规范导致 Kibana 里搜不到数据，或是 Logstash 时间没对齐结果查不到“那条报错”。这些坑不跑一遍生产环境，光看文档根本意识不到。