filebeat配置必须匹配go微服务日志格式，启用json.keys_under_root:true解析zap等结构化json日志，避免字段丢失；文本日志需用dissect而非grok解析；统一utc时间戳并配置json.timezone:"utc"；共容器部署时优先走stdout重定向，否则须确保路径权限与inode稳定，且通过processors注入pod元数据。
Filebeat 配置必须匹配微服务日志输出格式
Go 微服务默认用 log 包或 zap 输出结构化日志时，Filebeat 若按纯文本解析，会导致字段丢失、时间戳错乱。关键不是“能不能采集”，而是“采到的字段能不能被后端（如 Elasticsearch）正确映射”。
- 若用
zap.NewProductionEncoderConfig()，日志是 JSON 格式，Filebeat 必须启用json.keys_under_root: true且关闭json.add_error_key: false，否则会把整个 JSON 当成一个字符串字段 - 若用标准
log.Printf输出带时间前缀的文本（如2024/03/15 10:23:45 INFO user.go:123 login success），需在 Filebeat 的processors中配dissect或grok，但 grok 在 Filebeat 中性能较差，优先选dissect - Go 日志中常见缺失时区信息，Filebeat 默认按本地时区解析时间，建议微服务统一用
time.Now().UTC().Format(time.RFC3339)输出时间，并在 Filebeat 中设json.timezone: "UTC"
Filebeat 与 Go 服务共容器部署时的路径和权限问题
很多团队把 Filebeat 和 Go 二进制打包进同一个 Docker 镜像，看似省事，实则容易因用户权限、挂载路径不一致导致采集失败。
- Go 服务通常以非 root 用户（如
user: 65532）运行，而 Filebeat 默认需要读取日志文件——如果日志写在/var/log/myapp/，该目录权限未对 Filebeat 用户开放，filebeat logs会报permission denied - 推荐做法：日志写入
/dev/stdout（Go 中用log.SetOutput(os.Stdout)），再由容器引擎重定向到文件；Filebeat 则通过containerd或docker logsAPI 采集，避免文件权限纠缠 - 若坚持文件采集，确保
filebeat.yml中paths指向的路径，在容器内真实存在且可读；Dockerfile 中用chown -R 65532:65532 /var/log/myapp显式授权
Go 服务重启时 Filebeat 丢日志的典型原因
Filebeat 不是实时 tail 工具，它靠记录 inode + offset 做断点续采。当 Go 服务用 logrotate 或直接覆盖日志文件（如 mv app.log app.log.1 && touch app.log），Filebeat 可能因 inode 变更而跳过新日志。
- 确认 Go 日志轮转是否用了
os.Rename—— 这会改变 inode；应改用os.WriteFile配合os.OpenFile(..., os.O_APPEND)持续追加，或使用lumberjack库，它默认用硬链接保留 inode - Filebeat 中必须开启
close_inactive: 5m和clean_inactive: 72h，否则旧文件句柄长期不释放，占用 inotify 资源 - 若服务频繁启停（如 Kubernetes 中 readiness probe 失败触发重启），建议在 Filebeat 中设
scan_frequency: 10s加快发现新文件，但别低于 5s，否则 CPU 开销明显上升
在 Kubernetes 中让 Filebeat 正确识别 Pod 元数据
单纯采集日志没用，关键是要打上 pod_name、namespace、host 等标签，否则排查时无法关联服务实例。
- 不要依赖
add_kubernetes_metadata插件自动注入——它只对容器 stdout/stderr 有效；若 Go 服务把日志写到挂载卷的文件里，这个插件压根不生效 - 正确做法：在 Go 服务启动时，从 Downward API 注入
POD_NAME和NAMESPACE环境变量，写日志时主动打标，例如logger.Info("login success", zap.String("pod", os.Getenv("POD_NAME"))) - Filebeat 中用
processors提取这些字段：decode_json_fields解析日志内容，再用add_fields补充静态字段（如service: "auth-api"），避免后期在 Logstash 或 Ingest Node 中做复杂映射
golang免费学习笔记（深入）：立即使用
在学习笔记中，你将探索golang的核心概念和高级技巧！
