Golang处理非结构化Log文本到结构化字符串Map的规则引擎-Golang-PHP中文网

Golang Naming

Go（Golang）命名规范 — 包括包、构造函数、结构体、接口、常量、枚举、错误、布尔值、接收器、getter/setter、函数等。

govaluate报unknown identifier是因为不支持嵌套字段如log.level，需展平为单层map或实现parameters接口；正则提取日志时须用命名捕获组且组名与表达式变量名严格一致，并及时转换时间字段类型。

golang处理非结构化log文本到结构化字符串map的规则引擎

govaluate解析日志字段时为什么报Unknown identifier

直接把原始日志字符串或未扁平化的 map[string]interface{} 丢给 govaluate.Evaluate，大概率触发这个错误。根本原因是 govaluate 默认只认顶层 key，不支持 log.level 或 req.headers.host 这类嵌套路径。

常见错误写法：

data := map[string]interface{}{"log": map[string]string{"level": "error", "msg": "timeout"}}<br>
expr, _ := govaluate.NewEvaluableExpression("log.level == 'error'")<br>
expr.Evaluate(data) // panic: Unknown identifier "log"

必须提前展平：用 gjson.GetBytes(payload, "log.level") 提取所有可能用到的字段，构造成单层 map，例如 {"log_level": "error", "log_msg": "timeout"}
或者实现 govaluate.Parameters 接口，在 Get(key string) 里按 . 拆分并递归取值，但要注意 nil 安全（避免 panic: interface conversion: interface {} is nil）
别依赖 json.Unmarshal 后直接传 struct——govaluate 不识别 struct 字段名，只认 map key

正则提取非结构化日志时命名捕获组怎么对齐语义

日志是 [WARN] 2024-05-12T10:23:45Z POST /api/v1/user 401 12.4ms 这种文本格式，靠硬编码 strings.Split 或位置索引提取，字段一变就全崩。

正确做法是用命名捕获组，且组名必须和后续规则引擎里的变量名严格一致：

re := regexp.MustCompile(`^\[(?P<level>\w+)\]\s+(?P<time>\S+)\s+(?P<method>\w+)\s+(?P<path>\/\S+)\s+(?P<status>\d{3})\s+(?P<latency>\d+\.?\d*ms)$`)<br>
matches := re.FindStringSubmatchMap([]byte(logLine)) // Go 1.22+<br>
// 得到 map[string][]byte{"level": []byte("WARN"), "time": ...}<br>
// 再转成 map[string]interface{} 供 govaluate 用</latency></status></path></method></time></level>

level、status、path 这些 key 名，要和规则表达式里写的完全一致，比如 level == "ERROR" && status >= 400
时间字段必须立刻用 time.Parse(time.RFC3339, string(matches["time"])) 转成 time.Time，否则数值比较会出错（字符串比大小不是时间先后）
如果用旧版 Go（FindStringSubmatchIndex + 手动切片，别图省事用 FindAllStringSubmatch——它不带命名信息

规则匹配性能卡在每秒几百条日志怎么办

单机每秒处理 500 条日志，每条都遍历 200 条规则，CPU 持续 90%+，这不是配置问题，是匹配机制没降维。

真实场景中，90% 的规则只关心 level、status、path 这几个字段。朴素 for-loop 是死路，得两级分发：

第一级分组：用 map[string][]*Rule 按 level 或 path 前缀预分组，比如所有 path.startsWith("/api/admin") 的规则塞进一个 slice
第二级计算：消息进来先查 rulesByLevel[logMap["level"]]，只对子集调 govaluate.Evaluate
数值型字段（如 latency）可建简单区间索引：维护一个 [][2]float64 表示 [min, max] 区间，二分查找命中哪些规则，避免全量扫
严禁在匹配阶段做 I/O——所有规则依赖的外部数据（如白名单 IP、黑名单 UA）必须在加载时预热进内存 map

zap/zerolog 输出的 JSON 日志为什么被 Loki 当成单行 message

本地跑 zap.NewProductionConfig() 看着是 JSON，但 Loki 里只显示 log 字段，level、ts 全丢进 message 里——不是采集器配置问题，是日志字段没打平或命名冲突。

字段名必须是顶层 key，且符合 Loki 约定：level（不是 severity）、ts 或 time、msg；zerolog 默认不带 level，得显式加 .Level()
嵌套结构（如 {"req": {"path": "/api"}} ）会被采集器当字符串处理，必须展平：logger.With(zap.String("req_path", r.URL.Path))
容器环境下 stdout 缓冲会导致日志延迟刷出，别信 stdbuf -oL，生产环境必须在 main() 开头设 os.Stdout = bufio.NewWriter(os.Stdout) 并 defer flush